Neue Studie zur medizinischen Literaturrecherche im Auftrag der Deutschen Zentralbibliothek für Medizin (ZB MED)

XPERSITE hat im Auftrag der Deutschen Zentralbibliothek für Medizin (ZB MED) eine Studie zur medizinischen Literaturrecherche durchgeführt. Dazu wurden die drei Suchmaschinen MEDPILOT, PubMed und Google miteinander verglichen.

Der Projektleiter Herr Dr. Dzeyk fasst das Ergebnis zusammen:

"MEDPILOT ist PubMed als Instrument der Literaturrecherche deutlich überlegen und besitzt eine ähnlich gute Usability wie Google. Google bietet zwar die meisten relevanten Treffer, wird aber von den Ärzten nicht als seriöses Rechercheinstrument akzeptiert. Die Mediziner nutzen Google in erster Linie zur schnellen Information. MEDPILOT besitzt mit seiner guten Usability und der semantik-orientierten Verarbeitung von Suchanfragen das Potenzial, die führende Suchmaschine im Bereich Gesundheit und Medizin zu werden." W. Dzeyk (2011) 

 



Zusammenfassung der Untersuchung:

Medizinische Literaturrecherche mit MEDPILOT, PubMed und Google. 
Leistungstest und Usability‐Vergleich

Ausgangssituation 

Die medizinische Literaturrecherche mithilfe von webbasierten Suchmaschinen ist empirisch bisher noch wenig erforscht worden. Um den Erfolg solcher Suchmaschinen valide beurteilen zu können, muss eine Evaluation dieses Themenfeldes an zwei Seiten ansetzen. Einerseits geht es um den Vergleich der Leistungsfähigkeit von webbasierten Suchmaschinen hinsichtlich des Information-Retrievals; andererseits geht es um die Messung der Akzeptanz durch die User. Nutzer von Suchmaschinen möchten mit ihren Recherchen schnell zu relevanten Ergebnissen kommen. Dazu sollte eine gute Suchmaschine unter den ersten 10 Treffern viele für die Suchanfrage passende Treffer liefern; das heißt sie sollte eine hohe Trefferrelevanz besitzen. Die Akzeptanz der Nutzer hängt aber nicht nur von der Zufriedenheit mit den gefundenen Informationen ab, sondern auch davon, wie "benutzerfreundlich" das Recherche-System ist. Wie gut unterstützen solche Systeme die Nutzer dabei, ihre Ziele einfach und schnell zu erreichen? Eine Suchmaschine wird gerade dann als besonders nutzerfreundlich erlebt, wenn man ohne Umwege und Zeitverluste Antworten auf die eigenen Informationsbedürfnisse erhält. 


Ziele der Studie 

Für die Studie wurden drei Suchmaschinen miteinander verglichen.
MEDPILOT, PubMed und Google. Zum einen wurde die Leistungsfähigkeit der Suchmaschinen hinsichtlich der Trefferrelevanz bewertet und zum anderen ihre Benutzerfreundlichkeit (Usability). 

MEDPILOT ist die Suchmaschine der ZB MED für den Bereich "Medizin und Gesundheit" und gehört mit 22 Mio. Datensätzen zu den umfassendsten Recherche-Angeboten im deutschsprachigem Raum. Die Suchtechnologie von MEDPILOT wurde in den letzten Jahren grundlegend überarbeitet und zeichnet sich vor allem durch die innovative Fähigkeit zur sprachübergreifenden Suche aus. Gibt man beispielsweise ein deutsches Suchwort ein, erhält man passende englischsprachige Treffer. Zudem verfügt MEDPILOT über diverse Filter zur Verfeinerung der Suche sowie über die Möglichkeit, die Treffer nach Relevanz ordnen zu lassen. PubMed ist das von Ärzten am häufigsten benutzte System zur Recherche von biomedizinischen Fragen und verfügt über ca. 20. Mio. Literaturnachweise aus über 5.500 Zeitschriften (Stand April 2011). Durch die tägliche Aktualisierung und die Verschlagwortung der Datenbestände mithilfe eines kontrollierten Vokabulars (MeSH = Medical Subject Headings) sowie durch den freien Zugang zu vielen kostenlosen Volltexten, gehört PubMed zu den gefragtesten Medizinquellen weltweit. Google als Suchmaschine gilt heutzutage geradezu als Synonym für die Recherche im Alltag. Das schließt auch die Gruppe der Ärzte ein. So recherchieren Ärzte medizinische Themen nicht nur in Fachdatenbanken, wie sie über PubMed oder MEDPILOT angeboten werden, sondern nutzen auch Google als Informationsquelle. In einer Studie aus 2009 hat das Marktforschungsunternehmen TNS Healthcare festgestellt, dass 79% der Mediziner ihre Recherchen im Internet bei Google beginnen (TNS Healthcare, 2009).


Methoden

Methodisch wurde eine Kombination aus qualitativen und quantitativen Datenerhebungsmethoden gewählt. Für die Untersuchung der Fragestellungen wurden Fragebögen und Usability-Tests eingesetzt. Die Trefferrelevanz wurde mit modifizierten Precision-Tests erfasst (vgl.
Dzeyk, 2010). Dabei wurde mithilfe einer repräsentativen Testkollektion von Suchanfragen aus dem Bereich der Medizin die Trefferrelevanz bestimmt. Die Testkollektion stammt aus einer Inhaltsanalyse des Logfiles von tatsächlichen Suchanfragen der Suchmaschine MEDPILOT. Alle drei Suchmaschinen wurden jeweils mithilfe von 100 Suchanfragen getestet. Die Trefferantworten der Suchmaschinen wurden von Expertinnen darauf hin eingeschätzt, ob die jeweiligen ersten 10 Treffer für die Suchanfrage als relevant angesehen werden konnten oder nicht. Ausgezählt wurde auch die Anzahl der Null-Treffer-Meldungen der Suchmaschinen-Antworten. Je weniger solche Meldungen auftreten, desto besser funktionieren die Verarbeitungs-Algorithmen der Suchmaschinen. Für den Usability-Test wurden als Testpersonen 12 Mediziner gewonnen, die an der Universitätsklinik in Köln angeworben wurden. Die Gruppe der Testpersonen bestand aus sechs Ärzten und sechs Studierenden der Medizin.


Ergebnisse


Trefferrelevanz. MEDPILOT lieferte unter den ersten 10 Treffern einer Suchanfrage fast doppelt so viele relevante Treffer wie PubMed (53% vs. 27%). Das heißt im Durchschnitt finden sich unter den ersten 10 Treffern einer Suchanfrage 5,3 relevante Treffer, wo hingegen bei PubMed höchstens 2,7 relevante Treffer zu erwarten sind. Google jedoch meldete die meisten relevanten Treffer: 8,4 Treffer von 10 waren im Durchschnitt relevant (84%).

Zunächst scheint es so, als würde Google die beiden anderen Portale klar dominieren. Die Interpretation dieses Ergebnisses muss jedoch relativiert werden. Der hohe Wert von 84% kommt deshalb zustande, weil hier sämtliche Treffer beurteilt wurden, welche Google auf die Suchanfragen hin lieferte. Unter diesen befanden sich zwar auch wissenschaftliche Treffer im engeren Sinne (Journal-Artikel und Monografien); diese machten unter den ersten 10 Treffern aber nur einen Anteil von ca. 19 % aus (ca. 2 von 10) und waren nahezu alle relevant. Würde man zwischen den drei Suchmaschinen also nur die Trefferleistung hinsichtlich der vergleichbaren wissenschaftlichen Treffer betrachten, läge der Trefferrelevanzanteil von Google bei knapp 19 % und nicht bei 84 %.


Die an sich hohe Anzahl an relevanten Treffern bei Google bedeutet allerdings nicht, dass die Testpersonen damit auch zufrieden waren. Keine der 12 Testpersonen betrachtete Google als ernst zu nehmendes Werkzeug der wissenschaftlichen Literatursuche. Für diese Zwecke würden die Mediziner PubMed und MEDPILOT vorziehen. Eine Analyse der Null-Treffer-Meldungen zeigte, dass MEDPILOT noch höhere Werte bei der Trefferrelevanz erreicht hätte, wenn der Verarbeitungs-Algorithmus bei einigen Stopp- Wörtern besser funktionieren würde. Deshalb besteht hier noch Potenzial für Verbesserungen.


Null-Treffer-Meldungen. Die durchschnittliche Anzahl der Null-Treffer-Meldungen bei Suchanfragen ist in den letzen zwei Jahren bei allen drei Suchmaschinen weiter zurückgegangen. Bei MEDPILOT: von 24 in 2008 auf 11 in 2011 (bei 100 Suchanfragen). Das heißt durchschnittlich bekommen die Nutzer nur bei ca. einer von 10 Suchanfragen keine Treffer von MEDPILOT angezeigt. Bei PubMed sank die Anzahl der Null-Treffer-Meldungen bei 100 Suchanfragen von 47 auf 41 und bei Google von 4 auf 0.

  

Usability-Vergleich. Insgesamt wurde MEDPILOT von den Testpersonen als sehr benutzerfreundliche Suchmaschine bewertet. Das zeigten auch die Ergebnisse des Usability-Tests: Mithilfe von MEDPILOT gelang es signifikant mehr Testpersonen die Rechercheaufgaben zu lösen als mithilfe von PubMed oder Google. Die Ergebnisse der System Usability Scale (Tullis & Albert, 2008) zeigten, dass die Testpersonen sowohl Google als auch MEDPILOT eine zufrieden stellende Benutzerfreundlichkeit bescheinigten. Die Usability von PubMed wurde dagegen als eher schlecht bewertet. Die Testpersonen bewerteten die sprachübergreifende Suche bei MEDPILOT sehr positiv, ebenso wie die Filtermöglichkeiten, die allerdings auch noch weiter optimiert werden können. So wünschten sich einige Testpersonen Filter, mit denen sie z.B. direkt auf „Review Artikel“ oder „Volltexte“ zugreifen können. PubMed wurde zwar insgesamt als professioneller“ als MEDPILOT und Google eingestuft, doch vielen Testpersonen war die Bedienung der Filterfunktionen zu kompliziert und zu benutzerunfreundlich. Hier besitzt MEDPILOT klar das bessere Usability-Konzept, dessen Potenzial sich durch einige zusätzliche Veränderungen noch weiter optimieren ließe. Google wird von vielen Ärzten als Einstieg in die medizinische Informationssuche genutzt. Hier dient vor allem Wikipedia als Informationsquelle. Als seriöses Rechercheinstrument wird Google allerdings abgelehnt, da wissenschaftliche und nicht-wissenschaftliche Treffer ungeordnet nebeneinander stehen und es schwer fällt (bzw. viel Zeit kostet), sich einen Überblick zu verschaffen.


Fazit

MEDPILOT ist die einzige größere Spezialsuchmaschine, die neben der englisch-sprachigen auch die deutsche Medizinliteratur sehr umfassend in einem Index abbildet. Zudem weist diese Suchmaschine eine vergleichsweise hohe Trefferrelevanz auf, wobei Google im Falle der wissenschaftlichen Literaturrecherche nicht der Vergleichsmaßstab sein kann, sondern in erster Linie andere Spezialsuchmaschinen der Medizin. Die Ergebnisse der Evaluation haben gezeigt, dass MEDPILOT PubMed in sämtlichen untersuchten Aspekten überlegen ist. Die Attraktivität von PubMed speist sich hauptsächlich aus dem Image dieser Suchmaschine und der Tatsache, dass Mediziner in ihrer Ausbildung kaum andere Alternativen präsentiert bekommen. MEDPILOT kann ein hohes Potenzial bei der Akzeptanz durch Mediziner attestiert werden, doch die Suchmaschine muss innerhalb ihrer Zielgruppe bekannter werden, um sich gegen die aktuellen Nutzungsgewohnheiten der Ärzte beim Thema Literaturrecherche durchsetzen zu können. Daher werden im Bericht konkrete Handlungsempfehlungen ausgesprochen. Sie zielen darauf ab, die Attraktivität des Systems weiter zu steigern sowie mehr Aufmerksamkeit für MEDPILOT bei der Zielgruppe der Ärzte zu erreichen.

 

> Zum vollständigen Studienbericht

 

 


Soziale Netzwerke
Del.icio.us! Google! Facebook! Mister-Wong! Twitter!
© XPERSITE - agentur für usability und onlinekommunikation - 2013