20.05.2020 17:00
Gleiche Hypothese, gleiche Daten – variable Ergebnisse?
Kritische Selbstreflexion im Wissenschaftsbetrieb ist unabdingbar – die derzeitige Corona-Krise bestätigt dies. In einem Experiment haben rund 200 internationale Forscher*innen unabhängig voneinander denselben Datensatz über Gehirnaktivität während einer Magnetresonanztomographie analysiert. Ziel war es abzuschätzen, wie variabel die Ergebnisse der bildgebenden Hirnforschung sein können. Fazit: Es gab je nach Analyse-Methode eine beträchtliche Varianz bei den Resultaten. Die neue Studie zeigt damit Wege zur Verbesserung der Konsistenz und Replizierbarkeit der Bildgebungs-Forschung auf. Sie werden aktuell im Fachjournal Nature publiziert.
In der Studie zur Analyse, Replikation und Vorhersage von Neuroimaging Daten (NARPS; https://www.narps.info/) sammelten zunächst Forscher*innen einen Hirnbild-Datensatz von 108 Teilnehmer*innen, mit dem die Gehirnaktivität während einer Entscheidungsaufgabe mittels funktioneller Magnetresonanztomographie registriert wurde. Dieser Datensatz wurde an 70 Analyseteams aus der ganzen Welt verteilt. Aus Österreich beteiligt war die Universität Wien mit den Neuropsychologen Claus Lamm, Lei Zhang und Annabel Loosecat Vermeer; sowie die Mit-Initiatoren des Projektes um die Behavioral Finance-Gruppe von Michael Kirchler von der Universität Innsbruck.
Jedes Team analysierte unabhängig voneinander die gleichen Daten, wobei sie ihre jeweiligen Standard-Methoden zur Prüfung von neun vordefinierten Hypothesen einsetzen. Bei jeder dieser Hypothesen wurde gefragt, ob sich die Aktivität in einem bestimmten Teil des Gehirns in Bezug auf einen bestimmten Aspekt der Entscheidungen verändern würde.
Plötzlich gesund
Fortschreitende Naturerkenntnis, ganz allgemein gesprochen, ‘Wissenschaft’, ist der stärkste Feind des medizinischen Wunders. Was unseren Vorfahren als Wunder erschien, was einfache Naturvölker heute noch in heftige Erregung versetzt, das berührt den zivilisierten Menschen längst nicht mehr.
Doch es gibt einen Gegensatz, der jedem Denkenden sofort auffällt: der unerhörte, durchaus nicht abgeschlossene Aufstieg der wissenschaftlichen Heilkunde und die ebenso unerhörte Zunahme der Laienbehandlung und der Kurpfuscherei. Man schätzt die Zahl der Menschen, die der Schulmedizin kein Vertrauen schenken, auf immerhin 50 Prozent.
Wie kann es sein, daß Laienbehandler und Kurpfuscher immer wieder spektakuläre Erfolge aufweisen, von denen die Sensationspresse berichtet?
Der Autor geht dieser Frage nach und kommt zu interessanten Erkenntnissen, aus denen er Vorschläge für eine bessere Krankenbehandlung durch seine ärztlichen Standesgenossen ableitet.
Prognosemarkt-Analysen
Eine Gruppe international führender Ökonom*innen und Behavioral-Finance-Expert*innen lieferte den ersten Anstoß für das Projekt und leitete den Prognosemarkt-Teil. Prognosemärkte sind ein innovatives Instrument, mit dem überprüft werden soll, ob Expert*innen in der Lage sind, die Ergebnisse eines Forschungsprojektes vorherzusagen – in diesem Fall, welche der neun getesteten wissenschaftlichen Hypothesen bestätigt werden.
Die Wissenschafter*innen hatten bis zu drei Monate Zeit, um die Daten zu untersuchen, danach lieferten sie ihre Endergebnisse für die neun Hypothesen mit detaillierten Informationen über die Art und Weise, wie sie die Daten analysiert hatten. Wichtigste Erkenntnis des NARPS-Projektes: Die beträchtliche Varianz, was die Beantwortung der Hypothesen als zutreffend oder nicht betrifft, wenn derselbe komplexe Bildgebungs-Datensatz mit verschiedenen Analyse-Ansätzen analysiert wurde. Bei gleich fünf der Hypothesen gab es erhebliche Unterschiede in der Beantwortung.
Dieser Unterschied lässt sich durch die unterschiedlichen Ansätze in der Beantwortung der Hypothesen erklären. Bei einer binären Entscheidung mit Ja oder Nein geht viel Information verloren, während bei der Meta-Analyse durch die Aggregierung von Daten mehr Information vorliegt.
Ergebnisse kritisch hinterfragen
Die Meta-Analyse der individuellen Ergebnisse bestätigte jedoch eine hohe Konvergenz zwischen den Ergebnissen der 70 Teams. Zudem waren die Gehirnaktivierungskarten (also die eigentlichen Ergebnisse, die der binären Entscheidung, ob eine Hypothese bestätigt wird, zugrunde liegen) relativ konsistent über die 70 Analysen hinweg. Was die Vorhersehbarkeit der zu erwartenden Ergebnisse angeht zeigte sich, dass die Forscher*innen die Wahrscheinlichkeit signifikanter Ergebnisse zu optimistisch einschätzten – und zwar selbst dann, wenn diese direkt an der Analyse beteiligt waren.
“Projekte wie diese leisten einen zentralen Beitrag, um den Prozess des wissenschaftlichen Erkenntnisgewinns und die damit verbundenen Unsicherheiten besser zu verstehen – und zwar weit über die Disziplinengrenzen hinweg. Dabei spielt die sich selbst korrigierende und auf Erkenntnisgewinn aufbauende wissenschaftliche Methode, aber auch der fundierte und selbstkritische wissenschaftliche Diskurs eine zentrale Rolle”, schließt Claus Lamm.
Publikation in Nature:
Variability in the analysis of a single neuroimaging dataset by many teams, Tom Schonberg et.al.
DOI: 10.1038/s41586-020-2314-9
Wissenschaftliche Ansprechpartner:
Univ.-Prof. Mag. Dr. Claus Lamm
Institut für Psychologische Grundlagenforschung und Forschungsmethoden
Universität Wien
1010 Wien, Liebigasse 5
T +43-1-4277-471 30
claus.lamm@univie.ac.at
Merkmale dieser Pressemitteilung:
Journalisten, Wissenschaftler
Medizin, Psychologie
überregional
Forschungsergebnisse, Wissenschaftliche Publikationen
Deutsch
