Beiträge aus der Wissenschaft

Die Besten der Besten: Wer trifft in Expert*innengruppen die genauesten Entscheidungen?

21.11.2019 10:35

Die Besten der Besten: Wer trifft in Expert*innengruppen die genauesten Entscheidungen?

Wenn Expert*innen Prognosen oder Diagnosen stellen, sind sie sich nicht immer einig. Doch wie findet man heraus, wer in einer Gruppe die genauesten und somit besten Entscheidungen trifft? Ein interdisziplinäres Forschungsteam vom Max-Planck-Institut für Bildungsforschung und vom Leibniz-Institut für Gewässerökologie und Binnenfischerei hat dazu eine einfache Methode entwickelt und erfolgreich in verschiedenen Gruppen getestet. Die Ergebnisse der Studie sind im Journal Science Advances erschienen.

Zeigt der Fleck auf dem Mammografiebild Brustkrebs? Wird Serbien 2025 Mitglied der EU sein? Wird es in fünf Jahren mehr Überschwemmungen in Bayern geben? Ärzt*innen, Wissenschaftler*innen und Expert*innen stellen Diagnosen und machen Vorhersagen mit oftmals weitreichenden Auswirkungen. Welche*r Expert*in am häufigsten richtig lag, lässt sich meist aber erst Jahre später überprüfen.

Ein interdisziplinäres Forschungsteam des Max-Planck-Instituts für Bildungsforschung und des Leibniz-Instituts für Gewässerökologie und Binnenfischerei hat nun eine neue, einfache Methode entwickelt, mit deren Hilfe die besten Entscheider*innen aus einer Expert*innengruppe ermittelt werden können – und das, ohne das Wissen zu benötigen, ob deren frühere oder aktuelle Diagnosen oder Prognosen richtig oder falsch sind. „Sobald mindestens die Hälfte aller Entscheidungen innerhalb der Gruppe richtig sind – was bei Expert*innengruppen typischerweise der Fall ist –, man circa 20 Entscheidungen pro Person vorliegen hat und es sich um Ja-oder-Nein-Entscheidungen handelt, können wir diese Methode sehr erfolgreich anwenden“, sagt Max Wolf, Wissenschaftler am Leibniz-Institut für Gewässerökologie und Binnenfischerei und Koautor der Studie.

Die Wissenschaftler*innen haben diese Methode aus Erkenntnissen zur Kollektiven Intelligenz entwickelt. Sie beruht auf einer einfachen Annahme: Wer innerhalb einer Gruppe von Expert*innen Entscheidungen trifft, welche die höchste Ähnlichkeit zu den Entscheidungen der Anderen haben, trifft auch die besten Entscheidungen. In mathematischen Modellen lässt sich diese Annahme bei Ja-oder-Nein-Entscheidungen einfach nachweisen. Um zu überprüfen, ob die Methode auch in realen Gruppen funktioniert, haben die Forscher schon publizierte Vorhersagen und Diagnosen verschiedener Gruppen aus verschiedenen Bereichen analysiert.

So untersuchten die Wissenschaftler*innen zum Beispiel Diagnosen von 100 Radiolog*innen aus den USA. Den Radiolog*innen wurde Anfang der Nullerjahre die Aufgabe gestellt, bei 155 Frauen anhand deren Mammografien zu entscheiden, ob sie Brustkrebs haben oder nicht. Vergleicht man diese Radiolog*innen und ihre Entscheidungen, kann man diejenigen ermitteln, deren Entscheidungen insgesamt am ähnlichsten zu den Entscheidungen der anderen waren. Da die Wissenschaftler*innen Zugang zu den späteren Krankheitsverläufen der 155 Patientinnen hatten, konnten sie auch feststellen, welche Radiolog*innen die genauesten und somit besten Diagnosen stellten. Es waren dieselben, die die Wissenschaftler*innen mit der statistischen Methode ermittelt hatten.

„Es zeigt sich immer wieder, dass gute Expert*innen in ihrem Fach auf eine ähnliche Art und Weise gut sind, dagegen sind die schlechten unter ihnen auf ganz unterschiedliche Arten schlecht. Aus dieser Beobachtung heraus haben wir diese Methode entwickelt und in verschiedenen Bereichen erfolgreich überprüft“, sagt Ralf Kurvers, Erstautor und Wissenschaftlicher Mitarbeiter des Forschungsbereichs Adaptive Rationalität am Max-Planck-Institut für Bildungsforschung.

Neben den Diagnosen der Radiolog*innen analysierten die Wissenschaftler*innen auch Hautkrebsdiagnosen von 40 italienischen Dermatolog*innen, geopolitische Vorhersagen von 90 Prognostiker*innen der Onlineplattform „Good Judgment Project“ sowie die Ergebnisse eines einfachen Wissenstests, in dem 100 Proband*innen zwischen zwei amerikanischen Städten die größere wählen sollten.

„Wir glauben, dass der Zusammenhang zwischen Ähnlichkeit in den Entscheidungen und deren Genauigkeit ein wirkungsvolles Werkzeug für die Praxis sein kann. Kollektive und individuelle Entscheidungsprozesse in der medizinischen Diagnose, in Umweltrisikoanalysen oder in der Wirtschaft können mit dieser Methode verbessert werden“, sagt Koautor Stefan Herzog, ebenfalls Wissenschaftlicher Mitarbeiter im Forschungsbereich Adaptive Rationalität.

—

Das Max-Planck-Institut für Bildungsforschung wurde 1963 in Berlin gegründet und ist als interdisziplinäre Forschungseinrichtung dem Studium der menschlichen Entwicklung und Bildung gewidmet. Das Institut gehört zur Max-Planck-Gesellschaft zur Förderung der Wissenschaften e. V., einer der führenden Organisationen für Grundlagenforschung in Europa

Originalpublikation:

Kurvers, R., Herzog, S. M., Hertwig, R., Krause, J., Moussaid, M., Argenziano, G., … Wolf, M. (2019). How to detect high-performing individuals and groups: Decision similarity predicts accuracy. Science Advances. doi: 10.1126/sciadv.aaw9011