kritikant

laut nachgedacht

Zum Zubehör springen

Der Wahnsinn hat (/ist die) Methode

Ich habe vorhin bei Fefe einen Hinweis auf einen Artikel im New Yorker gefunden, den ich wirklich ausnehmend faszinierend fand. The Decline Effect And The Scientific Method. Obwohl ich ebenso wie Fefe empfehle, den gesamten gut geschriebenen Artikel selbst zu lesen, fasse ich die Eckpunkte in übersetzter Form hier mal etwas zusammen:


Das Thema ist der Zweifel an einem Grundbaustein der wissenschaftlichen Methode: der Replizierbarkeit von experimentellen Ergebnissen. In verschiedenen wissenschaftlichen Feldern – hier: Evolutionsbiologie, Psychologie, Medizin … – wird immer wieder beobachtet, dass anfänglich in Experimenten deutlich zu Tage tretende Effekte später zwar immer noch nachweisbar sind, aber ihre Signifikanz und Häufigkeit deutlich abnehmen. Sowohl, wenn das zu Grunde liegende Paradigma in verschiedenen Settings abgefragt wird (etwa die bei Weibchen unterschiedlichster Arten auftretende Attraktion zu symmetrisch geformten Männchen), als auch bei der Replikation des ursprünglichen Experiments. Sowohl durch den gleichen Wissenschaftler, als auch durch unabhängige Forscher. Für das, was wie der Anlass zu einem Vertrauensverlust in die grundsätzlichen Methoden der wissenschaftlichen Verifikation aussieht, werden verschiedene Erklärungen gesucht.

  1. Die naheliegende Idee, dass durch Wiederholung anfängliche statistische Ausreißer ausgeglichen werden, greift zu kurz. Die ursprünglichen Datensätze sind so groß, dass selbst wenn Regression zur Mitte greifen würde, deren Effekt nicht so heftig sein und so oft auftreten dürfte.
  2. Ein anderer Vorschlag ist das Problem der Veröffentlichung. Wenn ein vermeintlich aufregendes, neues wissenschaftliches Faktum auf den Plan getreten und veröffentlicht worden ist, ist es zunächst relativ schwierig, Paper durch den Review-Prozess zu bekommen, die das gehypte Neue wiederlegen oder auch nur einschränken würden. Wissenschaftliche Zeitschriften bevorzugen positive, bestätigende Resultate. Erst wenn eine gewisse Zeit vergangen und das ehedem neue Paradigma common sense geworden ist, wird es auch für die Zeitschriften wieder interessant, widerlegende Resultate zu bringen, die nun ihrerseits aufregend und neu sind. Doch obwohl dies durchaus eine Rolle spielt, reicht es als alleinige Erklärung nicht aus. Zum Beispiel wenn es um unveröffentlichte Daten geht, die ebenso den decline effect zeigen.
  3. Schließlich wird diskutiert, inwiefern die Vorauswahl der Daten, die Wissenschaftler überhaupt zur Veröffentlichung bringen möchten, voreingenommen und auf ein bestimmtes Ziel hin gerichtet ist. Es zeigt sich, dass dies anscheinend weit verbreitet ist. Das bedeutet nicht, dass es um absichtlichen Betrug geht. Es ist eher ein unbewusstes Verhalten, das veranlasst, dass insbesondere bei sehr empfindlichen Experimenten bzw. sich nur sehr graduell unterscheidenden Meßergebnissen Daten so aufgefasst werden, dass sie einem vorhergehenden Glauben oder einer Erwartung entsprechen. Ein großes Problem diesbezüglich ist vermutlich die Signifikanz-Jagd. Die Daten werden so interpretiert, dass sie einen bedeutenden Fund darstellen. Außerdem beeinflusst die Hoffnung auf Erfolg, auf einen Karriereschub o.ä. unbewusst die Haltung zu den gemessenen Daten. That’s just the way human beings work. Ein Lösungsansatz abgesehen von dem kollektiven Bewusstmachen dieser Effekte ist der Vorschlag für eine Open-Source-Datenbank, in die Wissenschaftler im Voraus ihre geplanten Untersuchungen und im Nachhinein ungefiltert all ihre Ergebnisse einspeisen sollen.
  4. Doch eines bleibt: Der reine Zufall. Egal wie viele Variablen man bei einem Experiment unter Kontrolle bringt, es gibt immer ein Element des Zufalls, das nicht ausgeschlossen werden kann. Wenn durch solch einen Zufall Außerordentliches gefunden wird, greifen die vorhergenannten Probleme zusätzlich und verstärken das Ganze.
  5. Zu guter Letzt muss uns klar werden, dass Experimente nicht per se die Wahrheit zeigen, genauso wenig, wie jede Wahrheit durch Experimente belegt werden kann.


    So, und nach dieser Zusammenfassung möchte ich gern wissen, ob ich damit gegen irgendwelche Immaterialgüterrechte verstoßen habe. Da kann ich wahrscheinlich nur froh sein, dass der Text vermutlich nie von einem der Betreffenden gelesen wird. :)

    Den Vorschlag von Jonathan Schooler die Datenbank betreffend finde ich übrigens wirklich hervorragend. Leider schätze ich den Willen innerhalb des Wissenschaftsbetriebes für so etwas erfahrungsgemäß als eher gering ein. Darüber hinaus wird wieder einmal klar, wie sehr der ganze Prozess der Veröffentlichungen in möglichst renommierten Zeitschriften mit allem, was in puncto Pre-Review usw. da dran hängt, eine einzige Katastrophe ist.