Die Wahrheit ist selten rein und nie einfach.
Oscar Wilde
HARKing steht für Hypothesizing After the Results are Known, also Hypothesen aufstellen, nachdem man die Ergebnisse kennt. Es geht etwa so: Man befragt eine Zahl Menschen über alles Mögliche, rechnet alle Beziehungen zwischen den Antworten aus, z.B. als Korrelationen. Wenn man eine hinreichend große Korrelation gefunden hat, stellt man die passende Hypothese auf. Siehe da, man kann sie empirisch belegen. So kommen etwa Ergebnisse wie die Wirkung des rechtsdrehenden Wassers zusammen. Aus meiner Kindheit habe ich noch solche Aussagen im Gedächtnis wie diese: amerikanischen Psychologen ist der Nachweis gelungen, dass der Kaffee besser schmeckt, wenn man den Zucker rechtsherum rührt. Den empirischen Beweis hat man schon vorher errechnet. Mit solchen Methoden hat man immer die richtige Hypothese.
Seriöse wissenschaftliche Studien beginnen hingegen stets mit der Definition einer vernünftigen Hypothese, der Forschungsfrage. Wenn man die Meinung von wirklich großen Forschenden wie Albert Einstein dazu hört, hat man bereits mit der Formulierung einer Hypothese die größte Hürde zur Erkenntnisgewinnung genommen. „Fragen sind aller Erkenntnis Anfang“ oder „Fragen sind die Wiege der Weisheit“, so hören sich manche Weisheiten an, die normale Menschen formuliert haben. Aber auch die Großen der Kulturgeschichte wissen Antwort zu geben: „Dem guten Frager ist schon halb geantwortet.“ (Friedrich Nietzsche) oder „Ob ein Mensch klug ist, erkennt man an seinen Antworten. Ob ein Mensch weise ist, erkennt man an seinen Fragen.“ (Nagib Mahfuz).
Ein besonders auffälliges Beispiel für HARKING hat ein Hamburger Professor für Psychiatrie geliefert. Er stellte fest, dass man unruhige Kinder mit blauem Licht ruhigstellen kann. Zudem werden die Kinder, jedenfalls nach seiner Studie, um 44% aufmerksamer. Die Studie passte unheimlich gut in die Zeit. Erstens war die Sache mit dem Ruhigstellen schon seit 1973 durch einen gewissen John Ott aus den USA bekannt. Zweitens gab es ab 2008 Fördermittel für die Industrie, weil wir eine Wirtschaftskrise hatten. Mal sehen, was man aus einem Versuch noch alles herausholen kann. Es sollten 1000 Grundschulklassen mit dynamischem Licht beleuchtet werden.
So kam es zu der Sache mit Untersuchung der Aufmerksamkeit. In drei Schulen wurden Kinder unter „dynamisches“ blaues Licht gesetzt, wobei sie einen Aufmerksamkeitsbelastungstest ausführten. Dieser Test, d2-Test, ist zwar von seinem Autor Brickenkamp für den sog. Idiotentest für den TÜV erstellt worden. Wer wird denn schon wissen, dass er nicht für Kinder validert ist. Zudem hat er einen gewaltigen Mangel für den diesmal vorgesehenen Zweck: Der d2-Test ist bekannt für seine Anfälligkeit bei Wiederholungen. Beim TÜV absolvierte man den nur einmal. Bei dem fraglichen Versuch mussten die Kinder zweimal denselben Test absolvieren, um eben den Unterschied von 44% zu dokumentieren.
Heureka! Die Kinder waren eben 44% aufmerksamer durch das Licht geworden. Und msn kann die Wirkung präzise ein- und ausschalten, wie das untere Bild zeigt. Dazu erklärte der Professor in einer Fernsehsendung, die Wirkung wäre wie beim Trinken einer Tasse Espresso.
Dumm nur, dass Kleinkinder keinen Espresso trinken dürfen. Und dass eine solche Wirkung vermutlich nur durch die Beeinflussung der Hormone der Kinder erzielt werden kann. (Den ganzen Vorgang haben wir seit 2009 ausführlich dokumentiert, z.B. hier KINDER ALS VERSUCHSOBJEKT und KINDER ALS VERSUCHSOBJEKT - RELOADED und KINDER ALS VERSUCHSOBJEKT NOCH EINMAL und BLAULICHT IN HH - AD ACTA? NICHT DOCH!). Dazu erklärte der Professor in einer von uns erzwungenen Anhörung, dass ihm die hormonelle Wirkung unbekannt sei. Zudem hält er auch die Wirkungen von Licht bei Erwachsenen (Lichttherapie) für unmöglich. Er hätte nur die Wirkung vom blauen dynamischen Licht auf Kinder testen wollen. Und siehe da, die Kinder waren schlauer und ruhiger geworden. Nur mal so.
Die Presse hatte die Sache frühzeitig begierig aufgenommen und sprach von "Blau macht schlau" und ähnlichem Unsinn.
Und wie geht das bitte?
Immerhin hat diese Studie es in die wissenschaftliche Literatur und in einen Normenentwurf geschafft. Dass man Kinder buchstäblich per Knopfdruck aktivieren oder beruhigen kann, wurde sogar in einer Fernsehshow „Die große Show der Naturwunder“ vom ARD präsentiert. Ein Triumph des HARKing! Und hier ist der Emotionswähler, den sich die Lehrerschaft gewünscht hatte.
HARKing ist eine gängige Methode. Hat man einmal festgestellt, dass man bestimmte Fragen „signifikant“ testen kann, ermittelt man neue Erkenntnisse schneller, als andere denken können. Man kann dem Auftraggeber ein Ergebnis völlig legal vorab garantieren und die Studie nachschieben. Wie diese todsicher gelingt, lässt sich im Voraus berechnen.
Der allergrößte Anteil der Studien, die ihre Erkenntnisse über HARKing gewinnen, wird aber von Forschenden ausgeführt, denen ihr Vorgehen nicht einmal bewusst ist. Man stößt zufällig auf Gemeinsamkeiten und erklärt diese mit einer geeigneten Studie.
(Gesamtheit aller statistischen Kniffe hier zu lesen)