Aufzeichnungen eines Erbsenzählers 1: Erbsen, Bäume und Nichts
Nach der amerikanischen Präsidentschaftswahl hieß es allenthalben, die Umfrageforscher hätten versagt. Tatsächlich waren aber nicht die Zahlen, sondern die Interpretationen der Journalisten falsch.
Als Umfrageforscher hat man ja den Ruf, ein trockener, besserwisserischer Zahlenmensch zu sein, ein Erbsenzähler, der vor lauter Begeisterung für seine Daten das Große und Ganze nicht mehr im Blick behalten kann, der sich an lauter Bäumen erfreut und darüber den Wald nicht erkennt.
Dieses Vorurteil ist vermutlich so ungefähr zur Hälfte wahr. Ich will nicht leugnen, ein trockener, besserwisserischer Erbsezähler zu sein. Aber dass wir Umfrageforscher deswegen den Wald vor lauter Bäumen nicht sehen, bestreite ich. Mehr noch: Die Kunst des richtigen Erbsenzählens ist nach meiner Überzeugung die Voraussetzung dafür, dass man den Wald überhaupt erkennen kann. Nach meinen Erfahrungen sind es nämlich nicht die Sozialwissenschaftler, die den Wald vor lauter Bäumen nicht sehen können, sondern viele Journalisten, die die sozialwissenschaftlichen Ergebnisse interpretieren, ohne den Forschern vorher zugehört zu haben.
Die derzeitige politische Diskussion bietet einigen Anschauungsunterricht dafür. Und da anzunehmen ist, dass sich die Fälle in den kommenden Monaten weiter häufen werden, sollen bis zur Bundestagswahl im September 2017 an dieser Stelle in loser Folge die Beiträge eines Erbsenzählers erscheinen, die vielleicht dem einen oder anderen Leser helfen, die Prinzipien der Umfragen zu verstehen und damit nicht in die Interpretationsfallen zu gehen, auf die die Redaktionen reihenweise hereinfallen.
Besonders problematisch ist in diesem Zusammenhang die Kombination aus Nichtverstehen statistischer Gesetzmäßigkeiten und dem journalistischen Bedürfnis, möglichst täglich eine Sensationsmeldung verkünden zu müssen. Wenn dies dann noch mit Wunschdenken angereichert wird, kommt so etwas dabei heraus wie die Berichterstattung der deutschen Fernsehsender in der Nacht der amerikanischen Präsidentschaftswahl.
In den Tagen nach dieser Wahl erhielt ich Anrufe von Journalisten, die mich in mehr oder weniger inquisitorischem Tonfall aufforderten, nun mal bitte zu erläutern, warum die Umfrageinstitute in Amerika vor der Wahl so sehr versagt hätten. Ich hätte es mir einfach machen und irgendetwas schlau Klingendes über methodische Fehler fabulieren können. Dann wäre mir der Applaus der Redaktionen sicher gewesen. Doch das wäre nicht fair gewesen, denn die Umfrageforscher hatten gar nicht versagt.
Zumindest die Umfragen der namhaften Institute hatten übereinstimmend zweierlei gezeigt. Nämlich erstens, dass Donald Trump, nachdem Hillary Clinton über Monate hinweg scheinbar komfortabel in Führung gelegen hatte, in den letzten Wochen vor der Wahl rasch aufholte. Wenige Tage vor der Wahl betrug der Abstand nur noch zwei, drei Prozentpunkte. Das bedeutet nach den Gesetzen der Statistik, dass auch ein Gleichstand der Stimmenzahl im Bereich des Möglichen war.
Zweitens zeigten die Umfragen, dass das Rennen in den sogenannten „Swing States“, also den Bundesstaaten, die über den Wahlsieger entscheiden würden, so eng war, dass im Vorfeld kein eindeutiger Sieger auszumachen war. Das bedeutete, dass auch dort, wo Clinton vielleicht noch ein paar Prozentpunkte in Führung lag, ein knapper Wahlsieg Trumps denkbar war. In den Redaktionen war dies auch bekannt. Zu Beginn der Wahlnacht versäumte es in den Fernsehsendern, die über die Wahl berichteten, kaum ein Reporter, darauf hinzuweisen, dass die Wahl offen sei – um diesen Hinweis gleich darauf zu ignorieren und zahlreiche Argumente dafür anzuführen, warum tatsächlich nur Clinton die Wahl gewinnen könne. Nicht die Umfragen waren falsch, sondern die Interpretationen der Journalisten, die nun, nach der Wahl, versuchten, den Forschern ihre eigenen Fehlinterpretationen in die Schuhe zu schieben.
Die wichtigste Quelle der Fehlinterpretation war dabei das anscheinend unstillbare Bedürfnis, minimale, rein zufallesbedingte Unterschiede in den Ergebnissen inhaltlich zu interpretieren – wider besseres Wissen, denn eigentlich wissen alle, dass Umfragen nur auf zwei, drei Prozent genau sein können. Nur nützt es nichts, ritualhaft auf die statistischen Fehlertolerenzen zu verweisen, wenn man gleich danach so tut, als gäbe es sie nicht. Die Information über die unvermeidliche statistische Unschärfe ist kein unerhebliches technisches Detail, sondern von inhaltlicher Bedeutung: Wenn ein Umfrageforscher sagt, ein Ergebnis sei zu knapp, um einen Sieger vorherzusagen, dann meint er damit auch, dass es zu knapp ist, um einen Sieger vorherzusagen.
In der Berichterstattung über das deutsche Parteiensystem sieht es keine Spur besser aus: Ein paar Beispiele für Schlagzeilen der für so etwas immer besonders ergiebigen Online-Ausgabe des Focus, ergänzt um die Information über die Veränderung der dahinter stehenden Umfrageergebnisse im Vergleich zur vorherigen Befragung: 17. Februar 2016: „AfD wird in Deutschland durchgereicht“ (minus 1,5 Prozent). 24. April: „Umfrageschock: CDU und CSU befinden sich im freien Fall“ (minus 1 Prozent). 18. Mai: „Umfrage-Tiefschlag für die SPD“ (minus 2 Prozent, zwei Wochen später waren es wieder 2 Prozent mehr). 24. Mai: „CDU stürzt ab“ (minus 1 Prozent). 10. August: „SPD rutscht ab“ (minus 2 Prozent auf das Niveau der Wochen davor) und ganz aktuell: 7. Dezember: „AfD stürzt in Umfrage ab“ (minus 1 Prozent). Das alles ist die marktschreierische Präsentation von nichts, nichts, NICHTS!
Und es ist ein gutes Beispiel dafür, dass es nicht die Forscher sondern die betreffenden Journalisten sind, die den Wald nicht vor lauter Bäumen sehen: Sie betrachten jeweils immer zwei Bäume und sagen: „Der rechte ist aber größer als der linke“ und „hier ist der linke aber größer als der rechte“ und „hier ist der rechte wieder größer“ usw. Da muss erst ein Erbsenzähler kommen und sie darauf hinweisen, dass alles in allem die Bäume in dem Wald ziemlich genau gleich groß sind.
[hr gap=“20″]
Thomas Petersen, Projektleiter am Institut für Demoskopie Allensbach, berichtet in der Reihe „Aufzeichnungen eines Erbsenzählers“ in unregelmäßigen Abständen über das Leben als Umfrageforscher. Die gesamte Erbsenzähler-Reihe kann hier nachgelesen werden.