Ein Plädoyer für Qualität und Aktualität

Wasserstandsanzeige an einem Schiff

Mit Beginn der Corona-Pandemie fand die Wissenschaft in bisher unbekanntem Maße Gehör in der Öffentlichkeit: In den Medien sprachen Virologen, Infektiologen, klinische Epidemiologen über die medizinischen Auswirkungen und Möglichkeiten der Eindämmung. Auch Psychologen wurden gehört, die etwa die Auswirkungen des Lockdowns auf Kinder oder Senioren thematisierten. Weniger präsent waren hingegen die empirischen Sozialforscher. Zwar wurden massenhaft Studien zitiert, die Befindlichkeiten in der Bevölkerung zum Thema hatten. Nicht im Fokus standen dabei die stichprobentheoretischen Voraussetzungen, sodass oft sehr frei von selektiv erhobenen Ergebnissen auf die Gesamtheit der Bevölkerung geschlossen wurde.

Bisherige Annahmen über die Zahl der Infektionen beruhen vornehmlich auf Hochrechnungen von kleinen oder aber spezifischen, geklumpten oder hochselektiven Stichproben. Es liegen bisher erstaunlicherweise keine statistisch belastbaren aktuellen Daten vor, die das Infektionsgeschehen in seiner Tiefe und Gänze abbilden. Und dies, obwohl Covid-19 nunmehr schon viele Monate die Wirtschaft, Gesellschaft und Politik geißelt.
Es scheint, als seien die meisten Maßnahmen von der aktuellen Notwendigkeit der Seuchenbekämpfung bestimmt, ohne dass übergreifende Kenntnisse über den Verlauf der Pandemie bekannt wären. Es macht sich eine gewisse Panik breit, weil nach bisherigen Erfahrungen der Lockdown die einzig wirksame Maßnahme gegen Corona ist. Den gilt es jedoch zu verhindern, einfach schon weil die Kosten zu hoch sind. Was wissen wir also nicht? Verlässlich und gesichert kennen wir nach wie vor nicht:

  • die Quote der bisher Infizierten in der deutschen Wohnbevölkerung,
  • den wahren Anteil asymptomatischer Fälle,
  • die Dunkelziffer der durch die bisherige Statistik nicht erfassten Fälle,
  • die Letalität auf Basis der Gesamtzahl der bisher Infizierten,
  • den Stand hinsichtlich der Annäherung der Bevölkerung an eine mögliche Herdenimmunität.

Darüber hinaus sind die Folgen unterschiedlicher Infektionsraten auf die Bevölkerung, differenziert nach soziodemografischen Gruppen, unklar.
Es gibt aus unterschiedlicher Richtung Vorschläge, wie die se Wissenslücken geschlossen werden können. Gemeinsam ist ihnen die Forderung nach einer aktuellen Studie, basierend auf Zufallsstichproben (Probability Samples) und einer Kombination von Testung der Stichprobe mit einer Befragung und schließlich Wiederholungsbefragungen (Schnell, Smid 2020). Gefordert wird das in ähnlicher Form etwa von der Initiative „Test the World“ mit über 1.000 Unterzeichnern.
Bleibt nur die Hoffnung, dass empirische Sozialforschung im Verlauf der möglichen zweiten Welle ein wenig mehr Gehör finden wird und methodisch präzise Messungen stattfinden werden.

Neu denken in Krisenzeiten

Krisenzeiten sind Zeiten, in denen der „Vorhang vor dem Inneren“ (Hegel) für einen Moment weggezogen ist und Strukturschwächen offengelegt werden. Dies trifft auch für die Markt- und Sozialforschung und ihren methodischen Schwächen zu, die durch die Covid-19- Krise hart getroffen wurde. Erhebungsverfahren wurden adjustiert und das hohe Lied der Digitalisierung wurde gesungen. Neudenken ist hier sinnvoll und möglich, denn vieles lässt sich digital durchführen. Aber wie steht es um die stichprobentheoretischen Voraussetzungen?
In den Medien ist das bereits zu beobachten: Sie sind voll von „Umfragen“, bei denen nicht klar ist, auf welchen Stichproben sie beruhen und mit welchen Fehlerspielräumen zu rechnen ist. Es ist wohl nicht falsch, zu unterstellen, dass die meisten, insbesondere die Online-Erhebungen, auf Non Probability Samples beruhen. Eine Verallgemeinerung der Ergebnisse auf die Gesamtbevölkerung ist daher unzulässig und der Standardfehler nicht ermittelbar.

Referenz für einen Strauß von Studien

Probability Samples sind in der empirischen Sozialforschung altbewährt und haben insbesondere bei der Wahlberichterstattung am Wahlabend ihre Qualität vielfach bewiesen. Bereits kurz nach der Schließung kann bedenkenlos über politische Konsequenzen diskutiert werden, weil die Hochrechnung auf Basis von Zufallsstichproben zuverlässige Ergebnisse liefert. Da die Fallzahlen sehr groß sind, liegt der Fehler nur geringfügig über der Schwelle von +/- 1 Prozentpunkt.

Wenn ein genaues Abbild der Meinungen oder Einstellungen der Bevölkerung gefragt ist oder im Falle der Corona-Pandemie des Infektionsgeschehens in der Bundesrepublik, führt an der Testung von Personen auf Basis eines Probability Samples kein Weg vorbei.

Bewährt haben sich Zufallsstichproben auch bei Prognosen vor der Wahl. Hier ist der Fehler aufgrund geringerer Fallzahlen im Vergleich zur Wahlberichterstattung am Wahlabend deutlich größer. Schließlich kommen bei wichtigen sozialwissenschaftlichen Fragestellungen in der Regel Probability Samples zum Einsatz.
Dass diese bisher im Kontext der Corona-Pandemie so wenig Unterstützer in der Politik gefunden haben, mag auch daran liegen, dass die Markt- und Sozialforschungsbranche hier nicht mit einer Stimme spricht. Die nicht zuletzt aufgrund von Kosten- und Zeit druck etablierten Online-Access-Panels arbeiten mit Quotenstichproben und beruhen auf teils selbstrekrutierten Teilnehmern. Und Start-ups sind bereits mit neuen Sampling-Methoden am Start, bei denen durch die schlichte Masse an Teilnehmern die Generalisierbarkeit von Ergebnissen sichergestellt werden soll. Die transparente Darstellung dieser „Plattform-Demoskopie“ und damit die wissenschaftliche Überprüfung ihrer Richtigkeit fehlen indes meist.
Gemein haben die Vorgehensweisen, dass Teile der Bevölkerung in der Erhebung stark unterrepräsentiert sind. Junge Männer mit niedrigem Bildungsabschluss oder Senioren mit geringer Internetaffnität sind kaum zur Teilnahme an Online-Erhebungen zu bewegen. Bei Erhebungen auf Basis eines Probability Samples mit aktiver Ansprache der Teilnehmer durch Interviewer können diese – mit entsprechendem Aufwand – in ausreichendem Maße eingebunden werden.

Besinnung auf die eigenen Stärken

Quotenstichproben oder andere neue Stichprobenverfahren mögen für bestimmte Fragestellungen ihre Berechtigung haben. Nicht jedes Ergebnis muss hochgerechnet werden können. Im Marketing reichen oftmals Trendaussagen oder Vergleiche zwischen Varianten aus. Auch ist es bei manchen Marktforscherfragen verschmerzbar, wenn Teile der Bevölkerung nicht adäquat berücksichtigt werden, etwa wenn sie nicht zur Hauptzielgruppe gehören. Zudem kann der Innovationsprozess von Produkten und Dienstleistungen akkurat mit Panelbefragungen begleitet werden, wodurch die Erwartungen potenzieller Kunden schon sehr früh Bestandteil der Produktentwicklung sind.
Wenn aber ein genaues Abbild der Meinungen oder Einstellungen der Bevölkerung gefragt ist oder im Falle der Corona-Pandemie des Infektionsgeschehens in der Bundesrepublik, führt an der Testung von Personen auf Basis eines Probability Samples kein Weg vorbei.
Schaden ist bereits entstanden, indem fragwürdig Stichprobenverfahren im Rahmen der Wahlprognose angewendet wurden und die Prognosen den Lackmustest, nämlich den Abgleich mit den tatsächlichen Wahlergebnissen, nicht bestanden. Oder dass bei knappen Ergebnissen, etwa der Brexit-Entscheidung oder der ersten Trump-Wahl, mit zu kleinen Stichproben gearbeitet wurde, wodurch eine sichere Aussage unmöglich wurde (siehe auch hier). Auch wenn neue Tools und schnelle Ergebnisse verheißungsvoll sind, sollte die Zukunft der Markt- und Sozialforscher einhellig kommunizieren, was sie in ihrer über 70-jährigen Wissenschaftsgeschichte an verlässlichen Instrumenten und Techniken entwickelt hat. Auch wenn sich durch die Digitalisierung neue Datenquellen für die Analyse auftun, sollten bestehende, wissenschaftlich bewährte Standards erst dann aufgegeben werden, wenn sich nachweislich bessere Alternativen auftun.

Zum Weiterlesen:
Manifest der Initiative „Test the World“ für ein flächendeckendes, systematisches, randomisiertes Testen
Interview „Es gibt zurzeit keine Studie, die das Infektionsgeschehen insgesamt abbildet“ mit Rainer Schnell und Menno Smid, www.marktforschung.de
Podcast „Methodische Probleme und Lösungen für eine epidemiologische Corona-Forschung“,
Kolloquium des Wissenschaftszentrum Berlin für Sozialforschung, coronasoziologie.blog.wzb.eu Schnell, R., Smid, M. (2020): „Methodological Problems and Solutions in Sampling for Epidemiological COVID-19 Research„, in: Zeitschrift Survey Research Methods 14

Photo by Miguel A. Amutio on Unsplash