Die Digitalisierung der Empirie reißt Lücken

Nahaufnahme eines Mauszeigers

Die Digitalisierung hat zu massiven Veränderungen in der Wirtschaft geführt und zahlreiche weitere werden folgen. In der Markt- und Sozialforschung ist sie längst angekommen, eine erste Welle des Wandels hat bereits stattgefunden. Ein Ergebnis davon ist, dass rund 44 Prozent der etwa zwanzig Millionen jährlich realisierten Interviews der Institute, die im Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute (ADM) organisiert sind, online erhoben werden. Es ist somit der häufigste Erhebungsmodus in der Branche. Mit Folgen für die Generalisierbarkeit der Ergebnisse. Das hängt mit der Stichprobe zusammen.

Telefonische Interviews, viele Jahre die präferierte Wahl, sind inzwischen mit 28 Prozent abgeschlagen an zweiter Stelle, Face-to-Face-Interviews folgen mit 23 Prozent. Online-Interviews haben den großen Vorteil, konkurrenzlos billig zu sein. Ihr strategischer Nachteil ist allerdings, dass die stichprobentheoretischen Voraussetzungen ungeklärt sind. Denn sie basieren in der Regel auf selbstrekrutierten Panels und nachfolgenden Quotenstichproben, also Stichproben ohne Zufallsauswahl (Nonprobability-Samples). Das wirft die Frage auf, wie präzise die Ergebnisse, die auf dieser Basis generiert werden, eigentlich sein können. Es ist zwar richtig, dass es auch telefonische und Face-to-Face-Erhebungen gibt, die nicht auf Zufalls-, sondern auf Quotenstichproben beruhen. Allerdings sind das eher Ausnahmefälle.

Garant für die Verallgemeinerung der Ergebnisse

Und warum sind die jeweiligen stichprobentheoretischen Voraussetzungen der jeweiligen Erhebungsmethode so ein wichtiger Punkt? Die Antwort hat jeder Soziologe und Statistiker gelernt: Bei einer Stichprobe auf Basis einer Zufallsauswahl muss jede Person der Grundgesamtheit eine bekannte Wahrscheinlichkeit haben, in die Stichprobe zu gelangen. Und diese Wahrscheinlichkeit darf nicht Null sein. Das stellt zum einen sicher, dass kein Bestandteil der Grundgesamtheit unberücksichtigt bleibt, was eine Verallgemeinerung verbieten würde. Zum anderen berücksichtigen die statistischen Verfahren, mit denen auf die Grundgesamtheit geschlossen wird, die Inklusionswahrscheinlichkeiten. Dadurch wird ein möglicher abweichender Proporz zwischen den Personen in der Stichprobe und jenen in der Grundgesamtheit korrigiert. Beides sind Grundvoraussetzungen, um die Ergebnisse aus einer Stichprobe in Aussagen über die Gesamtpopulation zu überführen. Bei Nonprobability Samples sind die Informationen über Vollständigkeit und Proporz nicht bekannt.

Deshalb gibt es nach dem Stand der derzeitigen methodischen Diskussion möglicherweise schlechte Nachrichten: Für bestimmte Fragestellungen muss angenommen werden, dass Ergebnissen auf Basis von Nonprobability Samples nicht zu trauen ist. Es geht also nicht um die Art oder den Modus der Erhebung, sondern um die Stichprobe, die der Erhebung, egal in welcher Form, zugrunde liegt.

Tatsächlich muss und wird über die Genauigkeit und Verlässlichkeit verschiedener Ansätze verstärkt diskutiert werden. Denn die wachsende Bedeutung der digitalen Erhebungen zeichnet sich bereits seit geraumer Zeit ab. Zugleich besteht aber eine Unsicherheit über die Qualität der derzeitigen Praxis bei Online-Befragungen, die zur Alltagserfahrung eines jeden Instituts gehört. Und schließlich ist nicht von der Hand zu weisen: Ein erhöhter Kostendruck, der in eine Zeit fällt, die durch einen Rückgang der Teilnahmebereitschaft an Umfragen in der Bevölkerung, verbunden mit der schwierigeren Erreichbarkeit, geprägt ist, betrifft insbesondere die klassischen Erhebungsmethoden. So erscheint eine Bestandsaufnahme sämtlicher Varianten sinnvoll und notwendig.

Eine systematische empirische Untersuchung steht jedoch bisher aus. Und genau hier müsste eine Methodenstudie ansetzen. Interessanterweise gibt es bisher auch international keine vergleichbare Studie, sondern allenfalls einige akademische Ansätze, beispielsweise in den Vereinigten Staaten.
Ziel wäre es, alle derzeit im Markt angewendeten Erhebungsmodi einem systematischen Vergleich zu unterziehen. Eine erste Diskussion über die Sinnhaftigkeit einer solchen Studie fand auf einer vom Leibniz-Institut für Sozialwissenschaften GESIS organisierten Tagung zu „Neue Entwicklungen der Onlineforschung: Möglichkeiten und Grenzen von River-Sampling“ statt. Hier hat infas im Namen des ADM eine erste Skizze des ADM-Projekts vorgestellt. Denn eine derartige Methodenstudie wird nunmehr von den Mitgliedsinstituten des ADM angedacht. Sie soll – unter Einbezug von Anbietern, die ausschließlich Online-Erhebungen durchführen – gemeinsam getragen werden.

Seit jeher hat der ADM Standards und Richtlinien für hochwertige empirische Forschung gegeben. So haben der Verband und seine Mitgliedsinstitute zur Entwicklung der Stichprobennorm DIN SPECS 91368 und der ISO Norm 200252 für die Markt- und Sozialforschung beigetragen. Aus jüngerer Zeit ist beispielsweise die klare Empfehlung zum Dual-Frame-Ansatz, also die Kombination von Mobil- und Festnetzstichproben bei telefonischen Erhebungen, in Erinnerung. Ein Vorgehen, das heute in der Branche Standard ist. Insbesondere das korrekte Verhältnis zwischen Festnetznummern und Mobilnummern im Dual-Frame-Ansatz wurde damals im Rahmen einer umfassenden empirischen Methodenstudie durch einige Mitgliedsinstitute ermittelt und entsprechende Empfehlungen gegeben.

Balkendiagramm Erhebungsmodi Markt- und Sozialfoschung

Die jetzt angedachte Studie wird zu weiteren Fragestellungen wertvolle Ergebnisse liefern können: Aufgrund sinkender Teilnahmebereitschaft und schwerer Erreichbarkeit der Bevölkerung etablieren sich gegenwärtig Methodenmix-Studien in der Branche, also Untersuchungen, bei denen mehrere Erhebungsmodi parallel zum Einsatz kommen. Dabei stellt sich die Frage, ob es spezifische Kombinationen unterschiedlicher Erhebungsmodi gibt, die zu einer besseren Abbildung der Realität führen. In diesem Zusammenhang gibt es auch eine inhaltliche Komponente: Gibt es für unterschiedliche Forschungsfragen jeweils ideal geeignete Erhebungsmodi oder Kombinationen? In der Praxis bei infas zeigen zahlreiche Hinweise, dass dem so ist. Eine spezifische Untersuchung dazu würde eine systematische Darstellung der Zusammenhänge ermöglichen und ist deshalb längst überfällig.

infas plant Online-Erhebungen mit Zufallsauswahl

Unabhängig von den Diskussionen und möglicher Methodentests: infas hat für sich entschieden, ein Panel für Online-Erhebungen auf Basis eines Probability-Samples aufzubauen. So wird die Lücke, die die Digitalisierung in der Branche gerissen hat, zumindest im Institut geschlossen. Wir sind in der Tat der Meinung, dass der Königsweg für sozialwissenschaftliche Erhebungen unabhängig ist von der Erhebungsmethode und alleinig auf einer Zufallsstichprobe beruhen muss.

Zum Weiterlesen:
Cornesse, C. und Blom, A. et al. (2020): A Review of Conceptual Approaches and Empirical Evidence on Probability and Nonprobability Sample Survey Research. In: Journal of Survey Statistics and Methodology 8/2020, Oxford University Press.
Krosnick, J. , Ho, A., Cho, M., MacInnis, B. (2019): The Accuracy of Measurements with Probability and Nonprobability Survey Samples. In Public Opinion Quarterly, Oxford University
Press Pasek, J., Krosnick, J. (2020): Relations between Variables and Trends over Time in RDD Telephone and Nonprobability Sample Internet Surveys. In Journal of Survey Statistics and Methodoligy, Oxford University Press
Geißler, H. (2020): Neue Entwicklungen in der Onlineforschung. In marktforschung.de,
DIN SPEC 91368 Stichproben für wissenschaftliche Umfragen der Markt-, Meinungs- und Sozialforschung – Qualitätskriterien und Dokumentationsanforderungen.

Photo by Umberto on Unsplash