Die Bereitschaft von Bürgerinnen und Bürgern, sich an Befragungen zu beteiligen, sinkt. Zu viele Anfragen, Erfahrungen mit schlecht gestalteten Befragungen oder ganz andere Anlässe, die sich zunächst als Wissenschaft tarnen, führen zu mehr Skepsis und Distanz. Gleichzeitig nimmt die Bereitschaft vieler Auftraggeber ab, in Befragungen höhere Beträge zu investieren. Trotzdem bleibt das Erkenntnisinteresse.
Die Nutzung eines günstigen Online-Panels ist dabei oft eine willkommene Alternative. Wenn die Bereitschaft sinkt, ad hoc etwa am Telefon Auskunft zu geben, liegt es nahe, sich eines Online-Access-Panels zu bedienen, das den damit verbundenen Aufwand minimiert, und auf die Antworten derjenigen zu setzen, die sich zu einem solchen Befragungsweg schon bereit erklärt haben.
Noch verlockender ist dies, wenn etwa eine bestimmte Konsumentengruppe gesucht wird und diese sogar anteilig besonders klein ist. Hier bieten vorrekrutierte Online-Panels viele Vorteile. Doch wie steht es um die Anforderung, mit einem solchen Ansatz Ergebnisse zu ermitteln, die repräsentativ für die gesamte Online-Gemeinde oder sogar auch für die Nicht-Onliner sind? Auch dies hoffen die großen Online-Panel-Anbieter zu erfüllen.
Wir wollten es jedoch etwas genauer wissen und haben die Antworten auf einen identischen Fragebogen aus zwei Online-Panels mit über 10.000 Befragten mit den Resultaten aus einer telefonischen Studie auf Basis eines Dual-Frame-Ansatzes aus einer Festnetz- mit einer Mobilfunkstichprobe und über 16.000 Befragten verglichen. Das Ergebnis zeigt, dass sich die einbezogenen Online-Panels auch bei einer Kontrolle wichtiger soziodemografischer Variablen in ihren Resultaten von dem ad hoc erfolgten telefonischen Zugang deutlich unterschieden.
Die Online-Panels lieferten höhere Aktivitäts- und Konsumquoten, etwa bei der Fernsehnutzung oder der Handyausstattung, die wesentliche Inhalte der Vergleichsstudie bildeten. Während die Hochrechnung der Ergebnisse aus dem CATI-Zugang gut zu bekannten externen Werten passten – etwa den Marktanteilen verschiedenen Provider oder der Bekanntheit bestimmter technischer Angebote in der Telekommunikation – zeigten die Online-Panels Ergebnisse mit einer geringeren Passgenauigkeit.
Zumindest der Anspruch einer Online- oder sogar einer Bevölkerungsrepräsentativität konnte bei inhaltlichen Fragen also nicht erreicht werden. In diesem Fall war dies nachweisbar, weil telefonisch erhobene Vergleichsergebnisse vorlagen, die einer externen Validierung standhielten. Diesen Test, der nur selten möglich ist, haben die einbezogenen Online-Panels nicht bestanden.
Trotzdem bleiben auch für diese Option zuverlässige Anwendungsmöglichkeiten erhalten. Aber als zuverlässiges Verfahren auf dem Weg zu bevölkerungsrepräsentativen Ergebnissen können sie nach unseren Ergebnissen nicht gelten. Gleichzeitig ist auch für sorgfältig durchgeführte telefonische Befragungen nicht gewährleistet, dass diese eine solche Aufgabe auf Dauer noch leisten können. Beide Zugänge müssen weiterentwickelt werden, beide benötigen vor allem gute Stichprobengrundlagen und qualifizierte Fragebögen. Wenn dies gewährleistet ist, können sie miteinander verschmelzen und gemeinsam noch belastbarere Resultate erbringen.
Darüber hinaus stehen weitere Erhebungsformen und Stichprobenzugänge zur Verfügung, die ebenso bedeutsam sind. So setzt infas in vielen Studien Stichproben ein, die auf den Einwohnermelderegistern beruhen, und bietet den Befragten die Optionen, sich telefonisch, schriftlich, online oder sogar über ein persönliches Interview zu beteiligen. In jedem Fall muss sorgfältiger als mitunter zu beobachten abgewogen werden, für welche Fragestellung sich welcher Zugang am besten eignet.
Leider liefert jede Studie auch ohne diese Sensibilität Ergebnisse. Aber manchmal kann es vernünftiger sein, einen „Studieneuro“ gar nicht oder anderswo zu investieren, als in zu einfache Empirie mit kostengünstigen, aber vielleicht falschen Ergebnissen.
