Wie die Erfahrung von Interviewern die Datenqualität beeinflusst

Als Sozialforschungsinstitut haben wir das Ziel, für Öffentlichkeit und Wissenschaft stets Daten mit einem hohen Maß an Qualität zur Verfügung stellen zu können. Wie Patricia Gwartney es treffend zusammenfasst, spielen Interviewer in persönlichen und telefonischen Befragungen dabei eine zentrale Rolle.

„Consider this scenario. The finest thinkers develop a clever new theory that may help answer a pressing human problem. They find the most talented survey researchers to design an ideal instrument that will test the theory. A statistician selects a perfectly representative sample of people to take the survey. A computer programmer programs the survey software flawlessly. Everything up to this point is precise and complete. But none of it matters without highly trained interviewers to gather the data.“ Patricia A. Gwartney

So sind sie je nach Studie für die Identifikation, die Klassifizierung und gegebenenfalls auch das Screening der gezogenen Befragungseinheiten zuständig, womit sie die zu befragende Stichprobe beeinflussen. Eine zentrale Rolle nehmen Interviewer außerdem bei der Motivation der Zielpersonen zur Teilnahme und damit der Verringerung von Unit-Nonresponse sowie der Durchführung der Befragung selbst ein. Besonders wichtig sind an dieser Stelle das standardisierte Vorgehen bei Fragen und Nachfragen sowie die korrekte und genaue Aufnahme der Antworten der Befragten. Abschließend werden die Daten von den Interviewern noch einmal überprüft und manchmal auch editiert. All diese Einflussmöglichkeiten von Interviewern auf die verschiedenen Schritte des Erhebungsprozesses sind auch der Abbildung des Total-Survey-Error-Modells auf der nächsten Seite zu entnehmen.
Trotz dieser zentralen Rolle der Interviewer bei Befragungen sind einige Aspekte von Interviewereffekten in der bisherigen Forschung noch kaum untersucht worden. Dazu zählen beispielsweise Effekte nicht beobachtbarer Interviewermerkmale, wie Erfahrung oder Erwartungen gegenüber den Befragten. Gerade die Erfahrung der Interviewer ist aber ein zentrales Merkmal, das immer wieder auch zur Planung und Steuerung der Feldarbeit herangezogen wird. Die bisherigen Forschungsergebnisse stützen diese Praxis, da sie darauf schließen lassen, dass erfahrene Interviewer eine höhere Ausschöpfung erzielen als ihre unerfahreneren Kollegen. Es ist allerdings bisher wenig über weitere, eventuell auch negative Effekte der Interviewererfahrung auf andere Schritte des Erhebungsprozesses bekannt. Mit der im Folgenden beschriebenen Analyse wurden die Effekte der Erfahrung von Interviewern daher noch einmal genauer beleuchtet.

Vorgehen bei der Analyse

Mit Daten des Sozio-oekonomischen Panels (SOEP) aus dem Jahr 2012 wurde der Einfluss der Interviewererfahrung auf mehrere Indikatoren von Datenqualität analysiert. Zur Untersuchung des Nonresponse Error wurden dabei zwei binär codierte Variablen für den erfolgreichen Kontakt mit einem Haushalt sowie die Teilnahme bzw. Kooperation des Haushalts bei der Befragung herangezogen. Zur Beurteilung der Qualität der Messung (Measurement Error) wurde der Anteil der Item-Nonresponse bei Einkommensfragen betrachtet. Die Erfahrung eines Interviewers ist kein klar definiertes und direkt messbares Konstrukt. Untersucht wurden bislang meist die folgenden Dimensionen: Länge der Erfahrung, Breite der Erfahrung und die Erfahrung im Rahmen der aktuellen Erhebung. Als Operationalisierung für die Länge der Erfahrung wurde in der vorliegenden Analyse die Anzahl der bisher bearbeiten Wellen des SOEP herangezogen. Für den Einfluss der Breite der Erfahrung wurden zwei binär codierte Variablen verwendet, die zum einen Interviewer identifizierten, die parallel auch für andere Studien gearbeitet hatten, und zum anderen Interviewer, die parallel noch für andere Erhebungsinstitute arbeiteten. In Bezug auf die erhebungsspezifische Erfahrung wurde neben der Gesamtzahl der im Rahmen der Erhebung durchgeführten Interviews (Workload) auch die Reihenfolge der Interviews sowie die der Haushaltskontakte betrachtet.
Die Effekte der verschiedenen Arten von Interviewererfahrung auf die beschriebenen Qualitätsindikatoren wurden mithilfe von Mehrebenenmodellen untersucht. Diese Analysemethode trägt der hierarchischen Datenstruktur des SOEP Rechnung, bei der sich mehrere Haushalte jeweils einem einzigen Interviewer zuordnen lassen.

Ergebnisse

Trotz eines großen allgemeinen Einflusses der Interviewer auf fast alle der untersuchten Indikatoren für Datenqualität konnten in der durchgeführten Analyse weniger Effekte der Erfahrung von Interviewern beobachtet werden, als auf Grundlage bisheriger Forschungsergebnisse zu erwarten gewesen wären. Die Mehrzahl der beobachteten Effekte lässt dabei aber auf einen insgesamt positiven Einfluss der Erfahrung auf die Datenqualität schließen, sowohl im Bereich des Nonresponse als auch des Measurement Error. Auffällig war vor allem der Effekt des Workloads: Dieser erhöhte nämlich sowohl die Chance der Haushalte, kontaktiert zu werden, als auch ihre Chance, sich zur Kooperation zu entschließen. Zudem schien sich mit steigendem Workload die Item-Nonresponse-Rate bei Einkommensfragen zu verringern, was ebenfalls zu einer höheren Qualität der Daten beitrug. Zu beachten ist bei der Interpretation dieser Ergebnisse allerdings, dass der Workload lediglich eine eher grobe Operationalisierung der erhebungsspezifischen Felderfahrung darstellt. Zudem könnte diese Variable auch als Proxy für ganz andere Mechanismen fungieren.
Beispielsweise werden zuverlässigen und erfolgreichen Interviewern teils mehr Fälle zugeteilt als ihren Kollegen, die weniger gute Arbeit leisten. So könnte dieses Ergebnis auch Ausdruck für eine umgekehrte Kausalität sein und der Workload mit der Qualität der Daten ansteigen.
Bedacht werden muss dabei auch, dass ein höherer Workload über einen Anstieg des Interviewer-Designeffekts wiederum zur Erhöhung der Varianz und damit zur Minderung der Datenqualität beiträgt. Die positiven Effekte des Workloads sollten also immer mindestens die dadurch entstehende Varianzerhöhung aufwiegen. Ebenfalls einen ausschließlich positiven Effekt hatte die gleichzeitige Arbeit für weitere Erhebungsinstitute.
Dieser Umstand führte allerdings lediglich zu einer höheren Chance, Haushalte zur Teilnahme zu motivieren. Die anderen Qualitätsindikatoren wurden dadurch nicht beeinflusst. Eine Erklärung für diesen Effekt könnte sein, dass die Interviewer durch die Schulungen in unterschiedlichen Instituten insgesamt mehr Strategien an die Hand bekommen, um verschiedene Gruppen von Zielpersonen von der Teilnahme an einer Studie zu überzeugen.
Ein ähnlicher Mechanismus ließe sich auch für die gleichzeitige Arbeit für weitere Studien vermuten, was allerdings durch die vorliegenden Ergebnisse nicht bestätigt werden konnte. Im Gegenteil wurde die Chance zur Kooperation der Haushalte durch diesen Umstand sogar verringert. Als Grund hierfür könnte eine Überlastung der Interviewer durch mehrere parallel zu bearbeitende Studien sein, die dazu führt, dass sie Verweigerungen eher akzeptieren, um die Fälle schnell abschließen zu können.
Unerwartet waren vor allem die fehlenden Effekte der vorherigen SOEP-Erfahrung in Jahren sowie des Erfahrungszuwachses im Feldverlauf. Lediglich die Item-Nonresponse-Rate bei Einkommensfragen schien bei erfahrenen Interviewern tendenziell geringer zu sein. Die Chance zur Kooperation der Haushalte nahm dagegen im Laufe der Feldzeit eher ab als zu. Letzteres könnte darauf zurückzuführen sein, dass sich Haushalte, die schwer erreichbar sind und deshalb erst gegen Ende der Feldzeit abschließend bearbeitet werden konnten, systematisch von anderen Haushalten auf Dimensionen unterscheiden, die durch die zusätzlich in die Modelle aufgenommenen Variablen nicht kontrolliert werden konnten. Für die Qualität der Daten ist es also nach diesen Analyseergebnissen nicht relevant, ob die Interviewer bereits Erfahrung mit der betreffenden Studie haben oder nicht. Ein Grund für diese fehlenden Effekte könnte sein, dass die im SOEP eingesetzten Interviewer allgemein schon viel Erfahrung in persönlichen Interviews mitbringen.

Insgesamt konnten zwar, vor allem bei der Verhinderung von Nonresponse, weniger positive Effekte der Erfahrung von Interviewern beobachtet werden als erwartet. Dafür fanden sich aber auch keine negativen Effekte der Erfahrung. Die Datenqualität wird durch den Einsatz erfahrener Interviewer somit vielleicht nicht unmittelbar verbessert, der Einsatz dieser Interviewer lohnt sich aber dennoch. Durch ihre Erfahrungen mit den organisatorischen Gegebenheiten können sie sich schließlich voll und ganz auf die jeweiligen Studienanforderungen konzentrieren.

Zum Weiterlesen:
Ackermann-Piek, D. (2017): Interviewer Effects in PIAAC Germany 2012 (Diss., Universität Mannheim).
Biemer, P. P. & Lyberg, L. E. (2003): Introduction to Survey Quality. Hoboken: John Wiley & Sons, Inc. Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M. & Singer, E. (2009): Survey Methodology. Hoboken:John Wiley & Sons, Inc.
Gwartney, P. A. (2007): The Telephone Interviewer’s Handbook: How to Conduct Standardized Conversations. Jossey-Bass.
West, B. T. & Blom, A. G. (2017): Explaining Interviewer Effects: A Research Synthesis. Journal of Survey Statistics and Methodology, 5, 175–211.

 

Photo by Simon Abrams on Unsplash