Erbsenzähler!

Von uns akribischen Empirikern

Wenn vom Messen in der empirischen Sozialforschung die Rede ist, rümpfen manche Naturwissenschaftler die Nase. Aus nachvollziehbaren Gründen. Doch hat die Sozialforschung fundierte Verfahren für das Messen entwickelt.

Für die Naturwissenschaft ist Messen eine geplante Tätigkeit, mit der eine quantitative Aussage für eine Messgröße durch Vergleich mit einer Einheit ermittelt wird. Das Deutsche Institut für Normierung beschreibt Messen in DIN 1319 dann auch als „Ausführen von geplanten Tätigkeiten zu einer quantitativen Aussage über eine Messgröße durch Vergleich mit einer Einheit“. So wird Temperatur in Grad Celsius, Kraft in Newton oder Lichtstärke in Candela gemessen.
Vergleichbare Einheiten fehlen der Sozialforschung. Gebremst hat das die empirische Sozialwissenschaft jedoch nicht: Ein zunehmender Bedarf an gesicherten Daten hat dazu geführt, dass quantitative Verfahren vorangetrieben wurden und die Welt auch aus dieser Perspektive vermessen wurde.

Items statt Einheiten

Weiterentwicklungen bei der Erhebung, Auswertung und Nutzung sozialwissenschaftlicher Daten haben für einen praxistauglichen Ersatz für die Einheit der Naturwissenschaft gesorgt: elaborierte Operationalisierungen und daraus abgeleitete Indikatoren. Beide weisen Gütekriterien auf – in erster Linie Objektivität, Validität (Gültigkeit) und Reliabilität (Verlässlichkeit). Im Zusammenspiel stellen sie sicher, dass bei der Messung identischer Sachverhalte oder bei der wiederholten Messung von Sachverhalten gleiche quantitative Werte ausgewiesen werden. Damit hat die Sozialwissenschaft ein Äquivalent geschaffen, das ähnliche Aufgaben wie naturwissenschaftliche Messungen zuverlässig erfüllt. Noch vor etwa fünfzig Jahren im Rahmen des sogenannten Positivismusstreits war sich die Fachwelt durchaus uneinig, ob Messungen als naturwissenschaftliches Pendant in der Sozialwissenschaft überhaupt möglich und sinnvoll sind. Die Diskussion darüber wurde jedoch von der Praxis eingeholt. Quantitative Erhebungen haben ausgehend von Entwicklungen in der amerikanischen Soziologie der 1930er und 1940er-Jahre weltweit einen Boom erlebt, der unverändert anhält.
Natürlich wird seit vielen Jahren auch in Deutschland sozialwissenschaftlich gemessen. 1959 gegründet, zählt infas zu einem der Pioniere. 2016 erzielten die im Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute (ADM) organisierten Unternehmen 92 Prozent ihres Umsatzes mit quantitativer Forschung. Also mit einer Forschung, die sich eben genau auf die Annahme stützt, dass gesellschaftliche Sachverhalte gemessen werden können. Die Öffentlichkeit teilt den Eindruck, dass Sozialwissenschaftler messen und nennt sie gerne auch mal „Erbsenzähler“.
Mit dem Anspruch einer exakten Messung in den quantitativ geprägten Erhebungen wuchs ein beträchtlicher Fundus an Forschungsverfahren heran, oft sogar ergänzt durch qualitative Verfahren, die wiederum einer eigenen Logik des Messens gehorchen. Die Stichprobenziehungen wurden optimiert, immer wieder neue Instrumente entwickelt. Beispielsweise Verfahren in der Ereignisanalyse oder zur Selbstpositionierung von Befragten im sozialen Raum oder mehrdimensionale statistische Analysen der häufig nur kategorialen Ergebnisse.
Heute gibt es zu den Erhebungsverfahren und Analysemethoden internationale Standards und für viele sozialwissenschaftliche Fragestellungen empirisch geprüfte Items und Skalen. So bietet als eine von vielen Quellen beispielsweise das GESIS Leibniz-Institut für Sozialwissenschaften mit der „Zusammenstellung sozialwissenschaftlicher Items und Skalen“ (ZIS) über 200 Erhebungsinstrumente, etwa zum Messen von politischen Einstellungen oder psychologischen Merkmalen, zu denen die Entwicklung, die Gütekriterien und der theoretische Hintergrund dokumentiert sind. Kurz, es ist eine umfassende Wissenschaft entstanden, in der es nur wenige weiße Flecken gibt.

Schwarze Schafe

Wo viel Licht ist, gibt es jedoch auch Schatten. Der geflügelte Satz „Traue keiner Statistik, die du nicht selbst gefälscht hast“ kommt nicht von ungefähr. Im gleichen Maße, wie empirische Studien boomen und weltweit gefühlt sekündlich eine neue Untersuchung veröffentlicht wird, hat die Zunft mit Humbug zu kämpfen. Da geht es ihr nicht anders als den Naturwissenschaftlern, die ebenfalls mit fragwürdigen Studienergebnissen konfrontiert sind. Fachliches Unvermögen, versuchte politische oder wirtschaftliche Einflussnahme, ein aufgrund mangelnder finanzieller Ausstattung für die Forschungsfrage ungenügendes Studiendesign oder eine falsche, flüsterpostähnliche Darstellung der Studienergebnisse in den Medien sind einige Gründe. Dagegen helfen nur eine gute Praxis, hohe Transparenz und oft auch ein skeptischer Blick. In den nachfolgenden Artikeln dieser Lagemaß-Ausgabe werden einige sozialwissenschaftliche Fragestellungen aufgegriffen und gezeigt, welche besonderen Anforderungen sich für eine empirische Erhebung jeweils ergeben.

Fehler bleiben verborgen

Der Ehrgeiz, mit individuell zugeschnittenen anspruchsvollen Instrumenten die höchste Messgenauigkeit zu erlangen, wird in der sozialwissenschaftlichen Forschung nicht automatisch honoriert. Bedauerlicherweise ist den Ergebniszahlen ihre Entstehungsgeschichte oft nicht auf den ersten Blick anzusehen. Eine handwerklich solide empirische Studie unterscheidet sich hier nur bei genauem Hinsehen und guter Methodenkenntnis von Pfusch. Daher sind Transparenz und Nachvollziehbarkeit unverzichtbar.
Zu einem professionellen Selbstverständnis, dem wir uns bei infas verpflichtet sehen, gehören also Dokumentation und die Offenlegung von Entstehungsbedingungen. Doch auch damit bleibt es für den wissenschaftlichen Laien oft ähnlich schwer wie in den Naturwissenschaften, Zuverlässiges von weniger Gutem und dieses von Scharlatanerie zu unterscheiden. Obwohl in vielen Fällen bereits eine gute Dokumentation hilft, Missstände zu erkennen, ist die Überprüfung einer Studie häufig nur durch Replikation möglich und damit aufwendig und teuer. So können fragwürdige sozialwissenschaftliche Studien nur schwer frühzeitig als solche aufgedeckt werden. Dies gilt insbesondere dann, wenn zuverlässige Vergleichsdaten und Möglichkeiten für eine externe Validierung fehlen, die Hinweise zur Qualität der Ergebnisse liefern würden.
Daneben gibt es Entwicklungen, die seriöse empirische Sozialforschung erschweren. So sinkt die Teilnahmebereitschaft in der Bevölkerung seit einigen Jahren. Quoten von 70 Prozent und mehr, die in den 1980er-Jahren durchaus möglich waren, sind heute nur sehr selten und unter ganz besonderen Konstellationen zu erreichen. Es ist jedoch schwer zu messen, wenn sich das Forschungsobjekt dem Zugang verweigert.
Diese Entwicklung hat sich nicht plötzlich ergeben, sondern kontinuierlich über einen langen Zeitraum. Um damit umgehen und die geschilderten Gütekriterien trotzdem erfüllen zu können, hat die Sozialwissenschaft zusätzliche Instrumente entwickelt. Dazu rechnen beispielsweise Non-Response-Erhebungen, mit denen inhaltliche Ausfälle identifizierbar werden, oder verbesserte Stichprobenansätze. Der Einsatz dieser Verfahren erhöht jedoch den Aufwand und damit die Kosten. Und auch hier gilt: Auf den ersten Blick bleiben derartige Anstrengungen im Ergebnis kaum sichtbar. Eine Zahl ist eine Zahl. Sie muss aber einer Überprüfung auch auf den zweiten oder dritten Blick standhalten.

Blindes (falsches) Vertrauen

So erfreulich es ist, dass Studienergebnisse in der Bevölkerung eine hohe Aufmerksamkeit genießen, sollte es die Sozialforscher stören, dass das Wissen über die Entstehung von quantitativen Studien, zu möglichen Fallstricken und Fehlerquellen nur wenig entwickelt ist. Seit über 100 Jahren gibt es nun eine in ihren Grundprinzipien stabile, aber ihren Werkzeugkasten immer mehr verfeinernde empirische Sozialforschung. Und doch bleiben die Vorstellungen der Öffentlichkeit darüber vage.
Dies liegt keineswegs immer daran, dass die Vorgänge intransparent blieben – vor allem die Meilensteine und viele bedeutende Studien sind ausführlich dokumentiert. Doch nicht immer wird diesen Regeln entsprochen und nicht immer wird ihre Einhaltung eingefordert. Allerdings ist eine Handvoll knackiger Zahlen leichter zu kommunizieren als die zugehörige mitunter als überflüssig empfundene Entstehungsgeschichte. Nicht nur in Fake-News-Zeiten ist dieser Befund bedenklich.

Neuland mit Chancen

Transparenz ist auch deshalb nötig, weil die Welt der empirischen Sozialforschung nicht einfacher wird: Eine der größten aktuellen Herausforderung beim Messen in der Sozialforschung dürfte im Einbeziehen der Möglichkeiten durch neue digitale Datenzugänge liegen. Methodisch gedacht, rücken diese Quellen neben dem etablierten Befragen wieder die Beobachtung in den Fokus.
Eine eigentlich alte Erhebungsmethode, schließlich ist schon die 1933 von Marie Jahoda und Paul Lazarsfeld durchgeführte Studie „Die Arbeitslosen von Marienthal“, die als Meilenstein der empirischen Sozialforschung gilt, keine reine Befragungsstudie, sondern basiert im Wesentlichen auf Beobachtung. Digital sind es heute das Smartphone, zahlreiche Geschäfts- und Telematikdaten, die zum Beobachten einladen. Zudem sind mehr und mehr amtliche Daten online verfügbar. Denn die Behörden stellen ihre Daten in großem Umfang der Öffentlichkeit zur Verfügung. Zusammen mit anderen Quellen ergibt sich ein immenser Datenfundus, den Sozialwissenschaftler bei der Beschreibung gesellschaftlicher Sachverhalte nicht außer Acht lassen können.
Die Analyse von Daten dieser Provenienz verlangt jedoch ein Umdenken. Das induktive Vorgehen, von einer Stichprobe auf die Gesamtheit zu schließen, passt hier zumindest nach dem ersten Eindruck nicht: Die grundsätzliche Vorgehensweise der Sozialforschung, zu einer Fragestellung Hypothesen zu entwickeln und mittels Falsifikation auf Basis empirischer Daten Kausalitäten zu identifizieren, kann nur eingeschränkt funktionieren. Schließlich handelt es sich um sekundäranalytische Auswertungen von Daten, die nicht für die Forschung entstanden sind, sondern im Rahmen von digitalen Alltagsprozessen.
Manche Big-Data-Apologeten schlagen hier daher einen umgekehrten Forschungsweg vor. Erst werden die Daten umfassend auf Korrelationen geprüft und danach werden Ideen zu den zugrunde liegenden Wirkungszusammenhängen entwickelt. Es wird zuerst die Frage nach dem „Was“ beantwortet und erst anschließend nach dem „Warum“. Ob ein derartiges Vorgehen, das der traditionellen Sozialforschungspraxis entgegenläuft, praktikabel ist, wird sich zeigen müssen. Zumindest sollte die Prüfung der eingangs genannten Kriterien Objektivität, Validität und Reliabilität Bestandteil der guten Praxis bleiben, wenn nicht Artefakte produziert werden sollen.

Zugewinn durch Digitalisierung

Die Einbeziehung dieser umfassenden Datenzugänge in sozialwissenschaftliche Studien ist eine neue Disziplin und bedarf der Entwicklung geeigneter Verfahren und Qualitätskontrollen. Der Zugewinn für die Forschung wird jedoch diese Anstrengungen rechtfertigen. Wie bei Innovationen üblich, werden voraussichtlich Anwendungen entwickelt, die den heutigen Erwartungshorizont übersteigen. Unzweifelhaft ist allerdings, dass die empirische Sozialforschung die Daten, die durch digitale Prozesse neu entstehen und gut verfügbar sind, nicht einfach ignorieren kann. Gesichert ist schon jetzt, dass das Messen in der Sozialforschung auch künftig eine spannende, Kreativität fordernde Aufgabe bleiben wird.

Zum Weiterlesen:
Diaz-Bone, Rainer (2010): Die Performativität der Sozialforschung – Sozialforschung als SozioEpistemologie, Workingpaper des Soziologischen Seminars der Universität Luzern,
Menno Smid (Hrsg., 2009): Ein Hundert Prozent infas, infas, ISBN: 978-3941991002
Jochen Hirschle (2017): Im Schatten von Big Data? Die Sozialwissenschaften im Wandel, Deutsche Gesellschaft für Soziologie (Bd. 38)

Patrick Fore