Foto: andibreit

Meinungsforschung – im Wandel der Zeit

Wie werden eigentlich Umfragen gemacht?

Am 24. September 2017 ist es soweit: Deutschland wählt und die Bürger entscheiden, wer das Land in den kommenden vier Jahren regieren soll. Zeit, sich mit einer Disziplin zu beschäftigen, die in jüngster Zeit in die Kritik geriet: die Meinungsforschung. Denn auf welcher wissenschaftlichen Methode basiert Meinungsforschung überhaupt und was ist im Umgang mit ihren Ergebnissen besonders wichtig zu wissen?

Infobox: Tradition der Meinungsforschung in Deutschland

Die Meinungsforschung in Deutschland begann sich Ende der 1940er Jahre zu entwickeln. 1945 wurde die Firma Emnid in Bielefeld gegründet, 1947 folgte die Gründung des Instituts für Demoskopie Allensbach durch die Pionierin der deutschen Meinungsforschung, Elisabeth Noelle-Neumann.

Die richtige Stichprobe ziehen

Um möglichst genaue Ergebnisse zu erzielen, ist die Repräsentativität von Umfragen das entscheidende Kriterium. „Der Königsweg, um ein repräsentatives Abbild zu erhalten, wäre eine Zufallsstichprobe, die auf der Grundlage basiert, dass jedes Mitglied der Bevölkerung die selbe Chance hat, in diese Stichprobe hineinzugelangen“, erklärt Professor Dr. Rüdiger Schmitt-Beck vom Mannheimer Zentrum für Europäische Sozialforschung.

Ist die Umfrage repräsentativ, dann ist die Anzahl der Befragten weniger entscheidend. Für die Sonntagsfrage etwa befragen Umfrageinstitute, wie beispielsweise infratest dimap, 1000 Personen. Das wirkt erstmal wenig, wenn man Aussagen über das Verhalten sämtlicher Wähler treffen will. Wichtiger als die Größe ist jedoch, dass die Stichprobe die tatsächliche Zusammensetzung der Bevölkerung abbildet – also gleichermaßen Frauen und Männer aus den verschiedenen Altersklassen befragt, und Bürger mit unterschiedlichem Bildungshintergrund und aus allen Regionen Deutschlands vertreten sind.

Bei den meisten Befragungen setzt man in Deutschland in erster Linie auf Telefoninterviews. Der Vorteil: Nummern können aus dem Telefonverzeichnis gezogen oder einfach zufällig generiert werden. Auch Handynummern werden so inzwischen einbezogen. Allerdings steht die klassische Meinungsbefragung in Zeiten der Digitalisierung vor einem Problem: Viele Menschen sind telefonisch einfach nicht mehr erreichbar. Die wichtige Frage ist also immer: handelt es sich bei den Teilnehmern einer Umfrage wirklich um eine Zufallsstichprobe?

„Wenn Menschen über ihre Meinung oder Positionen Auskunft geben, können ihnen bestimmte Haltungen unangenehm sein und deswegen eher nicht offengelegt werden.“

(Prof. Dr. Rüdiger Schmitt-Beck)

Eine Lösung stellen Online-Befragungen dar. Dabei treten allerdings andersartige Schwierigkeiten auf: „Es gibt kein E-Mail-Gesamtverzeichnis und keine Möglichkeit, Adressen zufällig zu generieren. Deshalb zieht man die Stichprobe aus einem Kreis von Personen die eingewilligt haben, sich in einen Pool aufnehmen zu lassen“, erklärt Dr. Harald Schoen vom Lehrstuhl für Politische Psychologie an der Universität Mannheim. Problematisch ist dabei, dass vor allem ältere Bürger oft keinen Onlinezugang haben und damit nicht erreicht werden können.

Das German Internet Panel versucht diese Problematik zu lösen. Mit Onlinebefragungen, bei denen „Offline“ rekrutiert wird und Befragte – wenn nötig – mit einem Internetzugang ausgestattet werden. Zudem hat das Panel die weitere Besonderheit, dass es als Längsschnittstudie durchgeführt wird. Bei dieser Art von Umfragen werden mit wiederkehrender Fragestellung stets dieselben Personengruppen in regelmäßigen Abständen befragt. Der große Vorteil: Man weiß viel über seine Stichprobe und kann Schwankungen besser einordnen.

Die meisten Wahlumfragen sind jedoch Querschnittsstudien. Das betrifft beispielsweise die bekannte Sonntagsfrage, bei der jede Woche eine andere Stichprobe gezogen und dabei immer eine unterschiedliche Personengruppe befragt wird. Der Vorteil liegt auf der Hand: Es ist weitaus einfacher, Leute für eine einmalige Beteiligung an einer Umfrage zu gewinnen. Doch bei der Einordnung der Daten ist Vorsicht geboten, da solche Umfragen häufig Adhoc-Meinungen abbilden und keine langfristige Einschätzung von Schwankungen zulassen.

Ergebnisse sind nie genau

Zudem ist kein Meinungsforscher vor Messfehlern gefeit – manchmal bleiben diese sogar unbemerkt. Sie können zum Beispiel dann auftreten, wenn Personen bewusst falsche Aussagen machen. „Die soziale Erwünschtheit ist ein Problem“, sagt Schmitt-Beck: „Wenn Menschen über ihre Meinung oder Positionen Auskunft geben, können ihnen bestimmte Haltungen unangenehm sein und deswegen eher nicht offengelegt werden.“ Zudem wird bei der Auswertung der Antworten meist eine sogenannte Gewichtung durchgeführt, um die Repräsentativität einer Umfrage zusätzlich zu steigern. So wird, wenn beispielsweise in einer Umfrage nur wenige Personen über 50 Jahren befragt wurden, den verbliebenen Antworten in der Stichprobe entsprechend mehr Gewicht gegeben.

Doch auch mit den besten Methoden ergibt sich bei jeder Umfrage stets nur eine Näherung, kein Ergebnis ist eine fixe Zahl. „Bei jeder Zufallsstichprobe kann man zwar Schlussfolgerungen über die Verhältnisse in der Grundgesamtheit ziehen, aber dabei ist immer der Stichprobenfehler zu beachten“, erklärt Schoen: „Wenn ich beispielsweise bei 1000 Befragten fünf Prozent für eine Partei feststelle, kann ich davon ausgehen, dass der Anteil unter allen Wahlberechtigten mit einer gewissen Wahrscheinlichkeit im Bereich zwischen drei und sieben Prozent liegt.“ Diese Fehlertoleranz ist in der statistischen Auswertung ganz normal: von einer kleineren Zahl von Befragten auf das exakte Ergebnis mit Nachkommastellen von mehr als 61 Millionen Wählerentscheidungen zu schließen, erlaubt schlichtweg keine Statistik, keine Formel und kein Computer. Dazu müssten eben alle Wähler befragt werden können.

Infobox: Warum Umfragen keine Prognosen sind

Die Sonntagsfrage lautet: „Welche Partei würden Sie wählen, wenn am kommenden Sonntag Bundestagswahl wäre?“. Diese Umfrage gibt lediglich die Neigung der Wähler zu einem bestimmten Zeitpunkt wider. Sie sagt nicht die tatsächliche Wahlentscheidung vorher. Üblicherweise werden als Prognosen nur Umfragen bezeichnet, die am Wahltag gemacht wurden. Leider wird diese Begrifflichkeit in vielen Medienberichterstattungen nicht klar getrennt. Mit innovativen Berechnungsmodellen versuchen einige Forschungsgruppen inzwischen Wochen vor der Wahl, zuverlässige Prognosen aufzustellen.

Neue Methoden sind gefragt

Wie sehr sich die Meinungsforschung aktuell im Wandel befindet, zeigt sich auch daran, dass innovative Anbieter mit neuen Umfrageangeboten – überwiegend online – in den Markt drängen. Ein Beispiel ist die Firma Civey, die ihre Befragten aus Besuchern von 5000 unterschiedlichen Webseiten sammelt und dann daraus Stichproben zieht. Umfrageteilnehmern verspricht das Unternehmen Umfrageergebnisse in Echtzeit. Die Firma YouGov nutzt ebenfalls Onlineumfragen, kombiniert diese aber beispielsweise mit demografischen Daten aus Wahlkreisen, um ihre Umfrageergebnisse zu generieren. Das Geschäft mit den Umfragen wächst stetig. Umso wichtiger, dass sich auch die Wissenschaft intensiv mit Theorie und Praxis der Umfrageforschung, ihrer Methodik und ihrem Wandel beschäftigt.

Mehr zu dem Thema