Studie belegt: Telefonbefragungen sind »Goldstandard der Demoskopie«

Düsseldorf, 30.03.2024

Eine Studie der Konrad Adenauer Stiftung (Berlin, Januar 2024) stellt fest, dass Telefon-Befragungen und persönliche Befragungen nach wie vor die geeignetsten Modi für repräsentative Erhebungen sind. 

Die Studie »Online, offline oder beides? Umfragemethoden im Praxistest«1 untersucht das Antwortverhalten von Personen anhand von fünf Erhebungen mit nahezu gleichen Fragebogen, aber unterschiedlichen Erhebungsmethoden:   

  • Eine reine Telefon-Stichprobe 
  • Zwei reine Online-Stichproben 
  • Drei Mixed-Mode-Stichproben (Kombination von Telefon- und Online-Stichproben) 
(Jede der Befragungen wurde zum Thema Tierschutz-Kompetenz der größten deutschen Parteien unter n=1.000 Personen in Deutschland durchgeführt. Zeitraum der Erhebungen: Juni–Juli 2023; Veröffentlichung der Studie: Januar 2024) 

Das Ergebnis: Die einzelnen Erhebungen weisen gravierende Abweichungen im Antwortverhalten auf. »Da alle Umfragen zu einem fast identischen Zeitpunkt durchgeführt wurden, sollten die Abweichungen innerhalb der erwartbaren Fehlertoleranz liegen, wenn die Ergebnisse bevölkerungsrepräsentativ wären. Das ist jedoch nicht ansatzweise der Fall. Zum Teil weichen die Befunde um bis zu 43 Prozentpunkte von der Telefon-Befragung ab. Aber auch untereinander gibt es Abweichungen von bis zu 20 Punkten.«2 

Die Stichprobenziehung macht den Unterschied 

Die beiden Wissenschaftler:innen hinter der Studie Sabine Pokorny und Dominik Hirndorf erklären die großen Unterschiede im Antwortverhalten mit der unterschiedlichen Stichprobenziehung. Während sich Menschen bei Online-Studien in der Regel selbst rekrutieren, werden mittels geeigneter Telefonstichproben fast alle Menschen berücksichtigt: »Telefon-Befragungen können […] aufgrund der Nutzung von Festnetz- und Mobilfunkanschlüssen per Zufallsverfahren fast jede Person erreichen.«3 

Die Selbstrekrutierung bei Online-Studien wiederum führe zu blinden Flecken. Beispielsweise würden so alle Personen fehlen, die das Internet nicht aktiv nutzen: »3,1 Millionen Menschen in Deutschland haben noch nie das Internet genutzt. Darauf weist das Statistische Bundesamt (Destatis) hin. Das sind rund 5 Prozent der Bevölkerung.«4

Im Gegensatz dazu ist in Deutschland aufgrund der Telekommunikations-Infrastruktur die Basis für eine repräsentative Befragung der Bevölkerung per Telefon gegeben: 99% der deutschen Privathaushalte verfügen über einen Telefonanschluss.5 Zusätzlich sind 169 Mio. Sim-Karten registriert.6 CATI-Erhebung auf Basis einer Zufallsstichprobe garantieren, dass jeder Mensch mit einem Telefonanschluss in Deutschland die Möglichkeit hat, bei Befragungen miteinbezogen zu werden.  

»Eine reine Zufallsauswahl [ist] der einzige Weg zu einer bevölkerungsrepräsentativen Stichprobe. Zum jetzigen Zeitpunkt kann das vor allem mit Telefon- oder Face-to-Face-Befragungen realisiert werden.«7  

Das Telefon als Goldstandard der Demoskopie 

Auch wenn es wohl nur »[…] eine Frage der Zeit [ist], bis auch bevölkerungsrepräsentative Mixed-Mode- und Online-Befragungen möglich [sind]«, bleiben »nach Einschätzung von Pokorny und Hirndorf […] zurzeit noch Telefon- oder Face-to-Face-Befragungen der Goldstandard der Demoskopie.«8 Zum Schluss resümiert die Studie: »Online-Befragungen, die auf Nicht-Zufallsstichproben basieren, können zufallsbasierte Umfragen wie Telefon-Befragungen nicht ersetzen.«9 

Die Publikation der Studie ist auf der Website der Konrad Adenauer Stiftung zu finden: https://www.kas.de/de/analysen-und-argumente/detail/-/content/online-offline-oder-beides 

Quellen

1Sabine Pokorny, & Dominik Hirndorf. (2024). »Online, offline oder beides? Umfragemethoden im Praxistest«. Konrad-Adenauer-Stiftung. Abgerufen am 4. Mai 2024, von https://www.kas.de/documents/252038/29391852/Online%2C+offline+oder+beides+Umfragemethoden+im+Praxistest.pdf/eb7d4345-f895-d15a-4ab8-6f99d3193563?version=1.1&t=1704887849405
2Pokorny & Hirndorf (2024): S. 10
3Pokorny & Hirndorf (2024): S. 9
4Sabine Hedewig-Mohr (2024). »Sinus Institut / Hootsuite / Dateninstitut / Marketagent / Destatis / Talkwalker«. planung&analyse, dfv Mediengruppe. Abgerufen am 4. Mai 2024, von https://www.horizont.net/planung-analyse/nachrichten/wichtigesmehr-sinus-institut–hootsuite–dateninstitut–marketagent–destatis–talkwalker–219097.
5vgl. Miriam Gensicke & Nikolai Tschersich (2014): Methodenexperiment im Rahmen der BIBB/BAuA Erwerbstätigenbefragung 2011/2012: Ein Vergleich von CATI, CAPI und CAWI. Dortmund: Bundesanstalt für Arbeitsschutz und Arbeitsmedizin. 
6vgl. Bundesnetzagentur 2022: Jahresbericht Telekommunikation 2022. Online-Ressource:​
https://www.bundesnetzagentur.de/SharedDocs/Mediathek/Berichte/2023/JB_TK_2022.pdf?__blob=publicationFile&v=1​
(Letzter Zugriff: 03.04.2024).
7Pokorny & Hirndorf, (2024): S. 10
8Reiner Burger (2024): »Haste mal ’ne Umfrage?« Frankfurter Allgemeine Zeitung.
9Pokorny & Hirndorf, (2024): S. 10