»Finden Sie die Deutschen anderen Völkern gegenüber von Natur aus überlegen?« – »Putzen Sie jeden Abend Ihre Zähne?« Extrem unterschiedliche Fragen, die bei Umfragen jedoch den gleichen Reflex auslösen.
Nehmen wir einmal die erste Aussage bezüglich der Überlegenheit des deutschen Volkes: Sie war erst kürzlich Teil einer repräsentativen Studie, die Bürger aus den ostdeutschen Bundesländern beantworten sollten – und zwar schriftlich und anonymisiert. Andere Fragen der gleichen Studie, weniger polarisierend und eher unverfänglich – wurden den Teilnehmern dagegen durch einen Interviewer persönlich gestellt.
Warum diese Aufteilung in schriftlich-anonym auf der einen und persönlich-direkt auf der anderen Seite? Die Ursache liegt in der Wirkung des sogenannten Effekts der ›Sozialen Erwünschtheit‹, was bedeutet, dass auf die oben gestellte Frage selbst völkisch gesinnte Zeitgenossen einem Interviewer gegenüber eher abschlägig geantwortet hätten.
»Effekt oder Bias der Sozialen Erwünschtheit: Befragte äußern eher solche Meinungen und Einstellungen, von denen sie annehmen, dass sie mit den sozialen Normen und Werten der Gesellschaft – und somit auch denen des Interviewers – übereinstimmen.«
Quelle: Marktforschung.de
Zum Hintergrund ein kleiner Schritt zurück: Der Mensch ist ein durch und durch soziales Lebewesen. Fast alles, was menschliches Verhalten ausmacht, ist sozial gelernt, also VON anderen oder DURCH andere. Menschen fühlen sich zudem gerne zugehörig, zumindest wenn es um die ›eigene‹ Gruppe geht, egal ob es sich nun um Nationalitäten, Religionen, Altersgruppen oder so etwas banales wie einen Tennisklub handelt. Menschlich und normal ist ebenso das ständige Urteilen über andere und zumindest der Glaube, dass man auch selbst von anderen permanent beurteilt wird.
Nicht zuletzt durch solche sozialen Dynamiken weiß der Normalbürger ziemlich genau, welche Verhaltensweisen in unserer Gesellschaft die Norm sind – und welche eher nicht. Was also folglich auf allgemeine Zustimmung stößt und somit sozial erwünscht.
Social Desirability Bias in der Markt- und Meinungsforschung
AMR ist Experte für telefonische Befragungen und natürlich wollen wir bei jeder Erhebung erfahren, was die Menschen wirklich denken bzw. was sie meinen und wie sie handeln. Diese Wirklichkeit deckt sich jedoch naturgemäß nur selten mit dem, was die Gesellschaft zumindest offiziell von seinen Bürgern an Gutem und Moralischem erwartet. Was passiert nun, wenn wir als Institut in genau diese Widersprüchlichkeit hinein-fragen?
Gerade wenn es um sozial sensible Themen geht – von politischen oder religiösen Einstellungen bis hin zu anderen persönlichen Angelegenheiten wie z.B. Rauchen, Alkoholkonsum oder das Verhalten in den eigenen vier Wänden – sind Menschen in Befragungen nicht immer ehrlich. Viele wissen genau, was als sozial verträglich gilt und verbiegen entsprechend ihre Antworten. Bedeutet: Sie verzerren ihre Angaben im Sinne der besagten ›Sozialen Erwünschtheit‹.
Dieser Effekt ist für AMR natürlich nicht neu. Wir wissen zuverlässig, wann und wo dieser Bias lauert, welche Einflussfaktoren auf ihn wirken und welche Strategien und Maßnahmen helfen, ihn zu minimieren oder sogar zu vermeiden.
Sensible Tabuthemen brauchen Safe-Spaces in der Befragung
Gesellschaftlich heikle oder gar geächtete Themen, zum Beispiel Rassismus oder Diskriminierung, sind nicht nur inhaltlich, sondern auch in der konkreten Befragungssituation eine Herausforderung. Regelmäßig machen wir die Erfahrung, dass Personen ihre individuelle Betroffenheit zwar bestätigen, ihre konkreten Erfahrungen mit den Problemen aber nur ungern offen teilen wollen.
Möglicherweise mangelt es den Befragten an dieser Stelle an psychologischer Sicherheit, am subjektiv gefühlten ›Safe-Space‹, um ihre Probleme angstfrei, klar und deutlich zu benennen. Am Ende fehlen diese Angaben jedoch in den Umfrageergebnissen und verfälschen das objektive gesellschaftliche Bild.
Ähnliche Muster – also keine, geschönte oder ausweichende Antworten – finden sich auch bei Fragen zu Missbrauch oder Gewalt in der Familie. Stets müssen wir uns an dieser Stelle als Institut fragen: Wie erhalten wir trotz solcher Themen valide Informationen durch möglichst unbefangene und aussagekräftige Antworten?
Der Bias in allen Elementen einer Befragung
Im Arbeitsalltag von AMR ist der Effekt der Sozialen Erwünschtheit ständiger Begleiter, denn er zeigt sich in allen Phasen einer Befragung: vom Interviewer zu den Probanden, vom Fragebogen bis zum Methodenmix.
Der Interviewer: Professionell mit Softskills
Gleich zu Beginn jeder Befragung ist der Aufbau von Vertrauen zwischen Interviewer und Proband zentral, hauptsächlich indem diesem Anonymität und Diskretion garantiert wird. Zwar ist AMR ein etabliertes Institut, das in der Branche für Seriosität und Kompetenz steht, doch auch bei uns wird nicht jede Testperson bei persönlichen Fragen absolut wahrheitsgemäß antworten.
Wird dies rechtzeitig erkannt, kann mit entsprechenden Maßnahmen gegengesteuert werden. Ein probates Mittel dazu: Wir erläutern den Teilnehmern alle wesentlichen Informationen zur Erhebung, z.B. zu den Hintergründen und auch – zumindest falls erlaubt – zum Auftraggeber. Zudem erklären wir das Studiendesign und die Ziele der Befragung.
Unsere Mitarbeiter schulen wir regelmäßig, Telefoninterviews auch in kniffligen Situationen empathisch und vertrauensvoll zu halten. Wichtige Softskills in der Gesprächsführung sorgen dafür, dass wir dem Gegenüber jederzeit glaubhaft das tatsächliche Interesse an ihrer Person und Aussagen vermitteln.
Interviewer oder InterviewerIN?
Bei der Disposition der Interviewer für ein bestimmtes Studienprojekt ist das Geschlecht kein zu unterschätzender Faktor. Abhängig vom Thema achten wir darauf, wann Männer mit Männern, Frauen mit Frauen und Diverse mit Diversen sprechen sollten – oder eben ganz bewusst gemischtgeschlechtlich. Es gibt nun mal Themen, bei denen diese Konstellation und damit das kritische Vertrauensverhältnis nicht dem Zufall überlassen werden darf und möglicherweise nur aus diesem Grund die Teilnehmer nicht offen sprechen möchten oder können.
Der Fokus in jeder Befragung: Die Probanden
Abgesehen von sensiblen Tabuthemen, bei denen Menschen ihre Aussagen aus Eigenschutz, Angst oder Scham lieber durch einen sozialen Filter laufen lassen – was können weitere Gründe für sozial verzerrte, weil erwünschte Antworten sein? Es kann durchaus auch am fehlenden Bewusstsein liegen, welch große Bedeutung ihre Aussagen für eine gesellschaftlich wichtige Studie haben wird, sodass die Relevanz ihrer Antworten stets betont werden sollte.
Auch bei ganz alltäglichen Erhebungen, bei denen Kunden beispielsweise die Qualität von Unternehmen oder Marken bewerten, erkennen professionelle Interviewer, wenn sich die Zielgruppe scheinbar aus Höflichkeit mit ehrlichem Feedback zurückhält. Hier hilft die motivierende Aufforderung, dass kritische Worte keinen beleidigen, sondern im Gegenteil erwünscht sind, da nur diese dem Auftraggeber auch praktisch weiterhelfen.
Fragebogen: Problematische Erkenntnisse indirekt gewinnen
Auch das Fragebogen-Design beeinflusst, wie Zielgruppen auf Tabufragen reagieren. Statt sie im Telefongespräch mit einer problematischen Materie unmittelbar zu konfrontieren – und damit gegebenenfalls abzuschrecken – können sensible Erkenntnisse auch indirekt gewonnen werden. Als Beispiel: Eine mögliche Affinität zu diversen Drogen wird nicht direkt abgefragt, sondern nur hypothetisch umschrieben. Die Zielperson soll dann lediglich bewerten, wie vorstellbar dieses Szenario für sie ist.
Indirekte Fragen bzw. das Arbeiten mit fiktiven Szenarien schaffen mehr Distanz und Spielraum bei der Beantwortung. Zumindest aus Sicht des Teilnehmers sinkt damit das subjektive Risiko, sich moralisch gegenüber dem Interviewer zu diskreditieren.
Die Methode: Mixed-Mode bei ›schwierigen‹ Themen
Dass Befragungen nicht per se mono-methodisch geführt werden müssen, haben wir bereits im Beispiel zur abgefragten ›Deutschen Überlegenheit‹ gesehen. Doch ein solches Vorgehen – wir von AMR nennen es ›Mixed-Mode‹ (Link auf den anderen Text) – ist alles andere als trivial, denn es hat unter anderem erhebliche Auswirkungen auf die Gestaltung zweier Fragebögen sowie zusätzlich auf den kompletten Auswertungsprozess.
Wenn es der inhaltliche Themenmix aber erfordert, die regulären Telefoninterviews mit einer zusätzlichen schriftlichen Befragung (z.B. online per E-Mail) zu ergänzen, lohnt sich jeder Aufwand durch das Resultat von valideren und besseren Daten.
Fazit
Der Bias der ›Sozialen Erwünschtheit‹ ist – wie übrigens auch viele andere mentale Verzerrungen (siehe Kurzinterview unten) – durchaus schlüssig und verständlich, bildet aber dennoch ein sehr komplexes Phänomen. Es braucht viel Erfahrung, psychologisches Know-how sowie Kompetenz in der Entwicklung von Umfragedesigns, um die negativen Auswirkungen von einem oder auch mehreren dieser Effekte zu reduzieren.
AMR ermittelt nun seit gut 40 Jahren unterschiedlichste Erkenntnisse für seine weltweite Kundschaft. Für uns stehen dabei immer schon die telefonischen Interviewer im Mittelpunkt der gesamten Dienstleistung. Ihre Qualität und Kompetenz entscheidet, dass auch bei schwierigen, sensiblen oder kniffligen Fragestellungen keine Wohlfühlantworten, sondern möglichst die echte Wahrheit und damit nützliche Informationen ans Licht kommen.
Putzt sich also der anfangs befragte Proband tatsächlich nur unregelmäßig abends die Zähne, kann seine ehrliche Antwort für eine gesundheitliche Aufklärungsstudie sehr wertvoll sein. Nur darauf kommt es an und nicht, um ein bestimmtes Verhalten oder Nicht-Verhalten bloßzustellen.
Nachgefragt bei Dr. Satish Thalla, Key Account Manager bei AMR
Wie ordnen Sie persönlich die Relevanz der ›Sozialen Erwünschtheit‹ für Ihre Forschungsprojekte ein, auch im Vergleich zu den vielen anderen Effekten, die Ihre Branche noch kennt?
Dr. Satish Thalla: Ganz klar, dieser Bias ist ein wichtiges Phänomen und kein seriöses Markt- und Meinungsforschungsinstitut kann solche Verzerrungen ignorieren. Ganz im Gegenteil müssen immer Maßnahmen ergriffen werden, damit die Qualität der Ergebnisse nicht darunter leidet. Umfragen aller Art – nicht nur wie bei uns am Telefon – bringen aber noch viele andere unbewusste Denkschemata mit sich.
Können Sie einige Beispiele nennen?
Dr. Satish Thalla: Natürlich. Den ›Gender Bias‹ kennen Sie ja schon, dieser wurde hier bereits angerissen. Im engeren Sinne bedient er geschlechtsbezogene Stereotypisierungen und Vorurteile und kann bei Probanden zu völlig unterschiedlichen Antworten auf die gleichen Fragen führen.
Oder nehmen wir die Sprache, die in einem Interview gesprochen wird. Entspricht diese auch nur von einer Partei nicht der Muttersprache, hat das messbare Auswirkungen auf die Ergebnisse. Diesen ›Language Bias‹ müssen wir daher bei der Zuteilung unserer Interviewer immer beachten.
»Ein Bias ist eine Verzerrung oder Neigung in einem menschlichen oder maschinellen Entscheidungsprozess, die zu einer ungenauen oder unvollständigen Beurteilung führt. Ein Bias kann bewusst oder unbewusst sein und kann auf Vorurteilen, Fehlvorstellungen oder anderen Faktoren beruhen«
Quelle: Marktforschung.de
Gibt es Verzerrungen, die direkt den Fragebogen betreffen?
Dr. Satish Thalla: Ja, zum Beispiel den ›Recency-Bias‹, wenn Teilnehmer aus einer Liste von Optionen tendenziell die letztgenannte wählen. Warum? Weil diese Information im Kopf die ›frischeste‹ ist. Das Gehirn nimmt hier also unbewusst den leichtesten Weg bzw. eine mentale ›Abkürzung‹.
Klingt sehr nachvollziehbar. Haben Sie noch ein letztes Beispiel?
Dr. Satish Thalla: Der Effekt zur ›Länge einer Befragung‹, was durchaus trivial klingt, denn natürlich sinkt bei jedem Menschen mit der Zeit die Fähigkeit, einem Interviewer am Telefon noch ausreichend konzentriert zuzuhören – mit allen negativen Konsequenzen für die Qualität der Antworten. Genau das ist der Grund, warum wir unsere Fragebögen an den Durchschnittsteilnehmern ausrichten und eine gewisse Länge nie überschreiten.
