Wer ist eigentlich diese CATI und warum ruft sie mich auf der Arbeit an? – Interview mit Johanna Krumbach

Seit dem 12. Februar widmet sich das dossier.PLUS »Qualität von Stichproben« auf marktforschung.de den Schwierigkeiten und Lösungsansätzen, mit denen die Branche diesbezüglich konfrontiert ist. Im Mittelpunkt der Diskussionen stehen hierbei vor allem die Stichproben, die aus Online-Access-Panels gewonnen werden. Warum hören wir dieser Tage so wenig von CATI in diesem Kontext? Bestehen bei CATI etwa keine Probleme mit der Qualität von Stichproben?

Johanna Krumbach: Tatsächlich könnte der Eindruck entstehen, dass es in Studien, die auf CATI-Stichprobendesigns basieren, aktuell kaum Diskussionsbedarf hinsichtlich der Qualität der hieraus gewonnenen Stichproben besteht:Wir haben beispielsweise einen RDD-Dual-Frame für Bevölkerungsbefragungen oder aber eine geschichtete Zufallsstichprobe aus einem Unternehmensregister. Somit wird rein formal die Anforderungen an eine gute Stichprobe erfüllt: Wir haben für jedes Element unserer Bruttostichprobe eine angebbare Auswahlwahrscheinlichkeit über 0. Jeder, der eine deutsche Telefonnummer hat oder als Unternehmen mit einer Telefonnummer in Erscheinung tritt, hat die Chance, an der Befragung teilzunehmen.

CATI hat also verglichen mit Online-Panels viel weniger Probleme mit der Qualität ihrer Stichproben?

Johanna Krumbach: Als CATI-Anbieter sind wir in der Tat nicht mit den Herausforderungen konfrontiert, vor denen die Online-Panel-Anbieter aktuell stehen. Wenn wir unsere Interviewer engmaschig kontrollieren, können wir beispielsweise fast sicher sein, dass am anderen Ende der Leitung keine KI nach einem Algorithmus antwortet. Und wenn wir gut geschulte Interviewer haben, wird der Befragte motiviert gehalten, alle Schritte in seinem Antwortfindungsprozess zu durchlaufen und nicht nur nach einem Muster zu antworten. Unsere Interviewer sind die erste Stufe der Qualitätssicherung- und Kontrolle und Incentive zugleich.

Welche Rolle spielen Interviewer denn genau, in der Qualitätssicherung einer Befragung?

Johanna Krumbach: Die Aufgabe des Interviewers ist unter anderem, die Aufmerksamkeit des Befragten zu erhalten, schon im Gespräch die Plausibilität und Ernsthaftigkeit der Aussagen zu hinterfragen und eine Interviewsituation zu gewährleisten, in welcher der Befragte die Fragestellungen angemessen bearbeiten kann. Er ist somit dafür zuständig, Störfaktoren wie einen zu hohen Lärmpegel, sich in den Antwortprozess einmischende Anwesende oder aber ein zu knappes Zeitbudget der Zielperson zu erkennen und einen besseren Zeitpunkt für eine Befragung anzubieten.

Die Interviewer sind unsere Vorsorge für gute Datenqualität, nicht aber die Versicherung für diese. Damit ein Interviewerstab diese Leistung auch bringt, bedarf es intensiver Schulungen und Sensibilisierungen sowie engmaschiger Qualitätskontrollen, die parallel zu den Datenchecks durchgeführt werden. Zusammenfassend könnte man sagen, dass wir viele Faktoren, die sich negativ auf die Qualität einer Stichprobe auswirken können, im Vergleich zu online besser unter Kontrolle halten können. Nicht zuletzt verdanken wir das der Umfrageforschung, die diese Methode seit Jahrzehnten untersucht.

Das klingt ja fast so, als wäre die CATI-Methode ein sicheres Instrument, um gute Stichproben zu generieren. Ist das so?

Johanna Krumbach: Durchaus, aber nur, wenn sie auch richtig angewandt wird. Die Gewinnung einer hochwertigen CATI-Stichprobe braucht allerdings Zeit und Ressourcen. Ein großer Nachteil im Vergleich zu beispielsweise Online-Panels. Nicht ohne Grund werden für Mixed-Sample-Designs CATI-Stichproben gerne gemeinsam mit Stichproben aus Online-Access-Panels herangezogen, wie es beispielsweise infas bei der Blended Calibration praktiziert. Über eine solche Herangehensweise können die Vorteile der jeweiligen Methoden kombiniert und ihre Mängel kompensiert werden.

Wie wendet man CATI denn richtig an, um die Qualität der Stichprobe zu gewährleisten?

Johanna Krumbach: Für mich liegt die Herausforderung zur Sicherung der Stichprobenqualität bei CATI-Surveys ganz klar darin, den Ursachen des Non-Response-Errors entgegenzuwirken. Zwar können wir mit einer gut konzipierten Bruttostichprobe den Coverage- und den Sampling-Error weitestgehend quantifizieren, die Güte der finalen Stichprobe, die auf dieser Basis gewonnen wird, steht und fällt allerdings mit der Planung des Feldvorgehens und der Umsetzung dieser. Ziel ist es hierbei, die Erreichbarkeit zu maximieren und die Kooperationsbereitschaft jedes potenziellen Teilnehmers zu optimieren.

Worin liegt denn die Herausforderung, alle Zielpersonen zu erreichen? Man hat doch die Telefonnummer?

Johanna Krumbach: Die meisten Ausfälle ergeben sich dadurch, dass die Kontaktperson gar nicht erst erreicht wird, da beispielsweise die Nummer nicht mehr genutzt wird oder auch nach bis zu zehn Kontaktversuchen nicht abgehoben wird. Wenn denn dann ein Kontakt hergestellt werden kann, ist die Hauptursache dafür, dass es nicht zu einem Interview kommt, die Verweigerung der Teilnahme. Meine Beobachtungen während meiner Zeit in der Sozialforschung mit CATI hat mir gezeigt, dass die allgemeine Bevölkerung zusätzlich zu der bekannten Survey-Fatigue sehr skeptisch gegenüber ihnen unbekannten und unangemeldeten Anrufern ist. Täglich wird von neuen Betrugsmaschen berichtet, wodurch sich das Klima des Misstrauens verdichtet.

Deswegen besteht ein essenzieller Teil der Arbeit der Interviewer und uns darin, unser Anliegen von solchen Missbrauchsversuchen klar abzugrenzen, indem wir den zu Befragenden beispielsweise noch am Telefon zu einer möglichst leicht zugänglichen und transparenten Informationsquelle leiten. Idealerweise ist dies eine Webseite des Auftraggebers, die extra für das Befragungsprojekt eingerichtet wurde und auch die Nummer, unter der wir anrufen, anzeigt. Viele verliert man aber schon, bevor es dazu kommen kann – andere, gerade ältere Zielgruppen, haben keinen Zugang zu diesen Informationen.

Gibt es noch weitere Faktoren, die eine Stichprobe am Telefon verzerren können?

Johanna Krumbach: Neben der Skepsis, die im Telefonat geäußert wird, können wir auch beobachten, dass der Anruf zwar ankommt, aber bewusst nicht angenommen wird. Beispielsweise wird die Nummer dann zunächst per Rückwärtssuche im Internet auf ihre Seriosität und ihr Gefahrenpotenzial hin untersucht. Schon die individuelle Ausprägung des Merkmals “Skepsis gegenüber Anrufen” birgt somit die Gefahr der Verzerrung der Stichprobe, wenn man auf die Bedenken und die daraus hervorgehenden Reaktionen der zu Befragenden nicht vorbereitet ist und eingeht. Analoge Effekte kann das Ausmaß der generellen Aufgeschlossenheit gegenüber Telefonaten haben.

Und im B2B-Bereich – wo liegen hier die Schwierigkeiten, die gewünschte Zielgruppe zu erreichen?

Johanna Krumbach: Bei Befragungen von Unternehmen scheint der Faktor »Skepsis« weniger ins Gewicht zu fallen: Zwar scheint sich auch in weiten Teilen der Arbeitswelt eine Form der »Ankündigungskultur« in der Kommunikation entwickelt zu haben, in der Anrufe vorab per E-Mail oder Messengerdienste angekündigt werden, dennoch können wir hier mit einer ganz anderen Ausgangssituation arbeiten: Im B2B-Kontext befinden sich die Kontaktpersonen eher im Modus »Ansprechbar« und »Auskunftsbereit«. Dieses Momentum kann genutzt werden, um Auskünfte über die Zielperson einzuholen oder von einer Teilnahme zu überzeugen, sollte es sich bereits um die Zielperson handeln. Dennoch sollten schon bei der Planung zielgruppenspezifische Strategien entwickelt werden, um die Aktivierung über andere Kanäle erzeugen zu können.

Wie kann die Aktivierung der Zielgruppen maximiert werden?

Johanna Krumbach: Beispielsweise kann man Probanden nicht nur sofort per Telefon rekrutieren, sondern den Anruf einige Tage vorab per E-Mail oder auf postalischem Wege ankündigen. Das setzt aber natürlich voraus, dass die hierfür nötigen Informationen vorliegen. Hat man bereits zu Beginn der Studie alle relevanten Kontaktdaten, kann das Survey-Design entsprechend modelliert und auch noch während der Feldphase adaptiert werden. Neben der Erreichbarkeit kann hierüber auch die Kooperationsbereitschaft der zu Befragenden erhöht werden, denn über diese Kanäle können andere Incentivierungsmodelle zugeschaltet werden, die telefonisch schwer zu administrieren sind.Darüber hinaus kann man diese Kontaktdaten dazu nutzen, um Mixed-Mode-Ansätze zu verfolgen, beispielsweise die Kombination von Telefon- und Online-Befragungsmodi.

Aber holt man sich bei der Kombination beider Modi nicht die Probleme von Online-Studien wieder ins Projekt?

Johanna Krumbach: Entscheidet man sich bei der Erstellung der Bruttostichprobe für die Nutzung weiterer Kontakt- und Erhebungsmodi, wenn man beispielsweise E-Mail-Adressen an einen CATI-Frame spielt, bleibt die Qualität der Bruttostichprobe hiervon unberührt. Ziel eines Mixed-Mode-Survey wäre es, in einem solchen Fall die Erreichbarkeit jeder Subgruppe von Zielpersonen zu maximieren, indem man vorab festlegt, welche Gruppe in welchem Modus befragt werden soll.

Hierfür braucht man beispielsweise Kenntnis über die Kommunikationspräferenzen sowie die Chance der Erreichbarkeit der Zielpersonen je Modus. So könnte das Design vorsehen, Zielpersonen aus kleineren oder jüngeren Firmen zunächst per E-Mail zu kontaktiert und hierüber zu einem CAWI-Survey einzuladen, während Zielpersonen aus etablierteren Firmen per Telefon rekrutiert und befragt werden sollen (Mixed-Mode).

Welche Maßnahmen können ergriffen werden, wenn sich während der Feldphase herausstellt, dass eine der Gruppen nicht zuverlässig über den gewählten Kanal erreicht werden kann?

Johanna Krumbach: Führt dieses Vorgehen noch nicht zu den gewünschten Ergebnissen, könnten die per E-Mail Eingeladenen zusätzlich via Telefon kontaktiert werden (crosschannel), um diese entweder auf die CAWI-Erhebung aufmerksam zu machen (Reminder Calls) oder aber es wird gleich der Modus gewechselt und eine CATI-Erhebung durchgeführt (Moduswechsel). Ziel solcher Ansätze ist es, zum einen die Erreichbarkeit zu maximieren, aber auch über das Anbieten verschiedener Teilnahme-Modi die Kooperationsbereitschaft zu optimieren.

Indem die zu befragenden Personen in einem Kommunikationsmodus angesprochen werden, in dem sie eher zu erreichen sind und sich wohler fühlen, an einer Befragung teilzunehmen, kann dem Non-Response-Error entgegengewirkt werden, der entstehen würde, wenn lediglich über ein Medium rekrutiert und in einem Modus befragt werden würde. Nimmt die Kontaktperson nun tatsächlich in einem selbstadministrierten Modus teil, entfällt die Kontrollinstanz Interviewer natürlich und es müssen andere Maßnahmen zur Qualitätssicherung ergriffen werden, gerade wenn für die Teilnahme Incentives angeboten wurden.

Also ist es am Ende der Methodenmix, der die Qualität sicherstellt?

Johanna Krumbach: Definitiv sind Mixed-Survey-Designs, wie beispielsweise der Einsatz von Mixed-Mode, relevante Maßnahmen zur Verbesserung der Qualität von Stichproben! Ich bin gespannt auf die Weiterentwicklung und Etablierung solcher Ansätze, um mit Hilfe dieser das Beste aus jeder Bruttostichprobe holen zu können.