Ein Kommentar von Dr. Olaf Wenzel, Inhaber der Wenzel Marktforschung
Alles Fake in der Marktforschung? Vor wenigen Tagen hat SPIEGEL ONLINE das Thema Marktforschung entdeckt. Ein Insider (und Aussteiger) kommt zu Wort und berichtet von systematischen Betrügereien bei der Feldarbeit. Interviews würden erfunden oder nur in verkürzter Form geführt und danach vom Interviewer oder dem Institut möglichst plausibel ergänzt. Das alles geschehe vor allem, um zu möglichst geringen Kosten Ergebnisse zu produzieren, die sonst (wenn überhaupt) nur mit deutlich höherem Aufwand zu erzielen wären. Ursächlich wären der hohe Preisdruck auf die Institute seitens der Auftraggeber. Hinzu komme fehlender Sachverstand und auch Beratungsresistenz auf Seiten der Kunden, die nicht richtig einschätzten, wie schwierig oder gar unmöglich Ihr Forschungsvorhaben sei. Die Institute wiederum würden den Kunden nicht widersprechen oder gar die Aufträge ablehnen, sondern Ihrerseits den schwarzen Peter an die externen Felddienstleister weitergeben – möglicherweise sogar schon mit dem Hinweis, wie die Daten am plausibelsten zu fälschen seinen.
Um es vorweg ganz klar zu sagen: Solche Vorfälle sind ganz eindeutig Betrug! Und es besteht von unserer Seite wenig Grund, die konkret dargestellten und vermutlich gut belegten Fälle anzuzweifeln.
Das Thema ist nicht ganz neu. Bereits 1994 hat Heiner Dorroch, ein Interviewer, mit seinem Buch Der Meinungsmacher-Report von ähnlichen Vorkommnissen erzählt. DER SPIEGEL berichtete auch darüber.
Damals wie heute geriet die Branche in Aufruhr. Einen umfassenden Überblick über Reaktionen aus der Branche findet man auf marktforschung.de. Einig ist man sich in der Branche, dass es klare Qualitätskriterien und Richtlinien für saubere Marktforschung gibt, zu deren Einhaltung sich seriösen Marktforscher*innen verpflichtet fühlen. Einig ist man sich auch, dass die von SPIEGEL ONLINE berichteten Fälle nicht die Regel, sondern Einzelfälle sind. Zumindest besteht dazu auch aus meiner Sicht begründeter Anlass zur Hoffnung.
Trotzdem sollte man nicht so tun, als ob es hier überhaupt kein Problem gäbe. Was also kann man tun, was tue ich persönlich, um die Qualität der Daten sicher zu stellen? Wie kann man Fake in der Marktforschung verhindern?
Zusammenarbeit mit Feld-Partnern, denen ich vertraue.
Vertrauen ist ein hohes Gut. Ohne Vertrauen geht in unserer Branche gar nichts. Blindes Vertrauen ohne Kontrolle macht jedoch auch keinen Sinn. Wie die meisten Marktforschungsinstitute haben auch wir keine eigene Feldabteilung oder ein eigenes Telefonstudio, um die Feldarbeit selbst durchzuführen. Wir sind also auf die Zusammenarbeit mit Feldpartnern angewiesen. Bei der Auswahl unserer Feldpartner spielen wirtschaftliche Erwägungen natürlich eine Rolle. Aber – der Preis alleine ist nicht entscheidend! Ich möchte von meinen Feldpartnern wissen, wie sie arbeiten und wie sie die Qualität ihrer Arbeit sicherstellen.
Dazu besuche ich alle Feldpartner persönlich vor Ort. Ich führe Gespräche mit dem Management, mit der Feldleitung und mit den Interviewern. Bevor eine Studie ins Feld geht, briefe ich die Interviewer persönlich, gehe mit ihnen den Fragebogen durch, kläre Verständnisschwierigkeiten. Ich höre mir die ersten Interviews persönlich an. Das hat alles nicht nur rein praktische Gründe. Es geht auch darum, den Interviewern und dem Felddienstleister Wertschätzung und Respekt entgegen zu bringen. Ich bin der festen Überzeugung, dass Menschen besser und gewissenhafter arbeiten, wenn Sie für ihre Tätigkeit Anerkennung erfahren.
Zeitdruck ist ebenfalls ein wichtiges Thema. Der Kunde möchte die Ergebnisse in der Regel so schnell wie möglich. Ich lasse mir immer bereits in der Angebotsphase vom Felddienstleister ein realistisches Timing nennen und weise das dann auch in meinem Angebot aus. Es kommt vor, dass dadurch die Zeitvorgabe seitens des Kunden überschritten wird. Dann gibt es nur zwei Möglichkeiten: Der Kunden überdenkt sein Timing oder wir bekommen den Auftrag nicht. Alles schon vorgekommen – aber meiner Erfahrung nach sind Kunden sachlichen Argumenten gegenüber meistens aufgeschlossen. Was ich aber grundsätzlich nicht mache, ist den Zeitdruck eins zu eins an den Feldienstleister weiterzugeben.
Während der Feldphase lasse ich mir Zwischenstände der bis dahin erhobenen Daten zuspielen. Die Daten enthalten die Uhrzeit der Interviews. Ein Blick auf die offenen Antworten verrät, ob am anderen Ende wirklich ein Mensch interviewt wurde. Faktorenanalysen (ein multivariates Auswertungsverfahren) und Verfahren zur Mustererkennung geben Hinweise, ob die Daten strukturell in Ordnung sind. Natürlich – man könnte die Daten trotzdem fälschen bzw. sich ausdenken. Aber dann muss man es schon verdammt gut machen, um nicht aufzufallen.
Sollte mir etwas auffallen, wird das gegenüber dem Felddienstleister klar angesprochen. Es gibt dann in der Regel die Chance zur Nachbesserung. Aber ein Teil des Vertrauens ist damit auf jeden Fall verspielt. Eine zukünftige Zusammenarbeit wird weniger wahrscheinlich. Nicht zu unterschätzen ist in diesem Zusammenhang auch der Austausch mit anderen Kolleginnen und Kollegen in der Branche. Marktforscher sind recht gut vernetzt. Betrügereien sprechen sich herum. Ein Felddienstleister, der sich dauerhaft am Markt behaupten möchte, kann sich einen schlechten Ruf schlicht nicht leisten und muss daher aus eigenem Antrieb auf die Qualität achten.
Ehrliche Beratung meiner Kunden
Meine Kunden sind oft methodische Laien. Das ist nicht schlimm. Ich lebe als Berater davon, Fachwissen zu haben, welches meinen Kunden fehlt. Meine Kunden haben ein Anrecht darauf, von mir nach bestem Wissen und Gewissen beraten zu werden. Dazu gehören selbstverständlich Hinweise auf die angemessene Methode für das konkrete Forschungsvorhaben und die Aufbereitung und Vermittlung der Ergebnisse in für den Kunden verständlicher und verwertbarer Form. Es gehört aber auch dazu, dem Kunden vom Forschungsvorhaben abzuraten, wenn es in der geplanten Form aus meiner Sicht nicht – zumindest nicht von mir – durchführbar ist.
Noch ein Wort zur Anfälligkeit der Methoden gegenüber Fälschungen
- Im Zuge der Diskussion über das SPIEGEL ONLINE Thema wurden auch verschiedene Methoden und deren Anfälligkeit für Fälschungen diskutiert. Einige plädieren dafür, sich noch stärker auf direkt (automatisch) gemessene Verhaltensdaten zu konzentrieren, um Fake in der Marktforschung zu verhindern. Ohne hier ins Detail zu gehen, bleibt es aber dabei, dass es Dinge gibt, zu denen man Menschen befragen muss. Zum Beispiel, um Einblicke in ihre Motive und Einstellungen zu gewinnen oder um Verhaltensabsichten oder Kaufgründe zu erfahren. Direkte Erfassung von Verhaltensdaten löst also das Problem nicht.
- Eine Forscherin des Institutes Rheingold hat – nicht zu Unrecht – darauf hingewiesen, dass tiefenpsychologische Interviews praktisch nicht gefälscht werden können, weil sie viel zu ausführlich sind und in der Regel audiovisuell dokumentiert werden. Aus meiner Sicht trifft das im weitestens Sinne für alle qualitativen Verfahren der Marktforschung zu, unter anderem auch auf das wichtige Instrument der Fokusgruppe. Aber auch das löst nicht alle Probleme, denn für viele Fragestellungen sind qualitative Erkenntnisse nicht ausreichend. Es werden häufig quantitativ belastbare Zahlen benötigt.
- Persönliche Interviews in Home bei den Zielpersonen oder Home-Use-Tests, bei denen Verbraucher selbst über einen gegebenen Zeitraum ein Produkt testen, sind sicherlich die am schwierigsten zu kontrollierenden Situationen. Der Anteil solcher Interviews ist seit Jahren rückläufig und beträgt bei den im ADM zusammengeschlossenen Marktforschungsinstituten im Jahr 2016 nur noch 20%.
- Telefonische Interviews werden fast ausnahmslos computerunterstützt vorgenommen. Die Interviewer selbst haben kaum Möglichkeiten, Interviews zu fälschen, weil sie vom System gesteuert und überwacht werden. Gepaart mit der Feldkontrolle durch den Auftraggeber (siehe oben) lassen sich Fälschungen weitestgehend ausschließen.
- Online-Interviews, die mit Mitgliedern von Online-Panels durchgeführt werden, finden ohne Interviewer statt. Damit ist bereits eine potenzielle Gefahrenquelle ausgeschaltet. Hier kommt es darauf an, wie die Online-Panels aufgebaut und geführt werden. Dazu gibt es Qualitätsstandards, deren Einhaltung die Panelbetreiber uns gegenüber nachweisen können und müssen. Einige Panelbetreiber sind bereits ISO-zertifiziert. Die Befragten selbst könnten natürlich prinzipiell auch täuschen. Das macht aber für den Befragten nur Sinn, wenn das Täuschen mit wenig kognitivem Aufwand verbunden ist (also zum Beispiel schnelles Durchklicken). Solche Muster und unplausiblen Antworten lassen sich sowohl innerhalb einer Befragung als auch übergreifend im Panel identifizieren und führen zum Ausschluss solcher Personen. Eine Befragung plausibel zu faken, lohnt sich dagegen nicht, denn der kognitive Aufwand wäre für diese Person viel höher, als der Aufwand, die gestellten Fragen korrekt zu beantworten. Allerdings muss man bei der Auswahl der Befragten darauf achten, dass die gesuchte Zielgruppe für die Befragung nicht offensichtlich aus den Screening-Fragen zur Identifikation der Zielgruppe hervorgeht. Denn damit würde man es Incentive-Jägern zu leicht machen, Ihre Angaben zu fälschen, um an der Befragung teilzunehmen und die (wenn auch in der Regel sehr geringe) Belohnung einzustreichen.
Jede Methode hat also Ihre Vor- und Nachteile. Welche Methode zum Einsatz kommt, um Fake in der Marktforschung zu verhindern, sollte in erster Linie von der Forschungsfrage abhängig gemacht werden.
