Kundenbefragungen sind ein wertvolles Instrument, um die Leistungsfähigkeit von „Bewertungsobjekten“ – beispielsweise Unternehmen, Marken, Dienstleistungen, Produkten oder Prozessen (im Folgenden „Bewertungsobjekte“) – im Vergleich zu Wettbewerbern innerhalb desselben Segments zu ermitteln. Beispiele hierfür sind unter anderem:
- Kundenzufriedenheit mit Versicherungsunternehmen
- Qualität des Kundenservice bei Hotlines von Online-Warenhäusern
- Preis-Leistungs-Verhältnis von Trainings-Apps
- Servicequalität in den Filialen von Möbelhändlern
Anders als Mystery Checks oder laborbasierte Produkttests, die auf objektiven Messungen beruhen, erfassen Kundenbefragungen die Erfahrungen und Wahrnehmungen tatsächlicher Kunden. In aggregierter Form bilden diese Bewertungen eine aussagekräftige, indikative Grundlage, um die Leistungen verschiedener Wettbewerber miteinander zu vergleichen und Benchmarks zu erstellen.
Bei Themen, die sich nur schwer objektiv messen lassen, setzen wir daher Kundenbefragungen ein, um Verbrauchern und Unternehmen Orientierung zu bieten.
Erhebung der Bewertungen
Wir erheben die Bewertungen entweder über ein eigenes Panel oder über externe Online-Panels. Damit die Teilnehmer für das jeweilige Ranking relevant sind, müssen sie bestimmte Voraussetzungen erfüllen – beispielsweise hinsichtlich Alter oder Haushaltseinkommen – und über ein bestimmtes Maß an Erfahrung, Nutzung oder Interesse in dem untersuchten Segment verfügen.
Qualifizierten Teilnehmern wird eine Liste von Bewertungsobjekten (z. B. Unternehmen oder Produktkategorien) vorgelegt. Sie wählen diejenigen aus, die sie innerhalb eines festgelegten Zeitraums – in der Regel innerhalb der vergangenen ein bis zwei Jahre – genutzt haben oder mit denen sie entsprechende Erfahrungen gesammelt haben. Auf diese Weise stellen wir sicher, dass tatsächliche Kunden mit relevanten und hinreichend aktuellen Erfahrungen befragt werden.
Für jedes ausgewählte Bewertungsobjekt erhalten die Befragten einen speziell auf das jeweilige Segment zugeschnittenen Kriterienkatalog. Art und Anzahl der Bewertungskriterien unterscheiden sich je nach Segment und können von einem einzelnen Kriterium bis zu etwa 30 Kriterien reichen.
Die identifizierten Kunden bewerten anschließend jedes Bewertungsobjekt anhand der vorgegebenen Kriterien auf einer 10-Punkte-Skala, wobei 10 die bestmögliche Bewertung darstellt. Sofern sinnvoll, steht zusätzlich die Antwortmöglichkeit „kenne ich nicht“ oder „nicht zutreffend“ zur Verfügung.
Durch dieses Verfahren stellen wir sicher, dass die Bewertungen ein möglichst hohes Maß an Aussagekraft erreichen.
Stichproben
Um aussagekräftige Vergleiche zwischen Bewertungsobjekten – beispielsweise Unternehmen, Marken oder Produkten – zu ermöglichen, ist eine Mindestanzahl an Bewertungen erforderlich. Diese variiert je nach Segment. Da die Größe der gesamten Kundenbasis häufig nicht bekannt ist – beispielsweise die Anzahl der Nutzer eines bestimmten Produkts oder einer bestimmten Marke –, definieren wir entsprechende Zielgrößen für die Stichprobe.
Bei Produkten streben wir üblicherweise mindestens 30 Bewertungen je Produkt an, bei regionalen Einzelhändlern oder bei „engen“ nationalen Märkten mindestens 50 Bewertungen und bei landesweit tätigen Einzelhändlern in der Regel mehr als 200 Bewertungen pro untersuchtem Anbieter.
Fehlermarge
Neben der Größe einer Stichprobe spielt auch deren Streuung eine wichtige Rolle für die Aussagekraft und Zuverlässigkeit der Ergebnisse. Bei größeren Stichproben ist eine gesonderte Betrachtung von Streuung, Stichprobenfehlern und ähnlichen Faktoren weniger relevant. Bei kleineren Stichproben prüfen wir dagegen sorgfältig die mit den Ergebnissen verbundene Fehlermarge.
Als Standardanforderung wird üblicherweise eine Fehlermarge von 5 % bei einem Konfidenzniveau von 95 % zugrunde gelegt („Standard Margin of Error“). Das bedeutet vereinfacht, dass der anhand der Stichprobe ermittelte Wert mit einem Konfidenzniveau von 95 % innerhalb der entsprechenden Fehlermarge um den tatsächlichen Wert der Grundgesamtheit liegt.
In vielen unserer Befragungen liegt die Fehlermarge deutlich unter 5%. In manchen Fällen ist es jedoch schwierig, die Stichprobe ausreichend zu vergrößern und damit die Fehlermarge weiter zu reduzieren, da die Zahl der Nutzer oder Kunden eines bestimmten Angebots sehr gering sein kann.
Ein Beispiel verdeutlicht dies: Ergibt eine Kundenbefragung für das Kriterium „Preis-Leistungs-Verhältnis“ eines Einzelhändlers einen durchschnittlichen Wert von 8,0 auf einer Skala von 1 bis 10, wobei 10 die höchste Bewertung darstellt, würde eine Fehlermarge von 2,5 % bedeuten, dass der tatsächliche Wert der Grundgesamtheit bei einem Konfidenzniveau von 95 % zwischen 7,8 und 8,2 liegt. Vereinfacht ausgedrückt bedeutet dies, dass das Ergebnis mit hoher statistischer Sicherheit nahe am tatsächlichen Wert der Grundgesamtheit liegt.
Vergabe von Auszeichnungen
Auszeichnungen können je nach untersuchtem Segment sowohl für einzelne Kriterien als auch für zusammengefasste Kriterien vergeben werden. Innerhalb eines bestimmten Segments werden Auszeichnungen in der Regel an die besten 30 % der untersuchten Anbieter vergeben. Werden Ergebnisse segmentübergreifend miteinander verglichen, sind Auszeichnungen grundsätzlich den besten 20 % vorbehalten.
Bei Benchmarks für stationäre Geschäfte oder Dienstleistungen unterscheiden wir zwischen landesweit und regional tätigen Anbietern. Landesweit tätige Anbieter werden direkt miteinander verglichen. Regionale Anbieter werden dagegen grundsätzlich nicht unmittelbar untereinander verglichen, da sich ihre geografischen Tätigkeitsgebiete häufig erheblich unterscheiden.
Regionale Anbieter können dennoch besondere Auszeichnungen erhalten, wenn ihre Leistungen die Ergebnisse der landesweit tätigen Wettbewerber übertreffen.