Wie du Umfrageergebnisse auswertest

Geh von deiner ursprünglichen Frage aus

Bevor du auch nur eine Grafik öffnest, halte fest, welche Entscheidung die Umfrage stützen sollte. Eine Umfrage zu einem Produktlaunch beantwortet eine andere Frage als eine zum Betriebsklima, und dieselben Daten können ermutigend oder besorgniserregend wirken, je nachdem, was du herausfinden willst.

Lass diese Frage entscheiden, welche Ergebnisse zählen. So pickst du dir nicht nur die schön aussehenden Zahlen heraus und verlierst dich nicht in Nebenkennzahlen, die mit der anstehenden Entscheidung nichts zu tun haben.

Nenne die Basis (n) vor jedem Prozentwert

Jeder Prozentwert beruht auf einer Basis: der Zahl der Personen, die diese Frage tatsächlich beantwortet haben. „80% Zustimmung“ bedeuten bei 500 Antworten etwas anderes als bei 5. Zeig die n immer neben dem Prozentwert, damit alle Lesenden einschätzen können, wie viel Gewicht er hat.

Behandle kleine Basen als Hinweis. Eine Handvoll Antworten kann auf ein Muster hindeuten, das eine nähere Betrachtung lohnt, aber es ist kein Beleg, auf den du dich verlassen kannst. Warte auf mehr Antworten oder formuliere den Befund als Signal statt als Schluss.

Das ist keine bloße gute Gewohnheit: Der Ethikkodex von AAPOR verpflichtet dazu, die Stichprobengröße zusammen mit den Ergebnissen zu veröffentlichen und auf Anfrage die unweighted base offenzulegen, auf der jede Schätzung für eine Teilgruppe beruht.

Lies die Verteilung, nicht nur den Mittelwert

Ein Mittelwert verbirgt die Form der Antworten. Eine Zufriedenheit von 3 von 5 kann aus lauter lauwarmen Dreien entstehen oder aus einer Hälfte begeisterter Fünfen und einer Hälfte verärgerter Einsen. Diese beiden Fälle verlangen gegensätzliche Reaktionen und haben doch denselben Mittelwert.

Betrachte die gesamte Verteilung: wie viele Personen jede Option gewählt haben, wo die Spitzen liegen und wie viele an den Rändern sitzen. Die Verteilung erzählt meist eine klarere Geschichte als jede einzelne Kennzahl für sich.

Jamieson wies in Medical Education darauf hin, als sie die routinemäßige Verwendung von Mittelwerten bei Likert-Skalen kritisierte: Es handelt sich um geordnete Kategorien und nicht um gleiche Abstände, daher beschreiben der Median und die vollständige Verteilung die Antworten besser als der Durchschnitt.

Segmentiere, um zu sehen, wo sich Gruppen unterscheiden

Gesamtzahlen können echte Unterschiede verwischen. Kreuze deine Ergebnisse mit den Gruppen, die für dich zählen, etwa Region, Rolle, Tarif oder wie lange jemand schon Kunde ist, und oft zeigt sich, dass ein einziges Segment die Gesamtzahl treibt.

Segmente funktionieren nur, wenn jedes eine ausreichende Basis hat. Wenn du 200 Antworten auf sechs Gruppen aufteilst, sind einige zu klein, um verlässlich zu sein: lies sie als Hinweis. Live-Ergebnisse helfen dabei: Du kannst zusehen, wie sich ein Segment füllt, und warten, bis es groß genug ist, bevor du einen Schluss ziehst.

Cochran hielt dies in Sampling Techniques bei der Behandlung der domain estimation fest: Die Präzision des Werts für eine Teilgruppe hängt von der Anzahl der Antworten ab, die auf diese Teilgruppe entfallen, nicht von der Gesamtgröße der Stichprobe.

Finde das Warum und bleib ehrlich bei der Ursache

Geschlossene Fragen sagen dir, was passiert; Freitextantworten sagen dir, warum. Lies eine Auswahl der Kommentare, bevor du dich auf eine Deutung festlegst, denn eine einzige wiederkehrende Beschwerde kann einen Rückgang erklären, den die Grafiken nur andeuten.

Zwei Vorsichtsregeln halten deine Auswertung ehrlich. Erstens: Ein Zusammenhang zwischen zwei Dingen ist eine Assoziation, kein Beweis, dass das eine das andere verursacht hat, denn ein verborgener Faktor kann beide antreiben. Zweitens: Achte auf den Non-Response-Bias, denn wer deine Umfrage ignoriert hat, kann sich von den Antwortenden unterscheiden, und oft fehlen gerade die zufriedensten oder die beschäftigtsten Stimmen.

Und es reicht nicht, einfach eine hohe Rücklaufquote anzustreben: Die Metaanalyse von Groves und Peytcheva in Public Opinion Quarterly, die 59 methodische Studien zusammenfasste, die speziell zur Messung von Nonresponse-Bias konzipiert waren, kam zu dem Schluss, dass die Rücklaufquote diesen Bias generell nicht vorhersagt.