Beginne mit einem Ziel und der Entscheidung dahinter
Bevor du eine einzige Frage schreibst, vervollständige diesen Satz: Nach dieser Umfrage werde ich ___ entscheiden. Eine Umfrage ohne Entscheidung dahinter sammelt Daten, die niemand nutzt. Wähle ein Hauptziel und lass es alles Weitere filtern; wenn eine Frage dir bei dieser Entscheidung nicht hilft, streiche sie.
Schreibe das Ziel auf und behalte es beim Erstellen im Blick, damit die Umfrage nicht zu einer Wunschliste all dessen wird, was dich neugierig macht. Wenn das Schwierige der Start vor dem leeren Blatt ist, kann ein KI-Assistent wie der in Camaleonic Survey aus einem formulierten Ziel einen ersten Fragenentwurf machen, den du dann kürzt.
Formuliere neutrale, nicht suggestive Fragen
Eine suggestive Frage legt ihre eigene Antwort nahe. „Wie sehr hat dir unser ausgezeichneter Support gefallen?“ setzt voraus, dass er dir gefallen hat, und lobt den Support gleich mit. Frage stattdessen „Wie würdest du unseren Support bewerten?“ und lass die Leute antworten.
Halte die Formulierung neutral und die Antwortoptionen ausgewogen: ebenso viele positive wie negative Auswahlmöglichkeiten, mit einer echten neutralen Mitte. Und packe nicht zwei Gedanken in eine Frage. „War unser Team schnell und freundlich?“ ist eine Doppelfrage; wer dich schnell, aber unhöflich fand, kann nicht ehrlich antworten, also teile sie in zwei Fragen auf.
Schreibe schließlich in der einfachen Sprache, die deine Befragten tatsächlich verwenden. Interner Jargon, Abkürzungen und Fachbegriffe zwingen die Leute zum Raten, was du meinst, und eine geratene Antwort ist nur Rauschen in deinen Daten.
Das ist kein kleiner Unterschied: In einem klassischen Experiment, veröffentlicht in Public Opinion Quarterly, stellte Tom W. Smith fest, dass die Antworten zu öffentlichen Ausgaben deutlich negativer und weniger großzügig ausfielen, wenn die Frage das Wort «welfare» verwendete, als wenn von «Hilfe für Arme» die Rede war.
Wähle den passenden Fragetyp
Richte den Fragetyp nach deinem Bedarf aus. Geschlossene Fragen wie Einfachauswahl, Mehrfachauswahl und Bewertungsskalen sind schnell zu beantworten und leicht auszuwerten, was sie zum Rückgrat der meisten Umfragen macht. Offene Textfragen erfassen Nuancen und Überraschungen, kosten aber Mühe beim Beantworten wie beim Lesen, also setze sie sparsam ein und platziere sie gegen Ende.
Wenn du Bewertungsskalen verwendest, halte sie einheitlich: dieselbe Richtung und dieselbe Anzahl an Punkten durchgehend, damit die Befragten die Skala nicht auf jedem Bildschirm neu lernen müssen.
Halte sie kurz und ordne vom Allgemeinen zum Besonderen
Die Länge ist der wichtigste Grund für Abbrüche. Je länger eine Umfrage wirkt, desto mehr Menschen brechen sie unterwegs ab, und abgebrochene Antworten verzerren deine Ergebnisse zugunsten der wenigen Geduldigen. Frage nur, was deinem Ziel dient, und sag den Leuten gleich zu Beginn, wie lange es ungefähr dauert.
Ordne die Fragen vom Allgemeinen zum Besonderen und vom Einfachen zum Heiklen. Beginne mit einer einfachen, ansprechenden Frage, um Schwung aufzubauen, fasse zusammengehörige Fragen zu Gruppen und hebe dir demografische oder persönliche Fragen für den Schluss auf, wenn etwas Vertrauen entstanden ist.
Eine Studie von Galesic und Bosnjak in Public Opinion Quarterly hat das in einer Web-Umfrage gemessen: Je länger die angekündigte Dauer war, desto weniger Personen begannen und beendeten den Fragebogen, und später platzierte Fragen erhielten schnellere Antworten, kürzere offene Antworten und mehr unbeantwortete Lücken.
Die Reihenfolge ist nicht kosmetisch: Das Pew Research Center dokumentiert, dass die ersten Fragen als Kontext für die folgenden wirken und die Antworten verändern. In einer ihrer Umfragen lag die Zustimmung zu gesetzlichen Partnerschaften für gleichgeschlechtliche Paare bei 45%, wenn die Frage nach der zur Ehe gestellt wurde, und bei 37%, wenn sie ohne diesen vorherigen Kontext gestellt wurde. Sie empfehlen, mit einfachen Fragen zu beginnen und die demografischen Fragen ans Ende zu stellen.
Teste sie vor dem Versand
Schicke deinen Entwurf vor der Veröffentlichung an fünf oder sechs Personen, die deiner echten Zielgruppe ähneln, und bitte sie, beim Beantworten laut zu denken. Du prüfst auf Fragen, die sich auf zwei Arten lesen lassen, auf Optionen, in denen sich niemand wiederfindet, und auf die tatsächliche Zeit bis zum Abschluss.
Ein kurzer Test findet die Probleme, die du selbst nicht mehr siehst, weil du die Umfrage geschrieben hast. Eine unklare Frage vor dem Start zu beheben kostet ein paar Minuten; sie zu entdecken, nachdem tausend Menschen geantwortet haben, kann dich den gesamten Datensatz kosten.
Dieses «laute Denken» hat in der Umfragemethodik einen eigenen Namen: Es ist das kognitive Interview, das Gordon Willis in Cognitive Interviewing: A Tool for Improving Questionnaire Design (Sage, 2005) beschreibt, und es dient genau dazu, zu erkennen, wo das Verständnis einer Frage bricht, solange Sie es noch beheben können.