Es ist kein Prozentsatz deines Publikums
Ein verbreiteter Irrtum ist, du bräuchtest einen festen Anteil deines Publikums, etwa 10%. So funktioniert Statistik nicht. Zwei Dinge bestimmen die Stichprobengröße: das Konfidenzniveau, also wie sicher du sein willst, dass dein Ergebnis die Wirklichkeit widerspiegelt, und die Fehlermarge, also wie viel Schwankung um jedes Ergebnis herum du hinnimmst.
Die Konfidenz wird meist als Prozentsatz angegeben, am häufigsten 95%. Das bedeutet: Würdest du die Umfrage viele Male wiederholen, läge der wahre Wert in 95 von 100 Fällen innerhalb deiner Marge. Die Fehlermarge, geschrieben etwa als ±5%, ist der Bereich um jedes Ergebnis.
Die Faustregel der 385 Antworten
Für eine große Grundgesamtheit, also ab einigen Tausend Personen, wo die Größe der Grundgesamtheit keine Rolle mehr spielt, weist die übliche Kombination aus 95% Konfidenz und einer Marge von ±5% auf etwa 385 vollständige Antworten hin. Diese eine Zahl erklärt, warum so viele Umfragen rund 400 Antworten anpeilen.
Damit erhältst du verlässliche Schätzungen für die gesamte Gruppe. Um die genaue Zahl für ein anderes Konfidenzniveau oder eine andere Marge festzulegen, gib deine Werte in einen Stichprobenrechner ein.
Ein wichtiger Vorbehalt: Diese Zahlen setzen voraus, dass deine Antworten aus einer unverzerrten Stichprobe stammen. Die Größe steuert die Fehlermarge, nicht die Auswahlverzerrung: Eine große, aber verzerrte Stichprobe repräsentiert die Gesamtheit nicht, egal wie viele Antworten sie hat. Wen du einlädst und wer am Ende antwortet, zählt genauso wie ihre Anzahl.
Diese Zahl ist nicht willkürlich: Sie stammt aus der klassischen Formel zur Stichprobengröße, die Cochran in Sampling Techniques anführt und die bei 95% Konfidenz, einem Anteil von 50% und einer Fehlermarge von ±5% 384,16 ergibt, aufgerundet auf 385.
Eine Metaanalyse von Groves und Peytcheva, veröffentlicht 2008 in Public Opinion Quarterly, die 59 Studien mit tatsächlichen Bias-Messungen zusammenfasste, kam zu dem Ergebnis, dass die Rücklaufquote kaum geeignet ist, um vorherzusagen, wie stark eine Umfrage von Nonresponse-Bias betroffen ist.
Kleine, bekannte Grundgesamtheiten brauchen weniger
Befragst du eine Gruppe, die du zählen kannst, etwa 200 Mitarbeitende oder 80 Lieferanten, brauchst du weit weniger als 385. Eine statistische Anpassung namens Endlichkeitskorrektur senkt das Ziel, je kleiner die Grundgesamtheit wird.
Um denselben Standard von 95% und ±5% zu erreichen, braucht eine Grundgesamtheit von 200 rund 130 Antworten statt 385. Je kleiner und klarer umrissen dein Publikum ist, desto näher rückt die nötige Stichprobe daran, einfach fast alle zu befragen.
Die Referenztabelle von Krejcie und Morgan (1970), die bis heute gebräuchlich ist, legt diese Anforderung präzise fest: für eine Population von 200 Personen 132 Antworten.
Mehr Antworten, eine engere Marge
Antworten und Genauigkeit hängen zusammen, aber nicht eins zu eins. Mehr Antworten verengen die Fehlermarge mit abnehmendem Ertrag: grob gesagt vervierfacht eine Halbierung der Marge die Zahl der nötigen Antworten. Von ±5% auf ±2,5% zu gehen ist ein großer Mehraufwand für einen bescheidenen Gewinn.
Entscheide, welche Genauigkeit die Entscheidung wirklich braucht, bevor du mehr Antworten sammelst. Um grob zu erfahren, ob eine Idee gefällt, reicht eine weite Marge meist aus. Für eine knappe Wahl zwischen zwei Optionen willst du vielleicht eine engere.
Achte auf die Zahl je Frage und Segment
Deine Gesamtstichprobe schützt nur die Schätzungen für die gesamte Gruppe. Sobald du filterst, etwa Frauen unter 30 oder eine einzelne Region, sinkt die Zahl hinter diesem Ausschnitt und seine Fehlermarge wird größer.
Wenn ein Segment oder eine einzelne Frage nur auf einer Handvoll Antworten beruht, behandle das Ergebnis als richtungsweisend: ein Hinweis, dem man nachgehen sollte, keine feste Zahl zum Berichten. Ist dir eine Aufschlüsselung wichtig, plane genug Antworten ein, damit jede Zelle, die dich interessiert, eine brauchbare Zahl behält.
Während die Antworten eintreffen, zeigt Camaleonic Survey die Ergebnisse in Echtzeit, sodass du leicht siehst, wann jedes Segment eine verlässliche Zahl erreicht hat.