Ce n'est pas un pourcentage de votre public
On croit souvent, à tort, qu'il faut une part fixe de son public, comme 10 %. Les statistiques ne fonctionnent pas ainsi. Deux éléments déterminent la taille de l'échantillon : le niveau de confiance, c'est-à-dire à quel point vous voulez être sûr que votre résultat reflète la réalité, et la marge d'erreur, c'est-à-dire l'écart que vous acceptez autour de chaque résultat.
La confiance s'exprime en général sous forme de pourcentage, le plus souvent 95 %, ce qui signifie que si vous répétiez le sondage de nombreuses fois, la vraie valeur tomberait dans votre marge dans 95 cas sur 100. La marge d'erreur, notée par exemple ±5 %, est la plage qui entoure chaque résultat.
La règle des 385 réponses
Pour une population importante, c'est-à-dire à partir de quelques milliers de personnes, là où la taille de la population cesse de compter, l'association courante de 95 % de confiance et d'une marge de ±5 % pointe vers environ 385 réponses complètes. C'est ce chiffre qui explique pourquoi tant de sondages visent environ 400 réponses.
Vous obtenez ainsi des estimations fiables pour l'ensemble du groupe. Pour fixer le chiffre exact avec un autre niveau de confiance ou une autre marge, passez vos données dans un calculateur de taille d'échantillon.
Une mise en garde essentielle : ces chiffres supposent que vos réponses proviennent d'un échantillon sans biais. La taille contrôle la marge d'erreur, pas le biais de sélection : un échantillon grand mais biaisé ne représente pas l'ensemble, quel que soit le nombre de réponses. Qui vous invitez et qui répond compte autant que leur nombre.
Ce chiffre n'a rien d'arbitraire : il découle de la formule classique de taille d'échantillon que Cochran expose dans Sampling Techniques, qui, avec un niveau de confiance de 95%, une proportion de 50% et une marge de ±5%, donne 384,16, arrondi à 385.
Une méta-analyse de Groves et Peytcheva publiée en 2008 dans Public Opinion Quarterly, qui a rassemblé 59 études comportant des mesures réelles du biais, a montré que le taux de réponse ne permet guère de prédire l'ampleur du biais de non-réponse d'une enquête.
Les populations petites et connues en demandent moins
Si vous interrogez un groupe que vous pouvez dénombrer, par exemple 200 salariés ou 80 fournisseurs, il vous en faut bien moins que 385. Un ajustement statistique appelé correction pour population finie abaisse l'objectif à mesure que la population diminue.
Pour atteindre la même norme de 95 % et ±5 %, une population de 200 demande environ 130 réponses plutôt que 385. Plus votre public est petit et bien défini, plus l'échantillon nécessaire se rapproche du simple fait d'interroger presque tout le monde.
La table de référence de Krejcie et Morgan (1970), encore couramment utilisée aujourd'hui, fixe cette exigence avec précision : pour une population de 200 personnes, 132 réponses.
Plus de réponses, une marge plus serrée
Réponses et précision sont liées, mais pas à parité. Ajouter des réponses réduit la marge d'erreur avec des rendements décroissants : en gros, diviser la marge par deux multiplie par quatre le nombre de réponses nécessaires. Passer de ±5 % à ±2,5 % représente un effort bien plus grand pour un gain modeste.
Déterminez la précision dont la décision a réellement besoin avant de courir après plus de réponses. Pour savoir grosso modo si une idée plaît, une marge large suffit souvent. Pour trancher entre deux options serrées, vous en voudrez peut-être une plus étroite.
Surveillez le nombre par question et par segment
Votre échantillon total ne protège que les estimations portant sur l'ensemble. Dès que vous filtrez, par exemple les femmes de moins de 30 ans ou une seule région, le nombre derrière cette tranche chute et sa marge d'erreur s'élargit.
Quand un segment ou une seule question repose sur une poignée de réponses, traitez le résultat comme indicatif : une piste à explorer, pas un chiffre ferme à publier. Si une ventilation compte pour vous, prévoyez assez de réponses pour que chaque case qui vous intéresse garde un effectif exploitable.
À mesure que les réponses arrivent, Camaleonic Survey affiche les résultats en direct, ce qui permet de voir facilement quand chaque segment a atteint un effectif fiable.