Partez d'un objectif et de la décision qu'il oriente
Avant d'écrire la moindre question, complétez cette phrase : après ce questionnaire, je déciderai ___. Un questionnaire sans décision derrière lui récolte des données que personne n'utilise. Choisissez un objectif principal et laissez-le tout filtrer ; si une question ne vous aide pas à prendre cette décision, supprimez-la.
Notez l'objectif et gardez-le sous les yeux pendant que vous construisez, afin que le questionnaire ne se transforme pas en liste de souhaits de tout ce qui vous intrigue. Si le plus dur est de démarrer devant une page blanche, un assistant IA comme celui de Camaleonic Survey peut transformer cet objectif en un premier jet de questions qu'il ne vous restera plus qu'à élaguer.
Rédigez des questions neutres et non orientées
Une question orientée suggère sa propre réponse. « À quel point avez-vous apprécié notre excellent support ? » suppose que vous l'avez apprécié et fait l'éloge du support au passage. Demandez plutôt « Comment évalueriez-vous notre support ? » et laissez les gens vous répondre.
Gardez une formulation neutre et des options de réponse équilibrées : autant de choix positifs que négatifs, avec un vrai milieu neutre. Et ne combinez pas deux idées dans une même question. « Notre équipe a-t-elle été rapide et aimable ? » est une question à double sens ; quelqu'un qui vous a trouvé rapide mais sec ne peut pas répondre honnêtement, alors scindez-la en deux.
Enfin, écrivez dans le langage simple que vos répondants emploient réellement. Le jargon interne, les sigles et les termes techniques les obligent à deviner ce que vous voulez dire, et une réponse devinée n'est que du bruit dans vos données.
Ce n'est pas un détail mineur : dans une expérience classique publiée dans Public Opinion Quarterly, Tom W. Smith a constaté que les réponses sur les dépenses publiques étaient bien plus négatives et moins généreuses lorsque la question utilisait le mot « welfare » que lorsqu'elle parlait d'« aide aux pauvres ».
Choisissez le bon type de question
Adaptez le type de question à votre besoin. Les questions fermées, comme le choix unique, le choix multiple et les échelles de notation, sont rapides à remplir et faciles à analyser, ce qui en fait la colonne vertébrale de la plupart des questionnaires. Les questions ouvertes captent les nuances et les surprises, mais elles demandent un effort pour y répondre comme pour les lire : utilisez-les avec parcimonie et placez-les vers la fin.
Lorsque vous utilisez des échelles de notation, gardez-les cohérentes : même sens et même nombre de points d'un bout à l'autre, pour que les répondants n'aient pas à réapprendre l'échelle à chaque écran.
Restez bref et allez du général au particulier
La longueur est le premier facteur d'abandon. Plus un questionnaire paraît long, plus les gens le quittent en cours de route, et les réponses abandonnées faussent vos résultats en faveur des quelques patients. Ne demandez que ce qui sert votre objectif, et annoncez dès le départ le temps approximatif nécessaire.
Ordonnez les questions du général au particulier, et du facile au sensible. Commencez par une question simple et engageante pour créer de l'élan, regroupez les questions liées entre elles, et gardez les questions démographiques ou personnelles pour la fin, une fois qu'un peu de confiance s'est installée.
Une étude de Galesic et Bosnjak publiée dans Public Opinion Quarterly l'a mesuré sur une enquête web : plus la durée annoncée était longue, moins de personnes commençaient et terminaient le questionnaire, et les questions placées plus tard recevaient des réponses plus rapides, plus courtes pour les questions ouvertes et avec davantage de champs laissés sans réponse.
L'ordre n'est pas cosmétique : le Pew Research Center documente que les premières questions font office de contexte pour les suivantes et modifient les réponses. Dans l'une de ses enquêtes, le soutien aux unions civiles entre personnes de même sexe était de 45% lorsque la question était posée après celle sur le mariage, et de 37% lorsqu'elle était posée sans ce contexte préalable. Ils recommandent de commencer par des questions simples et de réserver les questions démographiques pour la fin.
Testez avant d'envoyer
Envoyez votre brouillon à cinq ou six personnes proches de votre public réel avant la mise en ligne, et demandez-leur de penser à voix haute en répondant. Vous cherchez les questions comprises de deux façons différentes, les options dans lesquelles personne ne se reconnaît, et le temps réel nécessaire pour terminer.
Un test rapide révèle les problèmes que vous ne voyez plus parce que c'est vous qui avez rédigé le questionnaire. Corriger une question confuse avant le lancement prend quelques minutes ; la découvrir après que mille personnes ont répondu peut vous coûter l'ensemble des données.
Ce « penser à voix haute » a un nom propre en méthodologie d'enquête : c'est l'entretien cognitif que Gordon Willis décrit dans Cognitive Interviewing: A Tool for Improving Questionnaire Design (Sage, 2005), et il sert justement à repérer où se rompt la compréhension d'une question, pendant qu'il est encore possible de la corriger.