Começa por um objetivo e a decisão que ele orienta
Antes de escreveres uma única pergunta, completa esta frase: depois deste questionário, vou decidir ___. Um questionário sem uma decisão por trás recolhe dados que ninguém usa. Escolhe um objetivo principal e deixa que ele filtre tudo o resto; se uma pergunta não te ajuda a tomar essa decisão, elimina-a.
Escreve o objetivo e mantém-no à vista enquanto constróis, para que o questionário não se transforme numa lista de desejos de tudo o que te desperta curiosidade. Se o difícil é arrancar de uma página em branco, um assistente de IA como o do Camaleonic Survey pode transformar esse objetivo num primeiro rascunho de perguntas para depois cortares.
Escreve perguntas neutras e não tendenciosas
Uma pergunta tendenciosa sugere a própria resposta. «Quanto gostaste do nosso excelente apoio?» dá como certo que gostaste e elogia o apoio ao mesmo tempo. Pergunta antes «Como avaliarias o nosso apoio?» e deixa que sejam as pessoas a dizê-lo.
Mantém uma redação neutra e as opções de resposta equilibradas: tantas alternativas positivas como negativas, com um ponto médio realmente neutro. E não juntes duas ideias na mesma pergunta. «A nossa equipa foi rápida e simpática?» é uma pergunta dupla; quem te achou rápido mas seco não consegue responder com sinceridade, por isso divide-a em duas.
Por fim, escreve na linguagem simples que quem responde usa mesmo. O jargão interno, as siglas e os termos técnicos obrigam a adivinhar o que queres dizer, e uma resposta adivinhada é apenas ruído nos teus dados.
Não é um pormenor menor: numa experiência clássica publicada na Public Opinion Quarterly, Tom W. Smith verificou que as respostas sobre despesa pública eram muito mais negativas e menos generosas quando a pergunta usava a palavra «welfare» do que quando falava de «ajuda aos pobres».
Escolhe o tipo de pergunta certo
Ajusta o tipo de pergunta ao que precisas. As perguntas fechadas, como escolha única, escolha múltipla e escalas de avaliação, são rápidas de responder e fáceis de analisar, o que as torna a espinha dorsal de quase qualquer questionário. As perguntas de texto aberto captam nuances e surpresas, mas custam a responder e a ler, por isso usa-as com moderação e coloca-as perto do fim.
Quando usares escalas de avaliação, mantém-nas coerentes: a mesma direção e o mesmo número de pontos do início ao fim, para que quem responde não tenha de reaprender a escala em cada ecrã.
Mantém-no curto e vai do geral ao específico
A extensão é o maior motivo de abandono. Quanto mais longo parece um questionário, mais gente o deixa a meio, e as respostas abandonadas enviesam os teus resultados a favor dos poucos que têm paciência. Pergunta só o que serve o teu objetivo e avisa logo no início quanto tempo vai levar, mais ou menos.
Ordena as perguntas do geral para o específico e do fácil para o delicado. Abre com uma pergunta simples e cativante para ganhar balanço, agrupa as perguntas relacionadas e deixa as demográficas ou pessoais para o fim, quando já existe alguma confiança.
Um estudo de Galesic e Bosnjak na Public Opinion Quarterly mediu isto num inquérito online: quanto maior era a duração anunciada, menos pessoas começavam e terminavam o questionário, e as perguntas colocadas mais tarde recebiam respostas mais rápidas, mais curtas nas abertas e com mais lacunas por responder.
A ordem não é cosmética: o Pew Research Center documenta que as perguntas iniciais funcionam como contexto das seguintes e alteram as respostas. Num dos seus inquéritos, o apoio às uniões legais entre casais do mesmo sexo era de 45% quando a pergunta era feita depois da do casamento e de 37% quando era feita sem esse contexto prévio. Recomendam começar com perguntas simples e deixar as demográficas para o final.
Testa antes de enviar
Envia o rascunho a cinco ou seis pessoas parecidas com o teu público real antes de o publicares e pede-lhes que pensem em voz alta enquanto respondem. Estás à procura de perguntas que se entendem de duas formas, opções em que ninguém se reconhece e o tempo real que custa terminar.
Um teste curto revela os problemas que já não vês porque foste tu a escrever o questionário. Corrigir uma pergunta confusa antes do lançamento custa uns minutos; descobri-la depois de mil pessoas terem respondido pode custar-te todos os dados.
Esse «pensar em voz alta» tem nome próprio em metodologia de inquéritos: é a entrevista cognitiva que Gordon Willis descreve em Cognitive Interviewing: A Tool for Improving Questionnaire Design (Sage, 2005), e serve precisamente para ver onde se quebra a compreensão de uma pergunta enquanto ainda a podes corrigir.