Parti dalla domanda a cui volevi rispondere
Prima di aprire anche un solo grafico, scrivi la decisione che il sondaggio doveva sostenere. Un sondaggio sul lancio di un prodotto risponde a una domanda diversa rispetto a uno sul clima aziendale, e gli stessi dati possono sembrare incoraggianti o preoccupanti a seconda di ciò che vuoi scoprire.
Lascia che sia quella domanda a decidere quali risultati contano. Così eviti di scegliere solo i numeri che fanno bella figura e di perderti tra metriche secondarie che non hanno nulla a che vedere con la decisione che hai davanti.
Indica la base (n) prima di qualsiasi percentuale
Ogni percentuale poggia su una base: il numero di persone che ha davvero risposto a quella domanda. Un 80% d'accordo significa una cosa su 500 risposte e quasi nulla su 5. Mostra sempre la n accanto alla percentuale, così chi legge può valutare quanto peso abbia.
Considera le basi piccole come un'indicazione. Una manciata di risposte può suggerire uno schema che vale la pena esplorare, ma non è una prova su cui agire con sicurezza. Aspetta di avere più risposte, oppure presenta il dato come un segnale e non come una conclusione.
Non è solo buona pratica: il codice etico dell'AAPOR obbliga a pubblicare la dimensione del campione insieme ai risultati e a fornire, a chi lo richieda, la base non ponderata su cui poggia ogni stima di un sottogruppo.
Leggi la distribuzione, non solo la media
Una media nasconde la forma delle risposte. Una soddisfazione di 3 su 5 può derivare da una sala piena di tiepidi 3, oppure da una spaccatura tra 5 entusiasti e 1 furiosi. Quelle due situazioni richiedono risposte opposte, eppure condividono la stessa media.
Guarda l'intera distribuzione: quante persone hanno scelto ogni opzione, dove sono i picchi e quante si collocano agli estremi. La distribuzione racconta di solito una storia più chiara di qualsiasi singolo numero riassuntivo.
Jamieson lo ha segnalato su Medical Education criticando l'uso routinario delle medie sulle scale tipo Likert: sono categorie ordinate e non distanze uguali, quindi la mediana e la distribuzione completa descrivono le risposte meglio della media.
Segmenta per vedere dove i gruppi differiscono
I numeri complessivi possono appiattire differenze reali. Incrocia i risultati per i gruppi che ti interessano, come area geografica, ruolo, piano o da quanto tempo una persona è cliente, e spesso scoprirai che è un solo segmento a trainare il dato generale.
I segmenti funzionano solo se ognuno ha una base sufficiente. Se dividi 200 risposte in sei gruppi, alcuni saranno troppo piccoli per essere affidabili: leggili come un'indicazione. I risultati in tempo reale aiutano qui: puoi vedere un segmento riempirsi e aspettare che sia abbastanza grande prima di trarre conclusioni.
Cochran lo ha stabilito in Sampling Techniques trattando la stima per domini: la precisione del dato di un sottogruppo dipende dal numero di risposte che ricadono in quel sottogruppo, non dalla dimensione totale del campione.
Trova il perché e resta onesto sulla causa
Le domande chiuse ti dicono cosa sta succedendo; le risposte a testo libero ti dicono perché. Leggi un campione dei commenti prima di fissare qualsiasi interpretazione, perché una lamentela ricorrente può spiegare un calo che i grafici si limitano a suggerire.
Due cautele mantengono onesta la tua lettura. Primo: un legame tra due cose è un'associazione, non la prova che una abbia causato l'altra, perché un fattore nascosto può influenzarle entrambe. Secondo: attenzione al bias di non risposta, perché chi ha ignorato il sondaggio può essere diverso da chi ha risposto, e spesso mancano proprio le voci più soddisfatte o più impegnate.
E non basta inseguire un tasso di risposta elevato: la metaanalisi di Groves e Peytcheva su Public Opinion Quarterly, che ha riunito 59 studi metodologici progettati per misurare la distorsione da mancata risposta, ha concluso che il tasso di risposta non predice in modo generale tale distorsione.