Prima decidi cosa vuoi scoprire. Poi capisci come analizzarlo. Solo alla fine scrivi le domande.
C’è un errore che vedo fare continuamente nelle aziende, negli uffici HR, nei team di comunicazione: si apre un documento, si comincia a scrivere domande, e alla fine si manda un questionario.
Sembra ragionevole. Non lo è.
Il problema è che nessuno ha ancora deciso cosa fare con le risposte. E — attenzione, perché questo è il punto che quasi nessuno considera — nessuno ha ancora deciso con quale strumento statistico quelle risposte verranno elaborate.
Quella scelta non è un dettaglio tecnico da lasciare agli specialisti dopo. È la decisione da cui dipende tutto il resto. Incluse le parole che userete nelle domande.
Immagina di andare dal medico.
Entri nell’ambulatorio, il medico ti guarda e dice: “Facciamo un prelievo.” Tu chiedi: “Per controllare cosa?” E lui risponde: “Non lo so ancora, vediamo cosa viene fuori.”
Assurdo, vero?
Eppure è esattamente quello che succede quando si costruisce un questionario senza sapere in anticipo come verranno analizzati i dati. Si raccoglie “del sangue” senza sapere se serve per controllare l’anemia, un’infezione, o il colesterolo. E a seconda di cosa si vuole controllare, cambiano il tipo di prelievo, il contenitore, l’ora, persino se il paziente deve essere a digiuno.
Per l’analisi delle urine devi raccogliere il campione al mattino, nella fase intermedia, in un contenitore sterile, e portarlo in laboratorio entro due ore. Per l’emocromo ti bastano pochi millilitri di sangue venoso in una provetta con anticoagulante, a qualsiasi ora, senza digiuno. Usare il campione sbagliato per l’esame sbagliato non produce un risultato impreciso. Produce un risultato impossibile.
Nella ricerca funziona esattamente così. E il “tipo di prelievo” nel questionario si chiama modello statistico di analisi.
Un esempio concreto: la banca che vuole attrarre giovani talenti.
Una banca vuole capire come la percepiscono i neolaureati. Vuole usare queste informazioni per migliorare la propria immagine come datore di lavoro.
Fin qui tutto chiaro. Ma prima di scrivere una sola domanda occorre rispondere a tre domande preliminari, nell’ordine esatto in cui le presento.
cosa voglio scoprire esattamente?
quale modello statistico mi permette di scoprirlo?
e solo terza: come devo formulare le domande perché quel modello funzioni?
Vediamo cosa succede quando le risposte a queste tre domande cambiano.
Caso A. Voglio capire cosa distingue chi mi sceglie da chi non mi considera.
La domanda è chiara. Ma quale strumento statistico serve per risponderle?
Serve un’analisi chiamata analisi discriminante. Senza entrare nei tecnicismi: è un modello che prende due o più gruppi di persone già distinti — in questo caso chi metterebbe la banca come prima scelta e chi non la considererebbe — e cerca di capire su quali caratteristiche percettive questi gruppi differiscono in modo sistematico. Non confronta le medie una per una. Costruisce una combinazione di variabili che massimizza la distanza tra i gruppi e minimizza le differenze al loro interno. Il risultato è una mappa: da un lato i “convinti”, dall’altro gli “esclusi”, e in mezzo le dimensioni che li separano.
Questo modello ha requisiti precisi. Ha bisogno di variabili misurate su scale continue — numeri che possano variare in modo graduale, non semplici sì/no. Ha bisogno che ogni caratteristica venga misurata con più domande, non con una sola, per ridurre l’errore di misura. Ha bisogno di una domanda finale che classifichi il rispondente in uno dei gruppi — prima scelta, tra le prime cinque, fuori dalla lista — che diventerà il criterio su cui il modello lavora.
Quindi, il questionario deve contenere scale da 1 a 10 su caratteristiche come reputazione, possibilità di crescita, ambiente di lavoro, stipendio, innovazione. Ogni caratteristica misurata con almeno tre o quattro domande diverse che la esplorano da angolazioni diverse. E una domanda finale di classificazione.
Una domanda aperta — “cosa pensi di questa banca?” — è inutilizzabile per questo modello. Una scala da 1 a 3 è troppo compressa per produrre la variazione necessaria. Una singola domanda per caratteristica introduce troppo errore. Non sono scelte stilistiche: sono vincoli tecnici del modello.
Caso B. Voglio capire quanto vale ogni singola caratteristica nella scelta.
Domanda diversa. Modello completamente diverso. Questionario completamente diverso.
Lo strumento che serve qui si chiama conjoint analysis — più precisamente, nella versione più moderna, choice-based conjoint. Il meccanismo è diverso dall’analisi discriminante in modo radicale: invece di chiedere valutazioni su scale, si presentano al rispondente delle “offerte” immaginarie costruite combinando caratteristiche diverse, e si chiede di scegliere quella preferita. “Preferisci un lavoro con stipendio di 32.000 euro, due giorni di smart working e formazione strutturata, oppure uno con 28.000 euro, smart working completo e affiancamento diretto a un senior?” Si ripete questo esercizio più volte con combinazioni diverse, costruite secondo un piano preciso che garantisce che ogni caratteristica venga testata in abbinamento a tutte le altre.
Dall’analisi di queste scelte il modello ricava il “peso” di ogni caratteristica e di ogni livello di quella caratteristica nella decisione finale. Non quanto le persone dichiarano di apprezzare lo smart working — perché quando si dichiara si tende a dire che tutto è importante — ma quanto lo smart working vale realmente quando deve essere confrontato con altri benefici concreti. Puoi scoprire che per i laureati triennali lavorare da casa vale più di quattromila euro annui di stipendio in più. Per i magistrali, no. Quella è un’informazione che nessuna scala Likert potrebbe mai produrre, perché le scale Likert misurano dichiarazioni di importanza, non preferenze rivelate attraverso scelte reali.
Questo modello ha requisiti completamente diversi dall’analisi discriminante. Non vuole scale continue. Vuole che ogni caratteristica sia definita con livelli discreti e chiari — stipendio: 28.000, 32.000, 36.000 euro; smart working: zero giorni, due giorni, cinque giorni. Il numero di profili da mostrare a ogni rispondente dipende da quante caratteristiche e quanti livelli si scelgono, e questo calcolo va fatto prima di scrivere qualsiasi domanda, perché determina la struttura dell’intero questionario. Una domanda su scala Likert in questo contesto non è solo inutile: è un dato che il modello non sa letteralmente cosa farsene.
Il punto che nessuno dice mai chiaramente.
Uno stesso item — “quanto è importante per te lo smart working nella scelta del lavoro?” con risposta da 1 a 10 — funziona nell’analisi discriminante e non funziona nella conjoint. Non perché sia mal scritto. Perché il modello statistico che deve elaborarlo nel secondo caso non accetta quel tipo di dato come input valido. È come portare un campione di urine al laboratorio e chiedere l’emocromo: il campione è reale, la richiesta è comprensibile, ma l’esame è impossibile.
Questo è il motivo per cui il modello statistico non è una decisione da rimandare a dopo la raccolta dei dati. È la prima decisione da prendere, quella da cui dipendono tutte le altre.
