La discussione sulla sondaggite, malattia politico-giornalista che fa vedere fischi per fiaschi, sta raggiungendo vette comiche durante l’attuale campagna elettorale Italiana. Non sto qui a dettagliare quello che più volte si è detto. Stavolta mi piacerebbe parlare di un caso che potrebbe far drizzare parecchie orecchie.
Correva l’anno del Signore 2005 e il governo tetesko allora presieduto dal cancelliere Schröder aveva indetto elezioni anticipate. Praticamente senza speranza, visto che “tutti i sondaggi” lo davano indietro di una quantità industriale di punti, tra il 10 e il 15%. La campagna elettorale non spostò una virgola nei “trend” dei sondaggi e si concluse a metà Settembre con la situazione che avete a lato nel grafico: DC teteska al 41%, Socialdemocratici al 32%.
Uno direbbe: perkè noi tovere votare cuanto tifferenza kosì crante? Naja, succede poi che il 18 Settembre dalle urne esce una sonora pernacchia, con una parità dei due partiti intorno al 35% e il giorno dopo si scatenano una marea di commenti pesanti e sarcastici contro i professionalissimi istituti demoskopici teteski. I quali, con calma serafica, affermarono che loro avevano prodotto i dati in modo scientifico; ma che non erano responsabili delle rispettive interpretazioni politiche. Vabbè, uno potrebbe dire che tengono famiglia e provano a difendersi.
La situazione poi non è nuova e, a guardarlo come fenomeno, si scopre che nella metà delle elezioni recenti i sondaggi prenderebbero una toppa, più o meno clamorosa: si sbagliarono di 5 punti sia nel 2006 che nel 2001 in Italia con orientamenti diversi (nel 2001 la differenza data a più del 10% spinse addirittura ad annullare il confronto televisivo), si sbagliarono alla rielezione di Bush e stanno sbagliando a catena nelle primarie Statunitensi. D’altro canto ci hanno preso bene in Francia, in Inghilterra e in Russia recentemente.
Se siete arrivati fino a qui e avete voglia di risolvere l’inghippo, vi dico chi non è l’assassino: i sondaggisti sono praticamente tutti bravi, preparati, lavorano con metodo statistico da manuale e praticamente non hanno fatto alcun errore negli ultimi 20 anni. Vabbè, allora chi è l’assassino?
Il colpevole di questo dramma collettivo che ormai da anni influenza in modo inequivocabile la politica è colui che commette questi tre errori nel leggere un sondaggio:
1. Non considera le forchette. Un sondaggio non dice che il PdL sta al 41,5% e il PD sta al 36,5%. Il sondaggio campiona un sottoinsieme minimo ma rappresentativo dell’elettorato; insomma, telefona a 2000 persone, cerca in queste 2000 le mille che siano rappresentative dell’elettorato (ce ne servono un po’ gggiovani, un altro po’ vecchi rincojoniti, un po’ impiegati statali, un po’ imprenditori con partita IVA, etc etc) e fa un modello statistico. Che dice che, ripetendo le duemila telefonate in quell’esatto momento tantissime volte, quelle percentuali si avvicinerebbero al risultato vero con un certo grado di confidenza e all’interno di un certo intervallo. Insomma, dice che più o meno con 5% di tolleranza, ci potremmo essere. Ovviamente questo viene influenzato da chi risponde a vanvera e da chi si vergogna di dire per chi vota, tipicamente i sostenitori del governo uscente.
2. Fa la media di diversi sondaggi. Magari poi fatti con metodiche differenti e in momenti differenti. E, assurdo matematico massimo, fa la media solo dei valori puntuali e si riscorda di considerare le forchette. Perchè al limite si potrebbe anche fare un’analisi statistica di molti sondaggi; insomma, dato il rapporto enorme tra campione sondaggiato e popolazione votante (uno a quarantamila nei casi tipici, uno su mille in casi rari), l’evento “media dei sondaggi” presenta dei risultati assurdi; mi sono fatto dei calcolini e verrebbe un forchettone tendente al gaussiano di quasi il 20%; insomma un dato praticamente inutilizzabile.
3. Mette i risultati in un grafico temporale. E ovviamente ci mette solo i valori puntuali. Poi esagera, e ci costruisce i trend, utilizzando diverse curve di interpolazione. Ovviamente tutto sotteso a fare la previsione per il giorno delle elezioni.
Il crescendo rossiniano di queste errate interpretazioni dei sondaggi, del loro essere considerati come misure puntuali e dei loro grafici temporali, porta alle cantonate planetarie ormai storiche degli ultimi anni. E la responsabilità è di chi mette le bandierine, non di chi produce gli exit polls o i sondaggi.
Finiamo la lezioncina da professore del primo anno di statistica sbilanciandoci un po’, dato che tirare il sasso e nascondere la mano è da piscialletto. Che succederà alle elezioni prossime venture in Italia, basandoci sui sondaggi attuali? I sondaggi dicono una sola cosa interessante: che tantissime persone non indicano il voto; questo, unito alle alte percentuali di votanti tipiche Italiane, dice semplicemente che i risultati sono “too-close-to-call”. Che non vuol dire pareggio, che non vuol dire che succederà come in Germania o come alle scorse elezioni del 2006. Vuol dire che la partita può essere ancora giocata; può essere giocata politicamente, non andando dietro al sondaggio di turno, alle medie dei sondaggi, o ai loro trend.
I dati dei sondaggi dicono insomma a Uàlter: vai, muoviti, parla bene, perchè si può vincere. E vinceremo.
Oh. Carletto, un favore: scrivi un messaggio del genere, ogni mattina. Da qui alle elezioni. Che ci può cambiare il corso delle giornate. Please.
“da chi si vergogna di dire per chi vota, tipicamente i sostenitori del governo uscente.”
…oppure a quelli di destra (http://en.wikipedia.org/wiki/Shy_Tory_Factor). L’altra volta le due cose coincidevano, questa volta no. Quindi qualche speranza in meno ci se l’ha.
Veramente nel 2006 uno ci azzeccò, altro che cinque punti…
In due abbiamo azzeccato, come dici tu: io e il sondaggio americano.
Solo che il solo dire “azzeccarci” appartiene a quella stessa serie di non sensi statistici di cui ho scritto nel post..
Perfetto, a parte una cosa che non capisco sul punto tre. (Ma siccome me l’ha suggerito la gabry, non so se ho capito bene…)
Non è metologicamente sbagliato a priori osservare in sequenza temporale valori di campioni indipendenti (nel mio ramo li chiamiamo “deep sticks” ma non so se sia un termine scientifico). Anzi, a volte è meglio così per evitare l’effetto panel.
Certo, bisogna saper applicare un test T per medie o proporzioni lavorando campioni indipendenti, ma non vedo il problema ontologico.
Se questo punto s’è fatto benino, spingersi ad interpolare andamenti nel tempo, massacra la significatività ma, di nuovo, non è ontologicamente sbagliato. Si lavora su time series anche senza avere panel.
Sbaglio?
ciao
davide
Dnute, quello che voglio dire è che devi tenere in conto del processo stocastico intero, non sono dei valori puntuali. Ora, se tu vedi gli stick (e sulla loro dimensione potremmo stare qui a discutere, visto che parliamo di sondaggi su 1000 persone) e la loro evoluzione, praticamente non riesci ad astrarre alcun trend. Ovvero potremmo modellare un processo “andamento dei sondaggi nel tempo”; questo avrebbe dei valori mediani certo, ma, così come per le medie di molti sondaggi (punto due), avrebbe una varianza non gestibile. Con un sondaggio di quel tipo purtoppo non si possono avere risultati puntuali. E le forchette li rendono inutilizzabili per fare medie o trend.
Magari mi ripeto. La sola informazione degna di questo nome sono le percentuali di persone indecise. Sono valori così alti che, con tutte le molle gaussiane del caso, rimangono alti in tutte le possibili forchette. Ed è l’unico dato politico su cui si può lavorare. Il resto è fuffa.
Solo una mente scientifica come la tua – per paradosso – poteva riaccendere le mie speranze (illusioni) piu` segrete.
Dnute,
tu (e Gabry) avete perfettamente ragione. Sul punto 3 Darwin-Fabrizio è abbastanza talebano.
Quello che rende i sondaggi politici scarsamente affidabili (o meglio parecchio “sfocati”) sono altri motivi tra i quali non c’è la dimensione del campione.
Ma ne abbiamo discusso a lungo…
Il fatto è che non mi hai convinto ne allora ne oggi. Io me la sono fatta l’analisi temporale dei sondaggi (faccio un post coi grafici radar nei prossimi giorni) e sì, mi vengono sfuocati per via dei forchettoni.
Su un punto però siamo d’accordo. Le interpolazioni dei valori medi dei sondaggi sono una cosa che non sta nè in cielo nè in terra.
il punto non è tanto l’affidabilità dei sondaggi, è che i politici li usano come strumento di campagna elettorale e quindi li distorcono secondo i loro interessi. del resto i nostri politici lo fanno con qualsiasi cosa, vuoi che non si buttino a pesce anche sui sondaggi?
Premesso che son d’accordo sul fatto che spesso in TV i sondaggi vengano usati male, spesso come strumenti di campagna, etc., mi vengono però spontanee due domande:
.immaginiamo per ipotesi che un giornalista abbia interpretato correttamente dal punto di vista statistico un certo sondaggio svolto il giorno prima delle elezioni, il quale considerate tutte le forchette etc., dà in quel momento una preferenza complessiva dell’elettorato verso la forza politica A con una probabilità del 95%: se il giornalista in questione scrive “Secondo il tal sondaggio la vittoria di A è quasi certa.”, sbaglia?
E se la risposta è “sì, sbaglia”, allora la domanda è: a che servono i sondaggi?
.è giusto estrapolare un trend mettendo in fila una serie temporale di un certo sondaggio, svolto dalla stessa azienda, con le stesse metodologie e lo stesso campione?
E se la risposta è “no, è sbagliato”, allora la domanda è: a che serve fare lo stesso sondaggio in più momenti e confrontare la serie temporale dei risultati come fanno spesso Mannheimer e Pagnoncelli?
Murmur,
la tua domanda e’ centrale.
la statistica frequentista che sottende tutti i ragionamenti di Carletto e degli statistici PROIBISCE di dare una risposta qualsiasi alla tua domanda. percio’, rigorosamente parlando, il sondaggio non serve a niente. altro paio di maniche e’ se uno adotta l’analisi Bayesiana… http://it.wikipedia.org/wiki/Inferenza_bayesiana
Murmur,
per quanto riguarda la prima domanda, che andrebbe posta in maniera leggermente diversa ma ci siamo capiti, il National Council on Public Polls risponde così nella guida ad uso dei giornalisti:
“.. se lo scarto tra i due candidati è più piccolo del margine di errore campionario, non dovreste dire che un candidato è in vantaggio sull’altro. Potreste dire invece che c’è un “testa a testa”, che “sono quasi alla pari” o che “c’è una lieve differenza tra i candidati. Ma non dovreste dire, comunque, che c’è un “pareggio” a meno che i due non abbiano le stesse percentuali. E sicuramente non si può parlare di un “pareggio statistico” a meno che entrambi non abbiano le stesse identiche percentuali.
Quando il gap tra i due candidati è maggiore o uguale al doppio del margine di errore, e se ci sono solo due candidati e nessun votante indeciso, potrete concludere con fiducia che il sondaggio dice che un candidato è chiaramente in vantaggio sull’altro.
Quando il gap è invece superiore al margine di errore ma inferiore al suo doppio, dovreste comunicare che un candidato è “in vantaggio”, “è in testa”, “ha un margine”. L’articolo dovrebbe menzionare comunque che esiste una piccola possibilità che in realtà sia l’altro candidato ad essere in testa.”
L’originale lo trovi qui : http://www.ncpp.org/node/4/#12
La risposta alla seconda di domanda è sì, è possibile. Il problema è proiettare quel grafico nel futuro…
Comunque, se volete aprire una rubrica “Vero o Falso” riferita ai sondaggi elettorali, sulla falsariga di quella economica della voce.info, io collaboro!
(però ho l’spss solo in ufficio, mi dovete passare copie tarocche per macbookpro)
Ciao
Davide
Ora che le battaglie sono state vinte e perse, e vista la ricchezza qualitativa di questo topic, penso sia arrivato il momento di chiederci se la strategia di Walter sia stata altro oltre al contrastare l’effetto bandwagon che aveva Silvio e come sia stata attuata, a prescindere dai risultati :)
(suggerimento: > rumore )
http://it.wikipedia.org/wiki/Effetto_carrozzone