Wisdom of Crowds: Galton's Ox — The 1906 Experiment That Proved Crowds Beat Experts

Lo scienziato che voleva dimostrare che le masse erano sciocche

La parte migliore del più famoso esperimento di intelligenza collettiva è che è stato progettato — nello spirito, almeno — per dimostrare l'opposto di ciò che ha trovato.

Nel 1906, Francis Galton era uno degli scienziati più affermati in Gran Bretagna. Cugino di Charles Darwin, aveva pionierato i concetti statistici di correlazione e regressione verso la media, inventato la mappa meteorologica e messo l'identificazione delle impronte digitali su una base scientifica. Era anche — e questo è importante per la storia — profondamente scettico sul giudizio delle persone comuni. Galton credeva che l'intelligenza fosse concentrata in una piccola élite ereditaria; coniò il termine “eugenetica” e trascorse decenni a promuoverlo, un lascito giustamente condannato oggi e inseparabile da come affrontò questa questione. Quando applicò i suoi strumenti statistici a una folla, si aspettava di documentarne l'incompetenza.

Così, quando il 84enne Galton si aggirò per la Fiera del Bestiame e Pollame del West dell'Inghilterra a Plymouth nell'autunno del 1906 e si imbatté in una competizione di stima del peso, vide un set di dati irresistibile. Qui c'era una folla — alcuni esperti, la maggior parte no — che faceva centinaia di giudizi numerici indipendenti su un fatto, con una piccola tassa d'ingresso per mantenerli onesti e un premio per motivarli. Come scrisse successivamente in Nature, il concorrente medio era probabilmente altrettanto adatto a giudicare il bue quanto un elettore medio è adatto a giudicare i meriti della maggior parte delle questioni politiche su cui vota. L'analogia con la democrazia era il punto centrale. Galton si aspettava che la vox populi — la voce del popolo — si imbarazzasse.

Una fiera di paese, un bue grasso e 787 biglietti da sei pence

Le meccaniche del concorso erano semplici e — come sappiamo ora — accidentalmente vicine a un design sperimentale ideale. Un bue vivo era in mostra. Per sei pence, chiunque poteva acquistare una scheda timbrata e numerata, scrivere il proprio nome e indirizzo su di essa e registrare la propria stima di quanto il bue avrebbe pesato una volta macellato e vestito — il dato commercialmente significativo, e una domanda più difficile del peso vivo dell'animale. Le stime più accurate vincevano premi.

Tre caratteristiche di questo setup meritano attenzione, perché ognuna si mappa su una condizione che ricerche successive avrebbero dimostrato essere essenziale per l'accuratezza collettiva. Prima di tutto, la tassa di sei pence filtrava i veri burloni — le persone avevano un interesse in gioco. In secondo luogo, ogni scheda veniva compilata privatamente: non c'era alzata di mano, nessun banditore che chiamava un consenso in corso, nessun front-runner visibile da copiare. I giudizi erano indipendenti. Terzo, la folla era genuinamente mista: macellai e agricoltori con esperienza professionale stavano accanto a impiegati e famiglie che erano, nelle parole di Galton, guidati dall'ispirazione del momento. I giudizi erano diversi.

Dopo il concorso, Galton prese in prestito le schede. Di circa 800, tredici erano illeggibili o altrimenti difettose, lasciando 787 stime valide. Le ordinò, le tabulò, tracciò la loro distribuzione e calcolò i loro quantili — un lavoro statistico completo, pubblicato in Nature il 7 marzo 1907 con il titolo “Vox Populi” (Galton, F., Nature, 75, 450–451).

Il risultato che lo sorprese

La stima centrale — ciò che ora chiamiamo la mediana — era 1.207 libbre. Il bue, macellato e vestito, pesava 1.198 libbre. Il verdetto collettivo della folla era errato di nove libbre: un errore di circa lo 0,8%, più vicino delle stime degli esperti di bestiame presenti.

Galton — a suo genuino merito come scienziato — riportò il risultato in modo diretto. “Questo risultato è, penso, più credibile per l'affidabilità di un giudizio democratico di quanto ci si potesse aspettare,” scrisse. Venendo da un uomo che aveva trascorso la sua carriera a sostenere che un buon giudizio era un raro dono ereditario, la frase è una silenziosa concessione scientifica: i dati avevano battuto le sue aspettative.

La storia migliorò nella corrispondenza che seguì. I lettori di Nature scrissero, e nella sua risposta (“La Scatola delle Voti,” Nature, 75, 509) Galton riconobbe che la media aritmetica di tutte le 787 stime era 1.197 libbre — un chilo di differenza dal peso reale. Un secolo dopo, l'econometrico Kenneth Wallis (“Rivisitando la competizione di previsione di Francis Galton,” 2014) esaminò nuovamente i dati originali e lo scambio circostante, confermando gli elementi essenziali della storia che James Surowiecki aveva reso famosa. Il mancato chilo della media è la versione solitamente citata oggi; il mancato di nove libbre della mediana è ciò con cui Galton effettivamente iniziò. Entrambi sono sorprendenti.

Mediana o media? La scelta statistica di Galton conta ancora

Perché Galton preferiva la stima centrale? Il suo ragionamento era esplicitamente politico: la mediana è il valore che una maggioranza della folla ratificherebbe in un voto. Ogni altro valore sarebbe superato da coloro che lo ritenevano troppo alto o troppo basso. La mediana, in altre parole, è il verdetto democratico della folla — che era esattamente la domanda sulla vox populi che aveva deciso di testare.

Ma c'è un argomento statistico nascosto dentro quello politico, e viene ancora insegnato oggi. La mediana è una statistica robusta: un pugno di stime assurde — qualcuno che scrive 10.000 libbre per ridere — la sposta appena, mentre la media può essere trascinata arbitrariamente lontano da un singolo outlier. La media, d'altra parte, utilizza più informazioni nei dati e, quando gli errori sono approssimativamente simmetrici e indipendenti, li annulla più efficientemente. La folla di Galton era sufficientemente ben comportata che entrambe funzionavano: la mediana mancava di 9 lb, la media di 1 lb. In folle più disordinate — sondaggi online, forum non moderati — la robustezza della mediana spesso prevale. Scegliere il proprio meccanismo di aggregazione è una decisione su quanto si fidi delle code della propria folla.

Perché la media funziona: l'aritmetica dell'annullamento degli errori

Non c'è mistica nel risultato di Galton. Ogni stima può essere pensata come il valore vero più un errore. Se gli errori sono indipendenti e distribuiti su entrambi i lati della verità — alcuni macellai sovrastimano, alcuni sottostimano — allora sommare le stime cancella gran parte dell'errore mentre il segnale condiviso si accumula. Più sono diversi e indipendenti gli errori, più aggressivamente si annullano.

Scott Page successivamente formalizzò l'intuizione come il teorema della previsione della diversità (Page, The Difference, 2007): per errore quadrato, l'errore collettivo è uguale all'errore individuale medio meno la diversità delle previsioni. È un'identità matematica, non un'affermazione empirica — il che la rende così utile. Una folla supera il suo membro medio esattamente quanto i suoi membri non sono d'accordo tra loro. La diversità non è un valore aggiunto; è, aritmeticamente, il vantaggio intero. Una folla di cloni non guadagna nulla dall'aggregazione.

La stessa logica era stata scoperta, per domande sì/no piuttosto che quantità, più di un secolo prima di Galton. Il Marchese de Condorcet dimostrò nel 1785 che se ogni elettore è anche solo leggermente più propenso della sorte a essere giusto, e gli elettori giudicano in modo indipendente, la probabilità che la maggioranza sia giusta cresce verso la certezza man mano che il gruppo cresce. Raccontiamo quella storia — e i modi drammatici in cui il teorema fallisce quando le sue assunzioni si rompono — nel nostro pezzo complementare sul Teorema della Giuria di Condorcet.

Da nota a quadro: le quattro condizioni di Surowiecki

Per la maggior parte del ventesimo secolo, l'ox di Galton era una curiosità statistica. Questo cambiò nel 2004, quando James Surowiecki aprì La Saggezza delle Masse con la storia di Plymouth e assemblò un secolo di prove — dai mercati azionari ai motori di ricerca — che le folle possono essere sistematicamente intelligenti. Crucialmente, Surowiecki non affermò che le folle sono sempre sagge. Identificò quattro condizioni che la fiera di Galton soddisfaceva per caso, e che qualsiasi folla saggia ha bisogno di avere intenzionalmente:

Rimuovi una qualsiasi condizione e la folla non perde semplicemente il suo vantaggio — può diventare attivamente peggiore dei suoi membri, perché l'aggregazione amplifica quindi un pregiudizio condiviso invece di annullare errori indipendenti. Per la scienza completa delle quattro condizioni e dei loro modi di fallimento, vedi la nostra guida alla saggezza delle masse.

Il fine print: cosa ha fatto giusto la fiera che le riunioni fanno male

Ecco la domanda scomoda per chiunque gestisca riunioni: quante decisioni di gruppo nella tua organizzazione sono strutturate come la fiera di Galton — e quante sono strutturate come l'esatto opposto?

Alla fiera, ogni giudizio era impegnato privatamente, per iscritto, prima che chiunque vedesse il numero di qualcun altro. In una riunione tipica, la persona più anziana o più sicura di sé parla per prima, e ogni successiva “stima” è ancorata sulla loro. Ciò che sembra trenta persone che concordano è spesso la stima di una persona con ventinove echi. Gli economisti chiamano il meccanismo una cascata informativa: una volta che alcune opinioni iniziali sono visibili, diventa razionale per ogni persona successiva scontare le proprie informazioni e copiare — e l'indipendenza della folla, la condizione portante dell'intero fenomeno, crolla silenziosamente (Bikhchandani, Hirshleifer & Welch, 1992). Copriamo le meccaniche nella nostra guida a cascate informative.

Questo è anche il motivo per cui le repliche dell'esperimento di Galton a volte deludono: esegui il gioco di stima del bue con una media in corso visibile, o lascia che i partecipanti urlino le loro stime, e l'accuratezza degrada. La magia non era mai nella folla — era nel protocollo. Sei pence, una scheda privata e una scatola di votazione chiusa si rivelano essere una migliore architettura decisionale rispetto alla maggior parte delle sale conferenze.

Discendenti moderni dell'ox

Il principio di aggregazione documentato da Galton ora attraversa una notevole gamma di sistemi moderni:

Ogni discendente aggrega qualcosa di diverso — i mercati aggregano credenze in prezzi, gli ensemble aggregano output di modelli in previsioni, i sistemi di voto aggregano preferenze in risultati — e ciascuno eredita la stessa dipendenza: l'aggregato è buono solo quanto l'indipendenza e la diversità di ciò che lo alimenta. Questa somiglianza familiare è il filo conduttore di tutta la tradizione di ricerca, dal teorema del 1785 di Condorcet alla ricerca sull'intelligenza collettiva del MIT Center for Collective Intelligence oggi — un arco di 240 anni che tracciamo in Intelligenza Collettiva: 240 Anni di Ricerca.

Cosa significa l'ox di Galton per il tuo team

La traduzione pratica dell'esperimento del 1906 è una breve lista di controllo, e si applica a un punto specifico nella vita di una decisione — il momento in cui raccogli e combini i giudizi, prima che il gruppo inizi a deliberare:

• Raccogli le stime in modo indipendente, per iscritto, prima. Prima della riunione, prima che la persona senior parli. Nel momento in cui i giudizi diventano visibili, l'indipendenza — e il vantaggio statistico della folla — inizia a decadere.
• Recluta attivamente prospettive diverse. Il teorema della previsione della diversità è chiaro: il tuo vantaggio collettivo rispetto al tuo membro medio è la tua diversità. Un pannello di persone con lo stesso background e le stesse informazioni è un'ipotesi con molti nomi.
• Scegli il tuo meccanismo di aggregazione deliberatamente. Mediana per folle disordinate, media per quelle ben comportate, valutazione strutturata quando i giudizi hanno più dimensioni. “Ne abbiamo discusso e raggiunto un consenso” non è un meccanismo di aggregazione — è di solito un meccanismo di ancoraggio.
• Conserva le ragioni, non solo i numeri. Le carte di Galton gli dicevano cosa pensava la folla, mai perché. Per un bue, va bene. Per una decisione strategica, il ragionamento è la parte di cui avrai bisogno quando le circostanze cambiano.

Quest'ultimo punto è dove il moderno processo decisionale collaborativo va oltre Galton. Argumentree è costruito per dare a un team il protocollo della fiera con il ragionamento allegato: i partecipanti contribuiscono con argomenti indipendentemente e asincronicamente — prima che la stanza converga — in un albero pro/contro strutturato; il gruppo poi valuta ogni argomento su dimensioni esplicite (utilità, chiarezza, accuratezza, completezza), e le valutazioni si aggregano in punteggi di consenso come 787 schede si aggregano in 1.207 libbre. Le opzioni di contributo anonimo proteggono l'indipendenza dalla gerarchia, e l'intera traccia di audit preserva ciò che il concorso dell'ox non poteva mai: il perché dietro il numero.

Galton andò a una fiera per dimostrare che il giudizio ordinario non poteva essere fidato. Se ne andò con la prova più forte che chiunque avesse mai prodotto che — aggregato correttamente — può. Lo strumento è cambiato da una scatola di votazione a un software. La lezione non è cambiata.