Condividere opinioni non ha cambiato nulla: cosa ha scoperto uno studio scientifico sulla deliberazione strutturata

Cinque estranei hanno ricevuto una domanda divisiva. Il Servizio Sanitario Nazionale dovrebbe essere privatizzato? L'età per votare dovrebbe scendere a 16 anni? Ognuno di loro ha scritto la propria posizione onesta in privato, con le proprie parole, in modo ragionevole. Poi hanno letto ciò che gli altri quattro avevano scritto. Le loro posizioni dichiarate sono state misurate prima e dopo.

Niente si è mosso. Non leggermente, non nella direzione sbagliata, non per un importo troppo piccolo per avere importanza. Il cambiamento misurato nell'accordo del gruppo è stato meno 0.005, con un valore p di 0.64, che è vicino a nulla in modo letterale come un esperimento può riportare.

Questa era la condizione di controllo in uno studio pubblicato su Science il 18 ottobre 2024. Gruppi comparabili, a cui sono state poste le stesse domande e dato lo stesso tempo, le cui opinioni scritte sono state invece sintetizzate in una dichiarazione di gruppo candidato, classificate, criticate e rielaborate, sono convergenti di circa otto punti percentuali. La proporzione di gruppi che ha raggiunto l'unanimità è aumentata dal 22,8% al 38,6%. Lo studio è solitamente riportato come una storia su un'IA che batte i mediatori umani. Il risultato molto più utile è quello che non ha ricevuto titoli: scambiare opinioni non produce un terreno comune. Strutturarle sì.

Cosa ha effettivamente fatto lo studio

Il documento è L'IA può aiutare gli esseri umani a trovare un terreno comune nella deliberazione democratica di Michael Henry Tessler, Michiel Bakker e colleghi di Google DeepMind, Oxford e Harvard. Riporta sette esperimenti condotti tra gennaio e agosto 2023 con un totale di 5.734 partecipanti nel Regno Unito. Le dimensioni del campione, i criteri di esclusione e le analisi principali sono stati preregistrati prima della raccolta dei dati, e il codice è stato reso pubblico. Questa combinazione di preregistrazione, una condizione di controllo genuina, pubblicazione in Science e codice aperto è abbastanza rara in questo campo da meritare di essere dichiarata chiaramente.

I partecipanti hanno lavorato in gruppi di circa cinque e hanno discusso tre domande in circa un'ora. Per ogni domanda la procedura era fissa. Ognuno ha scritto prima la propria posizione in privato, tra 10 e 200 parole, con una media di circa 65. Quelle opinioni scritte sono state inviate a un sistema che gli autori hanno chiamato Habermas Machine, in onore del filosofo che sosteneva che l'accordo emerge quando le persone ragionano insieme in condizioni eque. Il sistema ha redatto diverse dichiarazioni candidate sul terreno comune del gruppo. I partecipanti le hanno classificate, e il vincitore è stato scelto tramite un'elezione a scelta classificata in cui il voto di ogni partecipante contava in modo uguale. La dichiarazione vincente è tornata al gruppo, ogni persona ha scritto privatamente una critica e il sistema ha prodotto una bozza rivista da quelle critiche. I partecipanti hanno classificato di nuovo e infine hanno scelto tra la versione originale e quella rivista.

Due dettagli meritano di essere sottolineati. Ai partecipanti è stato detto che le affermazioni erano generate da un computer, quindi non c'era inganno coinvolto. E le domande stesse erano deliberatamente controverse, riguardando l'immigrazione, l'età pensionabile, il numero di detenuti, la Brexit, gli obiettivi climatici e il salario minimo. Questi non erano argomenti di riscaldamento scelti per facilitare l'accordo.

Le quattro cose che la procedura ha fatto

Rimuovi il machine learning e la procedura contiene quattro passaggi. Ognuno di essi è disponibile a qualsiasi gruppo con un documento condiviso e un po' di disciplina.

Perché la condizione di controllo è il risultato importante

Un'obiezione ragionevole a uno studio come questo è che le persone convergono semplicemente perché finalmente hanno sentito cosa pensavano gli altri. Gli autori lo hanno previsto e hanno eseguito il test. Un ulteriore gruppo di 372 partecipanti in 75 gruppi ha svolto l'identico esercizio, tranne per il fatto che invece di valutare una dichiarazione di gruppo redatta, hanno valutato le opinioni individuali degli altri. Piena esposizione a ogni punto di vista nel gruppo, senza sintesi.

L'accordo di gruppo in quella condizione non è cambiato (b = -0.005, t(230) = -0.46, P = 0.64), e la differenza tra le due condizioni era essa stessa statisticamente significativa (P = 0.0058). Questo è un risultato controllato e preregistrato, pubblicato in Science, che mostra che circolare le opinioni di tutti non porta un gruppo verso l'accordo. È la cosa più vicina che la letteratura ha a un test diretto del thread dei commenti, e il thread dei commenti ha fallito.

L'altra metà del meccanismo è stata testata con la stessa attenzione. Le dichiarazioni riviste potrebbero essere preferite semplicemente perché le persone le hanno viste per seconde, dopo aver investito un po' più di sforzo. Così gli autori hanno coinvolto un ulteriore gruppo di 245 partecipanti che hanno scritto critiche e sono stati poi mostrati delle revisioni che incorporavano o meno effettivamente tali critiche. Le versioni realmente informate dalle critiche hanno comunque prevalso (P = 0.0039). Il turno di obiezioni svolge un lavoro reale.

La struttura non ha appiattito la minoranza. L'ha amplificata.

La paura ovvia riguardo a qualsiasi processo di ricerca del consenso è che diventi una regola della maggioranza con migliori maniere. Gli autori hanno misurato questo piuttosto che affermarlo, incorporando ogni opinione e ogni dichiarazione in uno spazio vettoriale e localizzandole lungo l'asse che va dall'accordo al disaccordo su ciascuna domanda.

In circa il 77% dei casi il gruppo è partito genuinamente diviso. Le dichiarazioni iniziali del gruppo pesavano le opinioni minoritarie a 0,29, contro una vera media della quota minoritaria di 0,29, che è una rappresentanza proporzionale quasi esatta. Le dichiarazioni revisionate, scritte dopo il turno di critica, le pesavano a 0,36. La minoranza era sovra-rappresentata rispetto alla sua dimensione, e il gruppo preferiva comunque quelle dichiarazioni revisionate. Il novantasei percento delle dichiarazioni del gruppo rientrava nell'intervallo effettivamente coperto dalle opinioni del gruppo stesso, quindi il sistema non stava inventando posizioni che nessuno sosteneva.

Il supporto si è comunque spostato verso posizioni di maggioranza nel complesso, e gli autori lo affermano. Le maggioranze sono cresciute dal 29% al 32% dei turni e le minoranze sono cresciute dal 20% al 26%. Ma quando hanno testato se le persone si spostassero verso la maggioranza semplicemente perché erano state esposte a dichiarazioni inclini alla maggioranza, non hanno trovato alcuna relazione (P = 0.37). Qualunque cosa muovesse le persone era il contenuto dell'argomento, non l'esposizione ripetuta ad esso.

Ha battuto i mediatori umani, e questo conta di meno.

Il risultato principale è stato un confronto diretto tra le persone. In 75 gruppi, un membro è stato assegnato come mediatore, addestrato a scrivere dichiarazioni di gruppo e offerto un bonus fino al 50% del proprio stipendio base per ogni dichiarazione preferita dal gruppo. In quei turni, le dichiarazioni della macchina sono state preferite 56% delle volte rispetto al 44% degli esseri umani, e sono state valutate più alte sia in termini di approvazione che di qualità. Un pannello separato di 155 valutatori indipendenti le ha giudicate più chiare, più informative, meno illogiche e meno inclini a nascondere l'opinione dell'autore.

Questo è il risultato che ha viaggiato, ed è quello su cui fare meno affidamento. Gli autori stessi sono cauti qui: chiamano la vera opportunità non la mediazione sovrumana ma la deliberazione che è efficiente in termini di tempo, equa e scalabile. Il sistema ha prodotto dichiarazioni in secondi dove gli esseri umani impiegavano minuti. E in un'analisi esplorativa, gli autori hanno trovato una convergenza simile da parte dei mediatori umani nei turni in cui gli esseri umani hanno vinto, il che suggerisce che l'effetto potrebbe derivare dalla struttura mediata come processo piuttosto che da qualcosa di specifico per l'IA. Se questa interpretazione è corretta, rende lo studio più utile piuttosto che meno, perché il beneficio è quindi disponibile per qualsiasi gruppo disposto ad adottare la procedura, con o senza un modello nel loop.

Ha replicato con un campione rappresentativo e non ha funzionato su tutto.

I principali gruppi sono stati reclutati per convenienza attraverso una piattaforma di crowdsourcing, il che è comprensibile essere scettici. Così gli autori hanno collaborato con la Sortition Foundation, che gestisce vere assemblee di cittadini, per reclutare 200 partecipanti stratificati per rappresentare il Regno Unito in base a età, identità di genere, etnia, stato socioeconomico e regione. Hanno deliberato in tre sessioni settimanali di un'ora ad aprile e maggio 2023, su nove domande. I livelli di approvazione e l'aumento dell'accordo di gruppo sono stati entrambi replicati.

La parte interessante è dove non ha funzionato. Su nove domande, le posizioni si sono concentrate su cinque. Il supporto per ridurre la popolazione carceraria è aumentato dal 60% al 75%, e per facilitare l'ingresso per asilo dal 39% al 51%. Su Brexit non c'è stato alcun movimento. Sull'assistenza all'infanzia universale e gratuita, l'opinione si è mossa in direzione opposta, con l'opposizione che è aumentata dal 33% al 41%. Un processo che producesse accordo su ogni domanda indipendentemente dall'argomento sarebbe prova di qualcosa che non va. Questo ha lasciato posizioni consolidate, il che è più o meno ciò che dovrebbe fare una deliberazione onesta.

I limiti, espressi chiaramente

Qualsiasi affermazione basata su un singolo studio dovrebbe portare le avvertenze di quello studio, e questo ne ha di reali. Gli autori elencano la maggior parte di esse.

Dove i critici hanno ragione

Il documento ha attirato serie critiche da parte degli studiosi della democrazia deliberativa, e alcune di esse sono fondate. La più acuta proviene da Alvaro Oleart e Nicolás Palomo Hernández nel Journal of Deliberative Democracy, che sottolineano che in questa procedura i partecipanti non discutono mai realmente tra di loro. Scrivono in privato, poi classificano i risultati della macchina. Non c'è confutazione, nessuno scambio di motivazioni tra le persone, nessun momento in cui l'argomento di una persona cambia direttamente la mente di un'altra. Lo chiamano deliberazione senza cittadini, e notano l'ironia del nome: Habermas considerava l'accordo come una precondizione del discorso genuino, non come l'obiettivo da ottimizzare.

Beth Simone Noveck solleva un'obiezione diversa: il consenso non è la parte difficile della governance. I gruppi falliscono più spesso nell'accordarsi su quale sia il problema piuttosto che su cosa fare al riguardo, e una macchina che è eccellente nel produrre accordo su una domanda ben formulata non aiuta con una mal formulata. I ricercatori del Knight First Amendment Institute aggiungono il problema della supervisione, che è che una volta che viene fatta una sintesi da mille opinioni, nessun essere umano può verificare che essa le rappresenti fedelmente.

Riteniamo che la prima critica sia la più importante e siamo d'accordo con essa. Ottimizzare un processo verso un accordo non è la stessa cosa che aiutare le persone a ragionare insieme, e un sistema che produce consenso evitando il dibattito umano ha rimosso ciò che rendeva preziosa la deliberazione in primo luogo. La conclusione da portare avanti non è lasciare che un modello scriva la posizione del tuo gruppo. È più ristretta e più duratura: le posizioni devono essere esplicite, la struttura batte la circolazione e un giro formale di obiezioni cambia il risultato. Questi principi valgono sia che la sintesi sia fatta da un modello, un facilitatore o dal gruppo stesso.

Cosa fare con questo lunedì

Nessuno dei quattro meccanismi richiede un'IA, e tutti e quattro sono cose che la maggior parte delle riunioni sbaglia. Raccogliere posizioni scritte prima della discussione, non durante. I partecipanti allo studio hanno scritto circa 65 parole ciascuno con le loro motivazioni allegate, che corrispondono a circa cinque minuti di lavoro ed è il cambiamento più economico disponibile. Sintetizzare piuttosto che circolare. Inoltrare i commenti di tutti è precisamente la condizione che non ha prodotto alcun movimento; qualcuno deve redigere ciò che il gruppo ha effettivamente in comune e metterlo in discussione per correzione. Decidere tramite una classifica a peso uguale piuttosto che in base a chi sta ancora parlando alla fine. E programmare il turno di obiezione, in modo che dissentire sia un compito che tutti svolgono piuttosto che un rischio sociale che qualcuno deve affrontare.

Se gestisci discussioni online, il risultato del controllo merita particolare attenzione, perché un forum di discussione o un thread di commenti è la condizione di controllo. Circola opinioni e non sintetizza nulla. Questo è il caso strutturale presentato in alternative ai forum di discussione, e ora ha un esperimento preregistrato alle spalle. La struttura in quattro fasi in come strutturare un dibattito impone gli stessi passaggi manualmente, e la distinzione tra concordare e semplicemente non obiettare è trattata in consenso vs consenso.

Cosa dice e cosa non dice questo su Argumentree

Dobbiamo essere precisi su questo, perché la tentazione di esagerare è ovvia. La Macchina di Habermas non è ciò che abbiamo costruito. Genera dichiarazioni di consenso candidate utilizzando un modello di ricompensa personalizzato che prevede come ogni partecipante classificherà ogni bozza, e seleziona tra di esse con un'elezione simulata. Argumentree non fa questo, e questo studio non testa il nostro prodotto.

Ciò che viene testato è il meccanismo su cui è costruito il nostro prodotto. Le posizioni vengono scritte esplicitamente, con la loro motivazione, prima che la discussione converga. Gli argomenti sono strutturati in un artefatto condiviso piuttosto che circolati come un insieme di post. L'obiezione è un'azione di prima classe con un luogo dove attaccarsi, piuttosto che un'interruzione. Le posizioni minoritarie rimangono visibili e attribuibili invece di dissolversi nella visione della maggioranza. Queste sono le quattro cose che lo studio ha isolato, e sono le quattro cose che una mappa di argomenti strutturata fa per impostazione predefinita. La differenza è che la nostra sintesi rimane ispezionabile: ogni affermazione mantiene il suo autore, le sue obiezioni e il suo supporto, quindi nessuno deve fidarsi di un riassunto che non può controllare, che è esattamente il problema di supervisione sollevato dai critici.

Il risultato da ricordare

Rimuovi il modello, l'assemblea dei cittadini e l'argomento se un'IA debba essere coinvolta in un processo politico, e un numero sopravvive a tutto ciò. Cinque persone, accesso completo al ragionamento scritto degli altri su una questione che a loro stava a cuore, misurato prima e dopo: P = 0.64. Il modo più comune in cui i gruppi cercano di raggiungere un accordo, che consiste nel mettere tutte le opinioni davanti a tutti e lasciare che le persone leggano, è stato ora testato contro un controllo e non ha prodotto alcun effetto misurabile.

La condizione che ha funzionato non ha aggiunto nuove informazioni. Ogni partecipante aveva già ogni opinione. Ciò che è cambiato è che le opinioni sono state date una forma, classificate con lo stesso peso e sottoposte a un giro formale di obiezioni. Questo è un risultato procedurale piuttosto che tecnologico, ed è disponibile per chiunque sia disposto a gestire le proprie discussioni in modo diverso.