Compartilhar Opiniões Não Mudou Nada: O Que um Estudo Científico Descobriu Sobre Deliberação Estruturada

Cinco estranhos receberam uma pergunta divisiva. O Serviço Nacional de Saúde deve ser privatizado? A idade mínima para votar deve cair para 16 anos? Cada um deles escreveu sua posição honesta em particular, com suas próprias palavras, em um comprimento razoável. Em seguida, eles leram o que os outros quatro haviam escrito. Suas posições declaradas foram medidas antes e depois.

Nada se moveu. Nem um pouco, nem na direção errada, nem por uma quantidade tão pequena que não importasse. A mudança medida no acordo do grupo foi de menos 0,005, com um valor de p de 0,64, que é tão próximo de literalmente nada quanto um experimento pode relatar.

Esta foi a condição de controle em um estudo publicado na Science em 18 de outubro de 2024. Grupos comparáveis, que receberam as mesmas perguntas e a mesma quantidade de tempo, cujas opiniões escritas foram sintetizadas em uma declaração de grupo candidato, classificadas, criticadas e reescritas, convergiram em cerca de oito pontos percentuais. A proporção de grupos que alcançaram unanimidade subiu de 22,8% para 38,6%. O estudo é geralmente relatado como uma história sobre uma IA superando mediadores humanos. O resultado muito mais útil é aquele que não ganhou manchetes: trocar opiniões não produz um terreno comum. Estruturá-las produz.

O que o estudo realmente fez

O artigo é A IA pode ajudar os humanos a encontrar um terreno comum na deliberação democrática de Michael Henry Tessler, Michiel Bakker e colegas do Google DeepMind, Oxford e Harvard. Ele relata sete experimentos realizados entre janeiro e agosto de 2023 com um total de 5.734 participantes do Reino Unido. Os tamanhos das amostras, critérios de exclusão e análises principais foram pré-registrados antes da coleta de dados, e o código foi liberado publicamente. Essa combinação de pré-registro, uma condição de controle genuína, publicação na Science e código aberto é rara o suficiente nesta área para merecer ser afirmada claramente.

Os participantes trabalharam em grupos de cerca de cinco e discutiram três questões em aproximadamente uma hora. Para cada questão, o procedimento era fixo. Todos escreveram sua própria posição em privado primeiro, entre 10 e 200 palavras, com uma média de cerca de 65. Essas opiniões escritas foram passadas para um sistema que os autores nomearam de Máquina de Habermas, em homenagem ao filósofo que argumentou que o acordo surge quando as pessoas raciocinam juntas em condições justas. O sistema elaborou várias declarações candidatas ao consenso do grupo. Os participantes as classificaram, e a vencedora foi escolhida por uma eleição de escolha classificada na qual o voto de cada participante contava igualmente. A declaração vencedora voltou ao grupo, cada pessoa escreveu uma crítica a ela em privado, e o sistema produziu um rascunho revisado a partir dessas críticas. Os participantes classificaram novamente e, finalmente, escolheram entre a versão original e a revisada.

Dois detalhes merecem ser destacados. Os participantes foram informados de que as declarações eram geradas por máquina, portanto, não houve engano envolvido. E as próprias perguntas eram deliberadamente polêmicas, abordando imigração, a idade de aposentadoria, o número de prisioneiros, o Brexit, as metas climáticas e o salário mínimo. Esses não eram tópicos de aquecimento escolhidos para facilitar o acordo.

As quatro coisas que o procedimento fez

Remova o aprendizado de máquina e o procedimento contém quatro etapas. Cada uma delas está disponível para qualquer grupo com um documento compartilhado e alguma disciplina.

Por que a condição de controle é o resultado importante

Uma objeção razoável a qualquer estudo como este é que as pessoas convergem simplesmente porque finalmente ouviram o que todos os outros pensavam. Os autores anteciparam isso e realizaram o teste. Uma coorte adicional de 372 participantes em 75 grupos fez o exercício idêntico, exceto que, em vez de avaliar uma declaração de grupo elaborada, eles avaliaram as opiniões individuais uns dos outros. Exposição total a cada ponto de vista no grupo, sem síntese.

O acordo do grupo nessa condição não mudou (b = -0,005, t(230) = -0,46, P = 0,64), e a diferença entre as duas condições foi estatisticamente significativa (P = 0,0058). Este é um resultado controlado e pré-registrado, publicado na Science, mostrando que circular as opiniões de todos não leva um grupo a um acordo. É a coisa mais próxima que a literatura tem de um teste direto do thread de comentários, e o thread de comentários falhou nesse teste.

A outra metade do mecanismo foi testada com a mesma atenção. Declarações revisadas podem ser preferidas simplesmente porque as pessoas as viram em segundo lugar, após investir um pouco mais de esforço. Assim, os autores realizaram uma nova coorte de 245 participantes que escreveram críticas e foram então mostrados rascunhos que incorporavam ou não essas críticas. As versões genuinamente informadas pelas críticas ainda venceram (P = 0.0039). A rodada de objeções realmente faz a diferença.

A estrutura não achatou a minoria. Ela a amplificou.

O medo óbvio sobre qualquer processo de busca de consenso é que ele se torne uma regra da maioria com melhores maneiras. Os autores mediram isso em vez de afirmar, incorporando cada opinião e cada declaração em um espaço vetorial e localizando-as ao longo do eixo que vai de concordância a discordância em cada questão.

Em aproximadamente 77% das rodadas, o grupo começou genuinamente dividido. As declarações iniciais do grupo ponderaram as opiniões da minoria em 0,29, contra uma verdadeira média de participação da minoria de 0,29, que é uma representação proporcional quase exata. As declarações revisadas, escritas após a rodada de crítica, as ponderaram em 0,36. A minoria foi super-representada em relação ao seu tamanho, e o grupo preferiu essas declarações revisadas de qualquer maneira. Noventa e seis por cento das declarações do grupo caíram dentro da faixa realmente abrangida pelas próprias opiniões do grupo, então o sistema não estava inventando posições que ninguém sustentava.

O apoio realmente se deslocou em direção a posições majoritárias no geral, e os autores afirmam isso. As maiorias cresceram de 29% a 32% das rodadas e as minorias cresceram de 20% a 26%. Mas quando testaram se as pessoas se moviam em direção à maioria apenas porque haviam sido expostas a declarações tendenciosas para a maioria, não encontraram nenhuma relação (P = 0,37). O que movia as pessoas era o conteúdo do argumento, não a exposição repetida a ele.

Ele superou os mediadores humanos, e isso importa menos.

O resultado principal foi um confronto direto entre pessoas. Em 75 grupos, um membro foi designado para ser o mediador, treinado para escrever declarações do grupo e oferecido um bônus de até 50% de seu salário base para cada declaração que o grupo preferisse. Ao longo dessas rodadas, as declarações da máquina foram preferidas 56% do tempo em comparação com 44% dos humanos, e foram avaliadas como superiores tanto em endosse quanto em qualidade. Um painel separado de 155 avaliadores independentes as julgou mais claras, mais informativas, menos ilógicas e menos propensas a incluir a própria opinião do escritor.

Esta é a descoberta que viajou, e é aquela em que se deve confiar menos. Os próprios autores são cautelosos aqui: eles chamam a verdadeira oportunidade não de mediação sobre-humana, mas de deliberação que é eficiente em termos de tempo, justa e escalável. O sistema produziu declarações em segundos, onde os humanos levaram minutos. E em uma análise exploratória, os autores encontraram convergência semelhante entre mediadores humanos nas rodadas em que os humanos venceram, o que sugere que o efeito pode vir da estrutura mediada como um processo, em vez de algo específico da IA. Se essa interpretação estiver correta, torna o estudo mais útil, em vez de menos, porque o benefício está então disponível para qualquer grupo disposto a adotar o procedimento, com ou sem um modelo no loop.

Ele foi replicado com uma amostra representativa, e não funcionou em tudo.

As principais coortes foram recrutadas por conveniência através de uma plataforma de crowdsourcing, o que é algo justo para se ser cético. Assim, os autores se associaram à Sortition Foundation, que realiza assembleias reais de cidadãos, para recrutar 200 participantes estratificados para representar o Reino Unido em idade, identidade de gênero, etnia, status socioeconômico e região. Eles deliberaram em três sessões semanais de uma hora em abril e maio de 2023, sobre nove questões. Os níveis de endosse e o aumento do acordo do grupo foram ambos replicados.

A parte interessante é onde não funcionou. Nas nove perguntas, as posições convergiram em cinco. O apoio para reduzir a população carcerária subiu de 60% para 75%, e para facilitar a entrada de asilo de 39% para 51%. Em Brexit não houve movimento algum. Sobre a creche universal gratuita, a opinião se moveu na direção oposta, com a oposição subindo de 33% para 41%. Um processo que produzisse acordo em todas as questões, independentemente do assunto, seria evidência de que algo estava errado. Este deixou posições entrincheiradas, que é mais ou menos o que uma deliberação honesta deveria fazer.

Os limites, declarados de forma clara

Qualquer afirmação baseada em um único estudo deve levar em conta as ressalvas desse próprio estudo, e este possui ressalvas reais. Os autores listam a maioria delas.

Onde os críticos têm razão

O artigo atraiu críticas sérias de estudiosos da democracia deliberativa, e algumas delas são pertinentes. A mais contundente vem de Alvaro Oleart e Nicolás Palomo Hernández no Journal of Deliberative Democracy, que apontam que neste procedimento os participantes nunca realmente discutem entre si. Eles escrevem em privado, depois classificam a saída da máquina. Não há refutação, não há troca de razões entre as pessoas, não há um momento em que o argumento de uma pessoa muda diretamente a opinião de outra. Eles chamam isso de deliberação sem cidadãos, e notam a ironia do nome: Habermas tratava o acordo como uma pré-condição do discurso genuíno, não como o alvo a ser otimizado.

Beth Simone Noveck levanta uma objeção diferente: o consenso não é a parte difícil da governança. Os grupos frequentemente falham em concordar sobre qual é o problema do que sobre o que fazer a respeito. E uma máquina que é excelente em produzir acordos sobre uma questão bem formulada não ajuda com uma mal formulada. Pesquisadores do Knight First Amendment Institute acrescentam o problema da supervisão, que é que, uma vez que uma síntese é feita a partir de mil opiniões, nenhum humano pode verificar se ela as representa fielmente.

Acreditamos que a primeira crítica é a mais importante, e concordamos com ela. Otimizar um processo em direção ao consenso não é o mesmo que ajudar as pessoas a raciocinar juntas, e um sistema que produz consenso contornando o argumento humano remove a coisa que tornava a deliberação valiosa em primeiro lugar. A conclusão a ser levada adiante não é deixe um modelo escrever a posição do seu grupo. É mais restrita e mais duradoura: as posições devem ser explícitas, a estrutura supera a circulação, e uma rodada formal de objeções muda o resultado. Isso se aplica independentemente de a síntese ser feita por um modelo, um facilitador ou o próprio grupo.

O que fazer com isso na segunda-feira

Nenhum dos quatro mecanismos requer uma IA, e todos os quatro são coisas que a maioria das reuniões erra. Coletar posições escritas antes da discussão, não durante. Os participantes do estudo escreveram cerca de 65 palavras cada um com seu raciocínio anexado, o que representa cerca de cinco minutos de trabalho e é a única mudança mais barata disponível. Sintetizar em vez de circular. Encaminhar os comentários de todos é precisamente a condição que não produziu movimento algum; alguém precisa redigir o que o grupo realmente tem em comum e colocá-lo para correção. Decidir por uma classificação de peso igual em vez de quem ainda está falando no final. E agendar a rodada de objeções, para que discordar seja uma tarefa que todos realizam em vez de um risco social que alguém tem que assumir.

Se você conduz discussões online, o resultado do controle merece atenção especial, porque um fórum de discussão ou um tópico de comentários é a condição de controle. Ele circula opiniões e não sintetiza nada. Esse é o caso estrutural apresentado em alternativas de fóruns de discussão, e agora há um experimento pré-registrado por trás disso. A estrutura de quatro fases em como estruturar um debate impõe os mesmos movimentos manualmente, e a distinção entre concordar e simplesmente não objetar é abordada em consentimento vs consenso.

O que isso diz e não diz sobre o Argumentree

Devemos ser precisos sobre isso, porque a tentação de exagerar é óbvia. A Máquina de Habermas não é o que construímos. Ela gera declarações de consenso candidatas usando um modelo de recompensa personalizado que prevê como cada participante classificará cada rascunho, e seleciona entre elas com uma eleição simulada. Argumentree não faz isso, e este estudo não testa nosso produto.

O que ele testa é o mecanismo sobre o qual nosso produto é construído. As posições são registradas explicitamente, com seu raciocínio, antes que a discussão converja. Os argumentos são estruturados em um artefato compartilhado em vez de circularem como uma pilha de postagens. A objeção é uma ação de primeira classe com um lugar para se anexar, em vez de ser uma interrupção. As posições minoritárias permanecem visíveis e atribuíveis em vez de se dissolverem na visão da maioria. Essas são as quatro coisas que o estudo isolou, e são as quatro coisas que um mapa de argumento estruturado faz por padrão. A diferença é que nossa síntese permanece passível de inspeção: cada afirmação mantém seu autor, suas objeções e seu suporte, para que ninguém precise confiar em um resumo que não pode verificar, que é exatamente o problema de supervisão que os críticos levantam.

O resultado que vale a pena lembrar

Remova o modelo, a assembleia de cidadãos e o argumento sobre se uma IA deve estar em qualquer lugar perto de um processo político, e um número sobrevive a tudo isso. Cinco pessoas, com acesso total ao raciocínio escrito umas das outras sobre uma questão que lhes importava, medido antes e depois: P = 0,64. A maneira mais comum que os grupos tentam alcançar um acordo, que é colocar todas as opiniões diante de todos e deixar as pessoas lerem, agora foi testada contra um controle e não produziu efeito mensurável.

A condição que funcionou não adicionou novas informações. Cada participante já tinha todas as opiniões. O que mudou foi que as opiniões ganharam uma forma, foram classificadas com o mesmo peso e submetidas a uma rodada formal de objeção. Isso é uma constatação processual, em vez de uma tecnológica, e está disponível para qualquer um que esteja disposto a conduzir suas discussões de maneira diferente.