Compartir opiniones no cambió nada: lo que un estudio científico encontró sobre la deliberación estructurada.

Cinco extraños recibieron una pregunta divisiva. ¿Debería privatizarse el Servicio Nacional de Salud? ¿Debería bajar la edad de votación a 16 años? Cada uno de ellos escribió su posición honesta en privado, con sus propias palabras, en una longitud razonable. Luego leyeron lo que los otros cuatro habían escrito. Sus posiciones declaradas fueron medidas antes y después.

Nada se movió. Ni un poco, ni en la dirección equivocada, ni por una cantidad demasiado pequeña para importar. El cambio medido en el acuerdo del grupo fue menos 0.005, con un valor p de 0.64, que es tan cercano a literalmente nada como un experimento puede reportar.

Esta fue la condición de control en un estudio publicado en Science el 18 de octubre de 2024. Grupos comparables, que recibieron las mismas preguntas y la misma cantidad de tiempo, cuyas opiniones escritas fueron en su lugar sintetizadas en una declaración grupal de candidatos, clasificadas, criticadas y redactadas nuevamente, convergieron en aproximadamente ocho puntos porcentuales. La proporción de grupos que alcanzaron unanimidad aumentó del 22.8% al 38.6%. El estudio suele ser reportado como una historia sobre una IA superando a mediadores humanos. El resultado mucho más útil es el que no tuvo titulares: intercambiar opiniones no produce un terreno común. Estructurarlas sí lo hace.

Lo que realmente hizo el estudio

El artículo es La IA puede ayudar a los humanos a encontrar un terreno común en la deliberación democrática de Michael Henry Tessler, Michiel Bakker y colegas de Google DeepMind, Oxford y Harvard. Informa sobre siete experimentos realizados entre enero y agosto de 2023 con un total de 5,734 participantes del Reino Unido. Los tamaños de muestra, los criterios de exclusión y los análisis principales fueron preinscritos antes de la recolección de datos, y el código se publicó públicamente. Esa combinación de preregistro, una condición de control genuina, publicación en Science y código abierto es lo suficientemente rara en esta área como para merecer ser mencionada claramente.

Los participantes trabajaron en grupos de aproximadamente cinco y discutieron tres preguntas en aproximadamente una hora. Para cada pregunta, el procedimiento era fijo. Todos escribieron su propia posición en privado primero, entre 10 y 200 palabras, promediando alrededor de 65. Esas opiniones escritas se pasaron a un sistema que los autores llamaron la Máquina de Habermas, en honor al filósofo que argumentó que el acuerdo surge cuando las personas razonan juntas en condiciones justas. El sistema redactó varias declaraciones candidatas del terreno común del grupo. Los participantes las clasificaron, y el ganador fue elegido mediante una elección de opción clasificada en la que el voto de cada participante contaba por igual. La declaración ganadora volvió al grupo, cada persona escribió en privado una crítica de ella, y el sistema produjo un borrador revisado a partir de esas críticas. Los participantes clasificaron de nuevo y finalmente eligieron entre la versión original y la revisada.

Dos detalles son dignos de destacar. Se les dijo a los participantes que las declaraciones eran generadas por una máquina, por lo que no hubo engaño involucrado. Y las preguntas en sí mismas eran deliberadamente controvertidas, abarcando la inmigración, la edad de jubilación, el número de prisioneros, el Brexit, los objetivos climáticos y el salario mínimo. Estos no eran temas de calentamiento elegidos para facilitar el acuerdo.

Las cuatro cosas que hizo el procedimiento

Elimina el aprendizaje automático y el procedimiento contiene cuatro movimientos. Cada uno de ellos está disponible para cualquier grupo con un documento compartido y algo de disciplina.

Por qué la condición de control es el resultado importante

Una objeción razonable a cualquier estudio como este es que las personas convergen simplemente porque finalmente escucharon lo que pensaban los demás. Los autores lo anticiparon y realizaron la prueba. Una cohorte adicional de 372 participantes en 75 grupos realizó el mismo ejercicio, excepto que en lugar de calificar una declaración grupal redactada, calificaron las opiniones individuales de cada uno. Exposición completa a cada opinión en el grupo, sin síntesis.

El acuerdo del grupo en esa condición no cambió (b = -0.005, t(230) = -0.46, P = 0.64), y la diferencia entre las dos condiciones fue en sí misma estadísticamente significativa (P = 0.0058). Este es un resultado controlado y preregistrado, publicado en Science, que muestra que circular las opiniones de todos no mueve a un grupo hacia el acuerdo. Es lo más parecido que la literatura tiene a una prueba directa del hilo de comentarios, y el hilo de comentarios no la superó.

La otra mitad del mecanismo se probó con igual cuidado. Las declaraciones revisadas podrían ser preferidas simplemente porque las personas las vieron en segundo lugar, después de invertir un poco más de esfuerzo. Así que los autores realizaron una nueva cohorte de 245 participantes que escribieron críticas y luego se les mostraron versiones revisadas que incorporaban o no realmente sus comentarios. Las versiones genuinamente informadas por las críticas aún ganaron (P = 0.0039). La ronda de objeciones hace un trabajo real.

La estructura no aplanó a la minoría. La amplificó.

El miedo obvio sobre cualquier proceso de búsqueda de consenso es que se convierta en una regla de mayoría con mejores modales. Los autores midieron esto en lugar de afirmarlo, al incrustar cada opinión y cada declaración en un espacio vectorial y localizarlas a lo largo del eje que va desde el acuerdo hasta el desacuerdo en cada pregunta.

En aproximadamente el 77% de las rondas, el grupo comenzó genuinamente dividido. Las declaraciones iniciales del grupo ponderaron las opiniones minoritarias en 0.29, frente a una verdadera participación promedio de la minoría de 0.29, que es una representación proporcional casi exacta. Las declaraciones revisadas, escritas después de la ronda de crítica, las ponderaron en 0.36. La minoría estaba sobrerrepresentada en relación con su tamaño, y el grupo prefirió esas declaraciones revisadas de todos modos. El noventa y seis por ciento de las declaraciones del grupo se encontraban dentro del rango realmente abarcado por las propias opiniones del grupo, por lo que el sistema no estaba inventando posiciones que nadie sostenía.

El apoyo sí se desplazó hacia posiciones mayoritarias en general, y los autores lo mencionan. Las mayorías crecieron en un 29% a un 32% de las rondas y las minorías crecieron en un 20% a un 26%. Pero cuando probaron si las personas se movían hacia la mayoría simplemente porque se les habían mostrado declaraciones inclinadas hacia la mayoría, no encontraron ninguna relación en absoluto (P = 0.37). Lo que movió a las personas fue el contenido del argumento, no la exposición repetida a él.

Superó a los mediadores humanos, y eso importa menos.

El resultado principal fue un enfrentamiento directo entre personas. En 75 grupos, se asignó a un miembro para que fuera el mediador, capacitado para redactar declaraciones grupales y ofrecido un bono de hasta el 50% de su salario base por cada declaración que el grupo prefiriera. A lo largo de esas rondas, las declaraciones de la máquina fueron preferidas 56% del tiempo frente al 44% de los humanos, y fueron calificadas más alto tanto en respaldo como en calidad. Un panel separado de 155 evaluadores independientes las juzgó más claras, más informativas, menos ilógicas y menos propensas a incluir la opinión del escritor.

Este es el hallazgo que viajó, y es el que menos se debe considerar. Los propios autores son cautelosos aquí: llaman a la verdadera oportunidad no a la mediación sobrehumana, sino a la deliberación que es eficiente en tiempo, justa y escalable. El sistema produjo declaraciones en segundos donde los humanos tardaron minutos. Y en un análisis exploratorio, los autores encontraron una convergencia similar de mediadores humanos en las rondas donde los humanos ganaron, lo que sugiere que el efecto puede provenir de la estructura mediada como un proceso en lugar de algo específico de la IA. Si esa interpretación es correcta, hace que el estudio sea más útil en lugar de menos, porque el beneficio está entonces disponible para cualquier grupo dispuesto a adoptar el procedimiento, con o sin un modelo en el bucle.

Se replicó con una muestra representativa, y no funcionó en todo.

Las principales cohortes fueron reclutadas por conveniencia a través de una plataforma de crowdsourcing, lo cual es algo justo de ser escéptico. Así que los autores se asociaron con la Fundación de Sortición, que organiza asambleas de ciudadanos reales, para reclutar 200 participantes estratificados para representar al Reino Unido en edad, identidad de género, etnicidad, estatus socioeconómico y región. Deliberaron en tres sesiones semanales de una hora en abril y mayo de 2023, sobre nueve preguntas. Los niveles de respaldo y el aumento en el acuerdo del grupo se replicaron.

La parte interesante es donde no funcionó. A través de las nueve preguntas, las posiciones convergieron en cinco. El apoyo para reducir la población carcelaria aumentó del 60% al 75%, y para facilitar la entrada de asilo del 39% al 51%. En Brexit no hubo movimiento alguno. En cuanto a la guardería universal gratuita, la opinión se movió en la otra dirección, con la oposición aumentando del 33% al 41%. Un proceso que produjera acuerdo en cada pregunta independientemente del tema sería evidencia de que algo está mal. Este dejó posiciones arraigadas, que es aproximadamente lo que debería hacer una deliberación honesta.

Los límites, expresados claramente

Cualquier afirmación basada en un solo estudio debe llevar las advertencias de ese mismo estudio, y este tiene advertencias reales. Los autores enumeran la mayoría de ellas por sí mismos.

Donde los críticos tienen razón

El artículo atrajo críticas serias de académicos de la democracia deliberativa, y algunas de ellas son acertadas. La más aguda proviene de Alvaro Oleart y Nicolás Palomo Hernández en el Journal of Deliberative Democracy, quienes señalan que en este procedimiento los participantes nunca discuten realmente entre sí. Escriben en privado, luego clasifican la salida de la máquina. No hay refutación, no hay intercambio de razones entre las personas, no hay un momento en el que el argumento de una persona cambie directamente la opinión de otra. Lo llaman deliberación sin ciudadanos, y señalan la ironía del nombre: Habermas trató el acuerdo como una precondición del discurso genuino, no como el objetivo a optimizar.

Beth Simone Noveck plantea una objeción diferente: el consenso no es la parte difícil de la gobernanza. Los grupos a menudo no logran ponerse de acuerdo sobre cuál es el problema más que sobre qué hacer al respecto, y una máquina que es excelente en producir acuerdos sobre una pregunta bien planteada no ayuda con una mal planteada. Los investigadores del Knight First Amendment Institute añaden el problema de la supervisión, que es que una vez que se extrae una síntesis de mil opiniones, ningún humano puede verificar que represente fielmente a todas ellas.

Creemos que la primera crítica es la más importante y estamos de acuerdo con ella. Optimizar un proceso hacia el acuerdo no es lo mismo que ayudar a las personas a razonar juntas, y un sistema que produce consenso evitando el argumento humano ha eliminado lo que hizo que la deliberación fuera valiosa en primer lugar. El hallazgo que debemos llevar adelante no es dejar que un modelo escriba la posición de su grupo. Es más específico y duradero: las posiciones deben ser explícitas, la estructura supera a la circulación, y una ronda formal de objeciones cambia el resultado. Esto se mantiene ya sea que la síntesis la realice un modelo, un facilitador o el propio grupo.

Qué hacer con esto el lunes

Ninguno de los cuatro mecanismos requiere una IA, y los cuatro son cosas que la mayoría de las reuniones hace mal. Recoge posiciones por escrito antes de la discusión, no durante ella. Los participantes del estudio escribieron aproximadamente 65 palabras cada uno con su razonamiento adjunto, lo que equivale a unos cinco minutos de trabajo y es el cambio más barato disponible. Sintetiza en lugar de circular. Reenviar los comentarios de todos es precisamente la condición que no produjo ningún movimiento; alguien tiene que redactar lo que el grupo realmente tiene en común y presentarlo para corrección. Decide por un ranking de igual peso en lugar de por quién sigue hablando al final. Y programa la ronda de objeciones, de modo que estar en desacuerdo sea una tarea que todos realicen en lugar de un riesgo social que alguien tenga que asumir.

Si diriges discusiones en línea, el resultado del control merece una atención particular, porque un foro de discusión o un hilo de comentarios es la condición de control. Circula opiniones y no sintetiza nada. Ese es el caso estructural presentado en alternativas a los foros de discusión, y ahora tiene un experimento preregistrado detrás. La estructura de cuatro fases en cómo estructurar un debate impone los mismos movimientos manualmente, y la distinción entre estar de acuerdo y simplemente no objetar se aborda en consentimiento vs consenso.

Lo que esto dice y no dice sobre Argumentree

Debemos ser precisos al respecto, porque la tentación de exagerar es obvia. La Máquina de Habermas no es lo que construimos. Genera declaraciones de consenso candidatas utilizando un modelo de recompensa personalizado que predice cómo cada participante clasificará cada borrador, y selecciona entre ellas con una elección simulada. Argumentree no hace eso, y este estudio no prueba nuestro producto.

Lo que se prueba es el mecanismo sobre el que se basa nuestro producto. Las posiciones se escriben explícitamente, con su razonamiento, antes de que la discusión converja. Los argumentos se estructuran en un artefacto compartido en lugar de circularse como una pila de publicaciones. La objeción es una acción de primera clase con un lugar donde adjuntarse, en lugar de ser una interrupción. Las posiciones minoritarias permanecen visibles y atribuibles en lugar de disolverse en la opinión mayoritaria. Esas son las cuatro cosas que el estudio aisló, y son las cuatro cosas que un mapa de argumentos estructurado hace por defecto. La diferencia es que nuestra síntesis se mantiene inspeccionable: cada afirmación conserva su autor, sus objeciones y su apoyo, por lo que nadie tiene que confiar en un resumen que no puede verificar, que es exactamente el problema de supervisión que plantean los críticos.

El resultado que vale la pena recordar

Despoja el modelo, la asamblea de ciudadanos y el argumento sobre si una IA debería estar en algún lugar cerca de un proceso político, y un número sobrevive a todo ello. Cinco personas, con acceso completo a la razonamiento escrito de cada uno sobre una pregunta que les importaba, medido antes y después: P = 0.64. La forma más común en que los grupos intentan llegar a un acuerdo, que es poner todas las opiniones frente a todos y dejar que la gente lea, ahora ha sido probada contra un control y no ha producido ningún efecto medible.

La condición que funcionó no añadió nueva información. Cada participante ya tenía cada opinión. Lo que cambió fue que las opiniones se les dio una forma, se clasificaron con igual peso y se sometieron a una ronda formal de objeciones. Ese es un hallazgo procedimental más que tecnológico, y está disponible para cualquiera que esté dispuesto a llevar sus discusiones de manera diferente.