Partager des opinions n'a rien changé : ce qu'une étude scientifique a révélé sur la délibération structurée.

Cinq étrangers ont reçu une question divisive. Le Service National de Santé devrait-il être privatisé ? L'âge de vote devrait-il descendre à 16 ans ? Chacun d'eux a écrit sa position honnête en privé, dans ses propres mots, de manière raisonnable. Ensuite, ils ont lu ce que les quatre autres avaient écrit. Leurs positions déclarées ont été mesurées avant, puis à nouveau après.

Rien ne bougeait. Pas légèrement, pas dans la mauvaise direction, pas d'un montant trop petit pour avoir de l'importance. Le changement mesuré dans l'accord du groupe était de moins 0,005, avec une valeur p de 0,64, ce qui est aussi proche de littéralement rien qu'un expérience peut rapporter.

C'était la condition de contrôle dans une étude publiée dans Science le 18 octobre 2024. Des groupes comparables, ayant reçu les mêmes questions et le même temps, dont les opinions écrites ont été synthétisées en une déclaration de groupe candidat, classées, critiquées et rédigées à nouveau, ont convergé d'environ huit points de pourcentage. La proportion de groupes atteignant l'unanimité est passée de 22,8 % à 38,6 %. L'étude est généralement rapportée comme une histoire sur une IA battant des médiateurs humains. Le résultat beaucoup plus utile est celui qui n'a pas fait les gros titres : échanger des points de vue ne produit pas de terrain d'entente. Les structurer le fait.

Ce que l'étude a réellement fait

L'article est L'IA peut aider les humains à trouver un terrain d'entente dans la délibération démocratique par Michael Henry Tessler, Michiel Bakker et des collègues de Google DeepMind, Oxford et Harvard. Il rapporte sept expériences menées entre janvier et août 2023 avec un total de 5 734 participants britanniques. Les tailles d'échantillon, les critères d'exclusion et les analyses principales ont été préréglés avant la collecte des données, et le code a été rendu public. Cette combinaison d'une préréservation, d'une véritable condition de contrôle, de la publication dans Science et d'un code ouvert est suffisamment rare dans ce domaine pour mériter d'être clairement mentionnée.

Les participants ont travaillé en groupes d'environ cinq et ont discuté de trois questions en environ une heure. Pour chaque question, la procédure était fixe. Chacun a d'abord écrit sa propre position en privé, entre 10 et 200 mots, avec une moyenne d'environ 65. Ces opinions écrites ont été transmises à un système que les auteurs ont nommé la Machine de Habermas, du nom du philosophe qui a soutenu que l'accord émerge lorsque les gens raisonnent ensemble dans des conditions équitables. Le système a rédigé plusieurs déclarations candidates du terrain d'entente du groupe. Les participants les ont classées, et le gagnant a été choisi par une élection à choix classé où chaque vote de participant comptait également. La déclaration gagnante est retournée au groupe, chaque personne a écrit en privé une critique de celle-ci, et le système a produit un projet révisé à partir de ces critiques. Les participants ont de nouveau classé et ont finalement choisi entre la version originale et la version révisée.

Deux détails valent la peine d'être retenus. Les participants ont été informés que les déclarations étaient générées par une machine, donc aucune tromperie n'était impliquée. Et les questions elles-mêmes étaient délibérément controversées, portant sur l'immigration, l'âge de la retraite, le nombre de prisonniers, le Brexit, les objectifs climatiques et le salaire minimum. Ce n'étaient pas des sujets d'échauffement choisis pour faciliter l'accord.

Les quatre choses que la procédure a faites

Enlevez l'apprentissage automatique et la procédure contient quatre étapes. Chacune d'elles est accessible à tout groupe disposant d'un document partagé et d'un peu de discipline.

Pourquoi la condition de contrôle est le résultat important

Une objection raisonnable à toute étude de ce type est que les gens convergent simplement parce qu'ils ont enfin entendu ce que tout le monde pensait. Les auteurs l'avaient anticipé et ont réalisé le test. Une cohorte supplémentaire de 372 participants dans 75 groupes a effectué l'exercice identique, sauf qu'au lieu d'évaluer une déclaration de groupe rédigée, ils ont évalué les opinions individuelles des autres. Exposition complète à chaque point de vue dans le groupe, sans synthèse.

L'accord du groupe dans cette condition n'a pas changé (b = -0.005, t(230) = -0.46, P = 0.64), et la différence entre les deux conditions était elle-même statistiquement significative (P = 0.0058). Il s'agit d'un résultat contrôlé et préenregistré, publié dans Science, montrant que faire circuler les opinions de tout le monde ne rapproche pas un groupe vers un accord. C'est la chose la plus proche que la littérature ait d'un test direct du fil de commentaires, et le fil de commentaires a échoué à ce test.

L'autre moitié du mécanisme a été testée tout aussi soigneusement. Des déclarations révisées pourraient être préférées simplement parce que les gens les ont vues en second, après avoir investi un peu plus d'efforts. Ainsi, les auteurs ont fait passer une autre cohorte de 245 participants qui ont écrit des critiques et ont ensuite été montrés des versions révisées qui les incorporaient ou non. Les versions réellement informées par les critiques ont tout de même remporté (P = 0.0039). Le tour d'objection fait un véritable travail.

La structure n'a pas aplati la minorité. Elle l'a amplifiée.

La peur évidente concernant tout processus de recherche de consensus est qu'il devienne une règle de la majorité avec de meilleures manières. Les auteurs ont mesuré cela plutôt que de l'affirmer, en intégrant chaque opinion et chaque déclaration dans un espace vectoriel et en les localisant le long de l'axe allant de l'accord au désaccord sur chaque question.

Dans environ 77 % des tours, le groupe a commencé par être véritablement divisé. Les déclarations initiales du groupe ont pondéré les opinions minoritaires à 0,29, contre une véritable part moyenne minoritaire de 0,29, ce qui représente presque exactement une représentation proportionnelle. Les déclarations révisées, rédigées après le tour de critique, les ont pondérées à 0,36. La minorité était sur-représentée par rapport à sa taille, et le groupe a de toute façon préféré ces déclarations révisées. Quatre-vingt-seize pour cent des déclarations du groupe se situaient dans la plage réellement couverte par les propres opinions du groupe, donc le système n'inventait pas des positions que personne ne détenait.

Le soutien a tout de même évolué vers des positions majoritaires dans l'ensemble, et les auteurs le disent. Les majorités ont augmenté dans 29 % à 32 % des tours et les minorités ont augmenté dans 20 % à 26 %. Mais lorsqu'ils ont testé si les gens se déplaçaient vers la majorité simplement parce qu'on leur avait montré des déclarations penchées vers la majorité, ils n'ont trouvé aucune relation (P = 0,37). Ce qui a influencé les gens, c'était le contenu de l'argument, et non une exposition répétée à celui-ci.

Cela a battu les médiateurs humains, et c'est ce qui compte le moins.

Le résultat principal était un face-à-face contre des personnes. Dans 75 groupes, un membre a été désigné comme médiateur, formé pour rédiger des déclarations de groupe et a reçu un bonus allant jusqu'à 50 % de son salaire de base pour chaque déclaration que le groupe préférait. Au cours de ces rounds, les déclarations de la machine étaient préférées 56 % du temps contre 44 % pour les humains, et étaient évaluées plus haut en termes d'approbation et de qualité. Un panel séparé de 155 évaluateurs indépendants les a jugées plus claires, plus informatives, moins illogiques et moins susceptibles d'introduire l'opinion personnelle de l'auteur.

C'est la conclusion qui a circulé, et c'est celle sur laquelle il faut le moins s'appuyer. Les auteurs eux-mêmes sont prudents ici : ils appellent la véritable opportunité non pas la médiation surhumaine mais la délibération qui est efficace en termes de temps, équitable et évolutive. Le système a produit des déclarations en quelques secondes alors que les humains prenaient des minutes. Et dans une analyse exploratoire, les auteurs ont trouvé une convergence similaire parmi les médiateurs humains sur les tours où les humains ont gagné, ce qui suggère que l'effet peut provenir de la structure médiée en tant que processus plutôt que de quelque chose de spécifique à l'IA. Si cette interprétation est correcte, cela rend l'étude plus utile plutôt que moins, car le bénéfice est alors disponible pour tout groupe prêt à adopter la procédure, avec ou sans un modèle dans la boucle.

Cela a été reproduit avec un échantillon représentatif, et cela n'a pas fonctionné sur tout.

Les principales cohortes ont été recrutées par commodité via une plateforme de crowdsourcing, ce qui est tout à fait légitime d'être sceptique. Les auteurs ont donc collaboré avec la Sortition Foundation, qui organise de véritables assemblées citoyennes, pour recruter 200 participants stratifiés afin de représenter le Royaume-Uni en fonction de l'âge, de l'identité de genre, de l'ethnicité, du statut socio-économique et de la région. Ils ont délibéré lors de trois sessions hebdomadaires d'une heure en avril et mai 2023, sur neuf questions. Les niveaux d'approbation et l'augmentation de l'accord au sein du groupe ont tous deux été reproduits.

La partie intéressante est celle où cela n'a pas fonctionné. Sur les neuf questions, les positions ont convergé sur cinq. Le soutien à la réduction de la population carcérale est passé de 60 % à 75 %, et pour assouplir l'entrée des demandeurs d'asile, il est passé de 39 % à 51 %. Sur le Brexit, il n'y a eu aucun mouvement. Concernant la garde d'enfants universelle et gratuite, l'opinion a évolué dans l'autre sens, avec l'opposition passant de 33 % à 41 %. Un processus qui produisait un accord sur chaque question, quelle que soit la thématique, serait la preuve que quelque chose ne va pas. Celui-ci a laissé des positions ancrées, ce qui est à peu près ce qu'une délibération honnête devrait faire.

Les limites, énoncées clairement

Toute affirmation basée sur une seule étude doit comporter les réserves de cette étude, et celle-ci en a de réelles. Les auteurs énumèrent la plupart d'entre elles eux-mêmes.

Là où les critiques ont raison

Le document a suscité de vives critiques de la part des chercheurs en démocratie délibérative, et certaines d'entre elles sont fondées. La plus acerbe vient d'Alvaro Oleart et Nicolás Palomo Hernández dans le Journal of Deliberative Democracy, qui soulignent que dans cette procédure les participants ne discutent jamais réellement entre eux. Ils écrivent en privé, puis classent les résultats générés par la machine. Il n'y a pas de réfutation, pas d'échange de raisons entre les personnes, pas de moment où l'argument d'une personne change directement l'avis d'une autre. Ils appellent cela délibération sans citoyens, et ils notent l'ironie du nom : Habermas considérait l'accord comme une condition préalable à un véritable discours, et non comme un objectif à optimiser.

Beth Simone Noveck soulève une objection différente : le consensus n'est pas la partie difficile de la gouvernance. Les groupes échouent plus souvent à s'accorder sur ce qu'est le problème que sur ce qu'il faut en faire, et une machine qui excelle à produire un accord sur une question bien posée n'aide pas avec une question mal posée. Les chercheurs de l'Institut Knight pour le Premier Amendement ajoutent le problème de la supervision, qui est qu'une fois qu'une synthèse est tirée de mille opinions, aucun humain ne peut vérifier qu'elle les représente fidèlement.

Nous pensons que la première critique est la plus importante, et nous sommes d'accord avec elle. Optimiser un processus vers un accord n'est pas la même chose que d'aider les gens à raisonner ensemble, et un système qui produit un consensus en contournant l'argumentation humaine a supprimé ce qui rendait la délibération précieuse en premier lieu. La conclusion à retenir n'est pas laisser un modèle écrire la position de votre groupe. Elle est plus étroite et plus durable : les positions doivent être explicites, la structure l'emporte sur la circulation, et un tour formel d'objection change le résultat. Cela est vrai que la synthèse soit faite par un modèle, un facilitateur ou le groupe lui-même.

Que faire avec ça lundi

Aucun des quatre mécanismes ne nécessite d'IA, et tous les quatre sont des choses que la plupart des réunions se trompent. Collectez les positions écrites avant la discussion, pas pendant. Les participants de l'étude ont écrit environ 65 mots chacun avec leur raisonnement, ce qui représente environ cinq minutes de travail et est le changement le moins coûteux disponible. Synthétisez plutôt que de circuler. Transmettre les commentaires de tout le monde est précisément la condition qui n'a produit aucun mouvement ; quelqu'un doit rédiger ce que le groupe a réellement en commun et le soumettre à correction. Décidez par un classement à poids égal plutôt que par qui parle encore à la fin. Et programmez le tour d'objection, afin que le désaccord soit une tâche que tout le monde effectue plutôt qu'un risque social que quelqu'un doit prendre.

Si vous animez des discussions en ligne, le résultat du contrôle mérite une attention particulière, car un forum de discussion ou un fil de commentaires est la condition de contrôle. Il fait circuler des opinions et ne synthétise rien. C'est le cas structurel présenté dans les alternatives aux forums de discussion, et il a maintenant une expérience préenregistrée derrière lui. La structure en quatre phases dans comment structurer un débat impose les mêmes mouvements manuellement, et la distinction entre l'accord et le simple fait de ne pas s'opposer est abordée dans le consentement contre le consensus.

Ce que cela dit et ne dit pas sur Argumentree

Nous devrions être précis à ce sujet, car la tentation de faire des affirmations excessives est évidente. La Machine de Habermas n'est pas ce que nous avons construit. Elle génère des déclarations de consensus candidates en utilisant un modèle de récompense personnalisé qui prédit comment chaque participant classera chaque projet, et elle sélectionne entre elles par le biais d'une élection simulée. Argumentree ne fait pas cela, et cette étude ne teste pas notre produit.

Ce que cela teste, c'est le mécanisme sur lequel notre produit est construit. Les positions sont écrites explicitement, avec leur raisonnement, avant que la discussion ne converge. Les arguments sont structurés en un artefact partagé plutôt que circulés sous forme d'une pile de messages. L'objection est une action de première classe avec un endroit où s'attacher, plutôt qu'une interruption. Les positions minoritaires restent visibles et attribuables au lieu de se dissoudre dans la vue majoritaire. Ce sont les quatre éléments que l'étude a isolés, et ce sont les quatre éléments qu'une carte d'argument structuré fait par défaut. La différence est que notre synthèse reste inspectable : chaque affirmation garde son auteur, ses objections et son soutien, de sorte que personne n'a à faire confiance à un résumé qu'il ne peut pas vérifier, ce qui est exactement le problème de supervision soulevé par les critiques.

Le résultat à retenir

Dépouiller le modèle, l'assemblée des citoyens et l'argument sur la question de savoir si une IA devrait être impliquée dans un processus politique, et un chiffre survit à tout cela. Cinq personnes, ayant un accès complet aux raisonnements écrits des autres sur une question qui les préoccupait, mesurés avant et après : P = 0.64. La manière la plus courante dont les groupes essaient d'atteindre un accord, qui consiste à mettre toutes les opinions devant tout le monde et à laisser les gens lire, a maintenant été testée par rapport à un contrôle et n'a produit aucun effet mesurable.

La condition qui a fonctionné n'a ajouté aucune nouvelle information. Chaque participant avait déjà chaque opinion. Ce qui a changé, c'est que les opinions ont été structurées, classées avec un poids égal, et soumises à un tour formel d'objection. C'est une constatation procédurale plutôt que technologique, et elle est accessible à quiconque est prêt à mener ses discussions différemment.