Meinungen auszutauschen hat nichts verändert: Was eine wissenschaftliche Studie über strukturierte Deliberation herausfand

Fünf Fremde wurden mit einer umstrittenen Frage konfrontiert. Sollte der National Health Service privatisiert werden? Sollte das Wahlalter auf 16 Jahre gesenkt werden? Jeder von ihnen schrieb seine ehrliche Meinung privat, in eigenen Worten und in angemessenem Umfang. Dann lasen sie, was die anderen vier geschrieben hatten. Ihre angegebenen Positionen wurden vorher und danach gemessen.

Nichts bewegte sich. Weder leicht, noch in die falsche Richtung, noch um einen Betrag, der zu klein wäre, um von Bedeutung zu sein. Die gemessene Veränderung in der Gruppenübereinstimmung betrug minus 0,005, mit einem p-Wert von 0,64, was so nah an buchstäblich nichts ist, wie ein Experiment berichten kann.

Dies war die Kontrollbedingung in einer Studie, die am 18. Oktober 2024 in Science veröffentlicht wurde. Vergleichbare Gruppen, die die gleichen Fragen und die gleiche Zeit erhielten, deren schriftliche Meinungen stattdessen in eine Kandidatengruppenaussage synthetisiert, bewertet, kritisiert und überarbeitet wurden, konvergierten um etwa acht Prozentpunkte. Der Anteil der Gruppen, die Einstimmigkeit erreichten, stieg von 22,8 % auf 38,6 %. Die Studie wird normalerweise als Geschichte darüber berichtet, dass eine KI menschliche Mediatoren schlägt. Das weitaus nützlichere Ergebnis ist das, das keine Schlagzeilen machte: Meinungen auszutauschen, führt nicht zu einem gemeinsamen Nenner. Sie zu strukturieren, hingegen schon.

Was die Studie tatsächlich gemacht hat

Das Papier ist KI kann Menschen helfen, einen gemeinsamen Nenner in demokratischen Deliberationen zu finden von Michael Henry Tessler, Michiel Bakker und Kollegen von Google DeepMind, Oxford und Harvard. Es berichtet über sieben Experimente, die zwischen Januar und August 2023 mit insgesamt 5.734 Teilnehmern aus dem Vereinigten Königreich durchgeführt wurden. Die Stichprobengrößen, Ausschlusskriterien und primären Analysen wurden vor der Datenerhebung registriert, und der Code wurde öffentlich zugänglich gemacht. Diese Kombination aus einer Preregistrierung, einer echten Kontrollbedingung, der Veröffentlichung in Science und offenem Code ist in diesem Bereich selten genug, um sie klar zu benennen.

Die Teilnehmer arbeiteten in Gruppen von etwa fünf Personen und diskutierten drei Fragen in ungefähr einer Stunde. Für jede Frage war das Verfahren festgelegt. Jeder schrieb zunächst privat seine eigene Position, zwischen 10 und 200 Wörtern, im Durchschnitt etwa 65. Diese schriftlichen Meinungen wurden an ein System weitergegeben, das die Autoren die Habermas-Maschine nannten, nach dem Philosophen, der argumentierte, dass Übereinstimmung entsteht, wenn Menschen unter fairen Bedingungen gemeinsam nachdenken. Das System entwarf mehrere Kandidatenaussagen über den gemeinsamen Nenner der Gruppe. Die Teilnehmer bewerteten sie, und der Gewinner wurde durch eine Rangwahl gewählt, bei der jede Stimme der Teilnehmer gleich zählte. Die gewinnende Aussage ging zurück an die Gruppe, jede Person schrieb privat eine Kritik daran, und das System erstellte einen überarbeiteten Entwurf aus diesen Kritiken. Die Teilnehmer bewerteten erneut und wählten schließlich zwischen der ursprünglichen und der überarbeiteten Version.

Zwei Details sind erwähnenswert. Den Teilnehmern wurde gesagt, dass die Aussagen maschinell generiert wurden, sodass keine Täuschung vorlag. Und die Fragen selbst waren absichtlich umstritten und behandelten Themen wie Einwanderung, das Rentenalter, die Anzahl der Gefangenen, den Brexit, Klimaziele und den Mindestlohn. Dies waren keine Aufwärmthemen, die gewählt wurden, um eine Einigung zu erleichtern.

Die vier Dinge, die das Verfahren tat

Entfernen Sie das maschinelle Lernen, und das Verfahren enthält vier Schritte. Jeder von ihnen steht jeder Gruppe mit einem gemeinsamen Dokument und etwas Disziplin zur Verfügung.

Warum die Kontrollbedingung das wichtige Ergebnis ist

Ein vernünftiger Einwand gegen eine Studie wie diese ist, dass die Menschen sich einfach nur annähern, weil sie endlich gehört haben, was alle anderen denken. Die Autoren haben dies vorausgesehen und den Test durchgeführt. Eine zusätzliche Kohorte von 372 Teilnehmern in 75 Gruppen führte die identische Übung durch, mit dem Unterschied, dass sie anstelle einer Bewertung einer ausgearbeiteten Gruppenäußerung die individuellen Meinungen der anderen bewerteten. Vollständige Exposition gegenüber jeder Ansicht in der Gruppe, keine Synthese.

Die Gruppenvereinbarung in diesem Zustand änderte sich nicht (b = -0.005, t(230) = -0.46, P = 0.64), und der Unterschied zwischen den beiden Bedingungen war selbst statistisch signifikant (P = 0.0058). Dies ist ein kontrolliertes, vorregistriertes Ergebnis, veröffentlicht in Science, das zeigt, dass die Zirkulation der Meinungen aller nicht zu einer Einigung innerhalb der Gruppe führt. Es ist das Nächste, was die Literatur zu einem direkten Test des Kommentarbereichs hat, und der Kommentarbereich hat diesen Test nicht bestanden.

Die andere Hälfte des Mechanismus wurde ebenso sorgfältig getestet. Überarbeitete Aussagen könnten einfach deshalb bevorzugt werden, weil die Menschen sie als zweite sahen, nachdem sie ein wenig mehr Aufwand betrieben hatten. Daher führten die Autoren eine weitere Kohorte von 245 Teilnehmern durch, die Kritiken schrieben und dann überarbeitete Versionen gezeigt bekamen, die entweder tatsächlich ihre Anmerkungen einbezogen oder nicht. Die wirklich kritikbasierten Versionen gewannen weiterhin (P = 0.0039). Die Einwandsrunde leistet echte Arbeit.

Struktur hat die Minderheit nicht abgeflacht. Sie hat sie verstärkt.

Die offensichtliche Angst vor einem konsenssuchenden Prozess ist, dass er zu einer Mehrheitsregel mit besseren Manieren wird. Die Autoren maßen dies, anstatt es zu behaupten, indem sie jede Meinung und jede Aussage in einen Vektorraum einbetteten und sie entlang der Achse von Zustimmung bis Ablehnung zu jeder Frage lokalisierten.

In etwa 77% der Runden war die Gruppe tatsächlich gespalten. Die anfänglichen Gruppenäußerungen wogen die Minderheitsansichten mit 0,29, im Vergleich zu einem tatsächlichen durchschnittlichen Minderheitsanteil von 0,29, was fast genau einer proportionalen Vertretung entspricht. Die überarbeiteten Äußerungen, die nach der Kritikrunde verfasst wurden, wogen sie mit 0,36. Die Minderheit war im Verhältnis zu ihrer Größe überrepräsentiert, und die Gruppe bevorzugte diese überarbeiteten Äußerungen dennoch. Sechsundneunzig Prozent der Gruppenäußerungen lagen im Bereich der tatsächlich von den eigenen Meinungen der Gruppe abgedeckten Ansichten, sodass das System keine Positionen erfand, die niemand vertrat.

Die Unterstützung verschob sich insgesamt dennoch in Richtung der Mehrheitspositionen, und die Autoren sagen das auch. Die Mehrheiten wuchsen in 29% bis 32% der Runden und die Minderheiten wuchsen in 20% bis 26%. Aber als sie testeten, ob die Menschen sich nur deshalb in Richtung der Mehrheit bewegten, weil ihnen mehrheitsorientierte Aussagen gezeigt worden waren, fanden sie überhaupt keinen Zusammenhang (P = 0,37). Was die Menschen bewegte, war der Inhalt des Arguments, nicht die wiederholte Exposition gegenüber ihm.

Es schlug die menschlichen Vermittler, und das ist am wenigsten wichtig.

Das Hauptergebnis war ein Kopf-an-Kopf-Rennen gegen Menschen. In 75 Gruppen wurde ein Mitglied als Mediator zugewiesen, das darin geschult war, Gruppenäußerungen zu verfassen, und einen Bonus von bis zu 50 % seines Grundgehalts für jede Äußerung angeboten bekam, die die Gruppe bevorzugte. In diesen Runden wurden die Äußerungen der Maschine 56 % der Zeit gegenüber den 44 % der Menschen bevorzugt und erhielten sowohl in Bezug auf Unterstützung als auch Qualität höhere Bewertungen. Ein separates Gremium von 155 unabhängigen Bewertern urteilte, dass sie klarer, informativer, weniger unlogisch und weniger wahrscheinlich die eigene Meinung des Verfassers einschleusen.

Dies ist die Erkenntnis, die verbreitet wurde, und es ist die, auf die man am wenigsten vertrauen sollte. Die Autoren selbst sind hier vorsichtig: Sie nennen die eigentliche Gelegenheit nicht übermenschliche Mediation, sondern Überlegung, die zeit-effizient, fair und skalierbar ist. Das System erzeugte Aussagen in Sekunden, während Menschen Minuten benötigten. Und in einer explorativen Analyse fanden die Autoren ähnliche Konvergenz von menschlichen Mediatoren in den Runden, in denen die Menschen gewannen, was darauf hindeutet, dass der Effekt eher aus der strukturierten Mediation als Prozess stammt, als von etwas, das spezifisch für die KI ist. Wenn diese Lesart richtig ist, macht sie die Studie nützlicher, nicht weniger, da der Nutzen dann jeder Gruppe zur Verfügung steht, die bereit ist, das Verfahren zu übernehmen, mit oder ohne ein Modell im Prozess.

Es wurde mit einer repräsentativen Stichprobe repliziert, und es funktionierte nicht bei allem.

Die Hauptkohorten wurden aus Bequemlichkeit über eine Crowdsourcing-Plattform rekrutiert, was ein berechtigter Grund zur Skepsis ist. Daher arbeiteten die Autoren mit der Sortitionsstiftung zusammen, die echte Bürgerversammlungen durchführt, um 200 Teilnehmer zu rekrutieren, die stratifiziert das Vereinigte Königreich in Bezug auf Alter, Geschlechtsidentität, Ethnie, sozioökonomischen Status und Region repräsentieren. Sie berieten sich in drei wöchentlichen einstündigen Sitzungen im April und Mai 2023 über neun Fragen. Die Zustimmungsniveaus und der Anstieg der Gruppenübereinstimmung wurden beide repliziert.

Der interessante Teil ist, wo es nicht funktioniert hat. Bei den neun Fragen konvergierten die Positionen auf fünf. Die Unterstützung für die Reduzierung der Gefängnispopulation stieg von 60 % auf 75 %, und für die Erleichterung des Asylzugangs von 39 % auf 51 %. Bei Brexit gab es überhaupt keine Bewegung. Bei der universellen kostenlosen Kinderbetreuung bewegte sich die Meinung in die andere Richtung, wobei die Opposition von 33 % auf 41 % stieg. Ein Prozess, der in jeder Frage unabhängig vom Thema zu einer Einigung führte, wäre ein Beweis dafür, dass etwas schiefgeht. Dieser ließ verfestigte Positionen verfestigt, was ungefähr das ist, was eine ehrliche Überlegung tun sollte.

Die Grenzen, klar ausgesprochen

Jede Behauptung, die auf einer einzelnen Studie basiert, sollte die eigenen Vorbehalte dieser Studie mit sich bringen, und diese hat echte. Die Autoren listen die meisten von ihnen selbst auf.

Wo die Kritiker recht haben

Das Papier zog ernsthafte Kritik von Wissenschaftlern der deliberativen Demokratie auf sich, und ein Teil davon trifft zu. Die schärfste Kritik kommt von Alvaro Oleart und Nicolás Palomo Hernández im Journal of Deliberative Democracy, die darauf hinweisen, dass in diesem Verfahren die Teilnehmer nie tatsächlich miteinander argumentieren. Sie schreiben privat und bewerten dann die maschinellen Ergebnisse. Es gibt keine Widerlegung, keinen Austausch von Gründen zwischen den Menschen, keinen Moment, in dem das Argument einer Person direkt die Meinung einer anderen Person ändert. Sie nennen es Deliberation ohne Bürger und bemerken die Ironie des Namens: Habermas betrachtete Zustimmung als Voraussetzung für echten Diskurs, nicht als Ziel, auf das man optimieren sollte.

Beth Simone Noveck erhebt einen anderen Einwand: Konsens ist nicht der schwierige Teil der Governance. Gruppen scheitern häufiger daran, sich darüber einig zu werden, was das Problem ist, als darüber, was dagegen zu tun ist, und eine Maschine, die hervorragend darin ist, einen Konsens zu einer gut formulierten Frage zu erzeugen, hilft nicht bei einer schlecht formulierten. Forscher des Knight First Amendment Institute fügen das Überwachungsproblem hinzu, das besagt, dass, sobald eine Synthese aus tausend Meinungen gezogen wird, kein Mensch überprüfen kann, ob sie diese treu repräsentiert.

Wir denken, dass die erste Kritik die wichtigste ist, und wir stimmen ihr zu. Einen Prozess auf Einigung zu optimieren, ist nicht dasselbe wie Menschen zu helfen, gemeinsam zu argumentieren, und ein System, das Konsens erzeugt, indem es menschliche Argumente umgeht, hat das entfernt, was die Überlegung ursprünglich wertvoll gemacht hat. Die Erkenntnis, die es weiterzutragen gilt, ist nicht lass ein Modell die Position deiner Gruppe formulieren. Sie ist enger und dauerhafter: Positionen müssen explizit sein, Struktur schlägt Zirkulation, und eine formelle Runde der Einwände verändert das Ergebnis. Diese gelten unabhängig davon, ob die Synthese von einem Modell, einem Moderator oder der Gruppe selbst durchgeführt wird.

Was damit am Montag zu tun ist

Keiner der vier Mechanismen erfordert eine KI, und alle vier sind Dinge, die die meisten Meetings falsch machen. Sammele schriftliche Positionen vor der Diskussion, nicht währenddessen. Die Teilnehmer der Studie schrieben jeweils etwa 65 Wörter mit ihren Begründungen, was ungefähr fünf Minuten Arbeit entspricht und die kostengünstigste Veränderung darstellt, die möglich ist. Synthetisiere statt zu zirkulieren. Das Weiterleiten der Kommentare aller ist genau die Bedingung, die zu keinerlei Bewegung geführt hat; jemand muss entwerfen, was die Gruppe tatsächlich gemeinsam hat, und es zur Korrektur vorlegen. Entscheide durch eine gleichgewichtete Rangordnung statt danach, wer am Ende noch spricht. Und plane die Einwandsrunde, sodass das Nicht-Einverstanden-Sein eine Aufgabe ist, die jeder übernimmt, anstatt ein soziales Risiko, das jemand eingehen muss.

Wenn Sie Online-Diskussionen führen, verdient das Kontrolleergebnis besondere Aufmerksamkeit, da ein Diskussionsforum oder ein Kommentarstrang die Kontrollbedingung ist. Es zirkuliert Meinungen und synthetisiert nichts. Das ist der strukturelle Fall, der in Alternativen zu Diskussionsforen dargelegt wird, und es gibt jetzt ein registriertes Experiment dazu. Die vierphasige Struktur in wie man eine Debatte strukturiert erzwingt die gleichen Schritte manuell, und die Unterscheidung zwischen Zustimmung und bloßem Nicht-Widerspruch wird in Zustimmung vs. Konsens behandelt.

Was dies über Argumentree aussagt und was nicht

Wir sollten hierbei präzise sein, denn die Versuchung zu übertreiben ist offensichtlich. Die Habermas-Maschine ist nicht das, was wir gebaut haben. Sie generiert Kandidatenkonsensäußerungen mithilfe eines personalisierten Belohnungsmodells, das vorhersagt, wie jeder Teilnehmer jeden Entwurf bewerten wird, und wählt zwischen ihnen mit einer simulierten Wahl. Argumentree tut das nicht, und diese Studie testet unser Produkt nicht.

Was getestet wird, ist der Mechanismus, auf dem unser Produkt basiert. Positionen werden explizit mit ihrer Begründung festgehalten, bevor die Diskussion konvergiert. Argumente werden in ein gemeinsames Artefakt strukturiert, anstatt als Stapel von Beiträgen zirkuliert zu werden. Einwände sind eine erstklassige Handlung mit einem Ort, an dem sie angehängt werden können, anstatt eine Unterbrechung zu sein. Minderheitspositionen bleiben sichtbar und zuordenbar, anstatt in der Mehrheitsansicht aufzulösen. Das sind die vier Dinge, die die Studie isoliert hat, und sie sind die vier Dinge, die eine strukturierte Argumentationskarte standardmäßig tut. Der Unterschied besteht darin, dass unsere Synthese überprüfbar bleibt: Jede Behauptung behält ihren Autor, ihre Einwände und ihre Unterstützung, sodass niemand einer Zusammenfassung vertrauen muss, die er nicht überprüfen kann, was genau das Überwachungsproblem ist, das die Kritiker ansprechen.

Das Ergebnis, das es wert ist, in Erinnerung zu bleiben

Entfernen Sie das Modell, die Bürgerversammlung und das Argument darüber, ob eine KI in einem politischen Prozess überhaupt eine Rolle spielen sollte, und eine Zahl überlebt all das. Fünf Personen, voller Zugang zu den schriftlichen Überlegungen des jeweils anderen zu einer Frage, die ihnen wichtig war, gemessen vor und nachher: P = 0.64. Die häufigste Methode, mit der Gruppen versuchen, eine Einigung zu erzielen, nämlich alle Ansichten allen vorzustellen und die Menschen lesen zu lassen, wurde nun gegen eine Kontrollgruppe getestet und hat keinen messbaren Effekt erzielt.

Die Bedingung, die funktionierte, fügte keine neuen Informationen hinzu. Jeder Teilnehmer hatte bereits jede Meinung. Was sich änderte, war, dass die Meinungen eine Form erhielten, gleich gewichtet eingestuft wurden und einer formalen Runde des Widerspruchs unterzogen wurden. Das ist ein verfahrensmäßiger Befund und kein technologischer, und er steht jedem zur Verfügung, der bereit ist, seine Diskussionen anders zu führen.