意見を共有しても何も変わらなかった：科学研究が構造化された熟考について発見したこと

五人の見知らぬ人々に分かれる質問が与えられました。国民保健サービスは民営化されるべきでしょうか？投票年齢は16歳に引き下げるべきでしょうか？彼らはそれぞれ、自分の言葉で、適切な長さで、正直な立場を書きました。その後、他の四人が書いた内容を読みました。彼らの主張は、前と後で測定されました。

何も動かなかった。少しも、間違った方向にも、重要でないほど小さな量でも。グループの合意の測定された変化は-0.005で、p値は0.64であり、実験が報告できる中で文字通り何もないに最も近い。

これは、2024年10月18日にScienceに発表された研究のコントロール条件でした。同じ質問と同じ時間を与えられた比較可能なグループは、代わりに候補者グループの声明に統合され、ランク付けされ、批評され、再草案化された書面による意見を持ち、約8パーセントポイント収束しました。合意に達したグループの割合は22.8%から38.6%に上昇しました。この研究は通常、AIが人間の仲介者に勝ったという話として報告されますが、はるかに有用な結果は見出しに載ることはありませんでした：意見を交換することは共通の基盤を生み出さない。構造化することがそれを生む。

研究が実際に行ったこと

この論文は、マイケル・ヘンリー・テスラー、ミヒール・バッカー、そしてGoogle DeepMind、オックスフォード、ハーバードの同僚によるAIが民主的な熟議において人間が共通の立場を見つける手助けをするです。2023年1月から8月の間に実施された7つの実験を報告しており、合計5,734人の英国参加者が参加しました。サンプルサイズ、除外基準、主要な分析はデータ収集前に事前登録されており、コードは公開されました。この事前登録、真の対照条件、Scienceでの出版、オープンコードの組み合わせは、この分野では明確に述べる価値があるほど珍しいものです。

参加者は約5人のグループで作業し、約1時間で3つの質問について議論しました。各質問の手順は固定されていました。最初に、全員が自分の立場をプライベートに書き、10から200語の範囲で、平均約65語でした。それらの意見は著者がハーバーマス・マシンと名付けたシステムに渡されました。この名前は、公正な条件下で人々が一緒に考えると合意が生まれると主張した哲学者に由来しています。このシステムは、グループの共通の立場のいくつかの候補文を作成しました。参加者はそれらを順位付けし、勝者はすべての参加者の票が平等にカウントされる順位選択制の投票によって選ばれました。勝った声明はグループに戻され、各人がそれに対する批評をプライベートに書きました。その批評からシステムは改訂版の草案を作成しました。参加者は再度順位付けを行い、最終的に元のバージョンと改訂版のどちらかを選びました。

保持すべき2つの詳細があります。参加者には、発言が機械生成されたものであるため、欺瞞は関与していないと伝えられました。そして、質問自体は意図的に物議を醸すものであり、移民、退職年齢、刑務所の人数、ブレグジット、気候目標、最低賃金を扱っていました。これらは合意を得やすくするために選ばれたウォームアップのトピックではありませんでした。

手続きが行った四つのこと

機械学習を取り除くと、その手順は4つの動きから成り立っています。それぞれは、共有ドキュメントといくつかの規律を持つ任意のグループが利用可能です。

なぜ制御条件が重要な結果なのか

このような研究に対する合理的な反論は、人々が単に他の人々の考えを最終的に聞いたからこそ意見が一致するということです。著者たちはこれを予想し、テストを実施しました。追加のコホートとして75グループの372人の参加者が同じ演習を行いましたが、グループの草案声明を評価する代わりにお互いの個々の意見を評価しました。グループ内のすべての意見に完全に触れ、統合はありませんでした。

その条件におけるグループの合意は変わらなかった（b = -0.005, t(230) = -0.46, P = 0.64）、そして二つの条件の間の差は統計的に有意であった（P = 0.0058）。これは、Scienceに発表された、制御された事前登録された結果であり、全員の意見を循環させることはグループを合意に導かないことを示しています。これは文献におけるコメントスレッドの直接的なテストに最も近いものであり、コメントスレッドはそれに失敗しました。

メカニズムのもう一方の半分も同様に注意深くテストされました。改訂された声明は、人々が少し多くの努力を投資した後にそれらを二番目に見たため、単に好まれるかもしれません。そこで著者たちは、批評を書いた後に実際にそれらを取り入れたかどうかの赤書きが示された245人の参加者のさらなるコホートを実施しました。真に批評に基づいたバージョンは依然として勝ちました（P = 0.0039）。異議申し立てのラウンドは実際に効果を発揮します。

構造は少数派を平坦化するのではなく、それを増幅させた。

合意を求めるプロセスに対する明らかな恐れは、それがより良いマナーのもとでの多数決になることです。著者たちはこれを主張するのではなく、すべての意見とすべての発言をベクトル空間に埋め込み、各質問に対する合意から不一致までの軸に沿ってそれらを位置づけることによって測定しました。

約77%のラウンドで、グループは本当に分かれてスタートしました。最初のグループの発言は、少数意見を0.29に重み付けし、真の平均少数シェアは0.29で、ほぼ正確に比例代表制でした。批評ラウンドの後に書かれた修正された発言は、彼らを0.36に重み付けしました。少数派はそのサイズに対して過剰に代表されており、グループはそれらの修正された発言を好みました。グループの発言の96%は、実際にグループ自身の意見によってカバーされている範囲内に収まりましたので、システムは誰も持っていない立場を作り出しているわけではありませんでした。

サポートは全体として依然として多数派の立場にシフトしましたが、著者たちはそのことを述べています。多数派は29%から32%のラウンドで増加し、少数派は20%から26%に増加しました。しかし、彼らが人々が多数派寄りの発言を見せられたために多数派に移動したかどうかをテストしたところ、全く関係がないことがわかりました（P = 0.37）。人々を動かしたのは議論の内容であり、繰り返しの露出ではありませんでした。

それは人間の仲介者を打ち負かしましたが、それは最も重要ではありません。

見出しの結果は、人々との直接対決でした。75のグループで、1人のメンバーが仲介者に任命され、グループの声明を書くための訓練を受け、グループが好む声明ごとに基本給の最大50%のボーナスが提供されました。そのラウンドを通じて、機械の声明は人間の44%に対して56%の割合で好まれ、支持と質の両方で高く評価されました。155人の独立した評価者の別のパネルは、それらをより明確で、より情報量が多く、非論理的でなく、著者の意見を密かに持ち込む可能性が低いと判断しました。

これは移動した発見であり、最も頼るべきではないものです。著者自身もここでは慎重です：彼らは真の機会を超人的な仲介ではなく、時間効率が良く、公平でスケーラブルな熟議と呼んでいます。このシステムは、人間が数分かかるところを数秒で声明を生成しました。そして探索的分析の中で、著者たちは人間が勝ったラウンドにおける人間の仲介者からの類似の収束を見つけました。これは、その効果がAIに特有のものからではなく、プロセスとしての仲介構造から来ている可能性を示唆しています。その解釈が正しければ、この研究はより有用であり、モデルがループにあろうとなかろうと、その手続きを採用する意欲のある任意のグループに利益がもたらされるからです。

代表的なサンプルで再現されましたが、すべてに対して機能するわけではありませんでした。

主要なコホートは、便利さからクラウドソーシングプラットフォームを通じて募集されましたが、これは懐疑的であるべき公平なことです。そこで著者たちは、実際の市民集会を運営するSortition Foundationと提携し、年齢、性別、民族、社会経済的地位、地域を代表するように層別化された200人の参加者を募集しました。彼らは2023年4月と5月にわたって、9つの質問について3回の1時間のセッションで議論しました。支持レベルとグループの合意の増加はどちらも再現されました。

興味深いのは、うまくいかなかった部分です。9つの質問の中で、立場は5つに収束しました。刑務所の人口を減らすことへの支持は60%から75%に上昇し、亡命の受け入れを緩和することへの支持は39%から51%に上昇しました。ブレグジットに関しては全く動きがありませんでした。普遍的な無償保育に関しては、意見が逆方向に動き、反対が33%から41%に上昇しました。主題に関係なくすべての質問で合意を生み出すプロセスは、何かがうまくいっていない証拠となるでしょう。このプロセスは、 entrenched positions を entrenched のままにしましたが、これは正直な熟議がすべきことのおおよそです。

限界は明確に述べられています

単一の研究に基づく主張は、その研究自身の注意点を伴うべきであり、今回の研究には実際の注意点があります。著者たち自身がそれらのほとんどを挙げています。

批評家が指摘する点

この論文は、熟議民主主義の学者たちから厳しい批判を受け、その一部は正当なものです。最も鋭い批判は、Journal of Deliberative Democracyのアルバロ・オレアルトとニコラス・パロモ・エルナンデスから寄せられています。彼らはこの手続きにおいて参加者同士が実際に議論を交わすことはないと指摘しています。彼らは私的に書き込み、その後機械の出力をランク付けします。反論はなく、人々の間で理由の交換もなく、一人の主張が他の人の考えを直接変える瞬間もありません。彼らはこれを市民のいない熟議と呼び、その名称の皮肉を指摘しています：ハーバーマスは合意を真の対話の前提条件と見なし、最適化の対象とは見なしていませんでした。

ベス・シモーネ・ノヴェックは別の異議を唱えます：合意形成はガバナンスの難しい部分ではありません。グループは、問題が何であるかについて合意することができないことが多く、何をすべきかについて合意することができないことが多いです。適切に設定された質問に対して合意を生み出すのが得意な機械は、誤って設定された質問には役立ちません。ナイト第一修正研究所の研究者たちは、監視の問題を追加します。それは、千の意見から合成が引き出されると、誰もそれが忠実に彼らを代表しているかを確認できないということです。

私たちは最初の批判が最も重要であると考えており、それに同意します。合意に向けてプロセスを最適化することは、人々が一緒に考えるのを助けることとは異なります。そして、人間の議論を回避することによって合意を生み出すシステムは、熟慮の価値を生み出したものを取り除いてしまっています。持ち帰るべき発見は、モデルにあなたのグループの立場を書かせることではありません。それはより狭く、より持続的です：立場は明示的でなければならず、構造は循環に勝り、正式な異議申し立てのラウンドが結果を変えます。 これは、合成がモデル、ファシリテーター、またはグループ自身によって行われるかどうかにかかわらず成り立ちます。

月曜日にこれをどうするか

四つのメカニズムのいずれもAIを必要とせず、すべてのメカニズムはほとんどの会議で間違っていることです。議論の前に書面での立場を集め、議論中ではなく。研究の参加者はそれぞれ約65語を書き、その理由を添えました。これは約5分の作業であり、最も安価な変更の一つです。配布するのではなく、統合する。全員のコメントを転送することは、まさに何の進展も生まれなかった条件です。誰かがグループが実際に共通して持っているものを草案し、修正のために提示する必要があります。最後に話している人によって決定するのではなく、等重み付けのランキングで決定する。そして、異議申し立てのラウンドをスケジュールすることで、反対することが誰もが行うべきタスクとなり、誰かがリスクを負う社会的なリスクではなくなります。

オンラインディスカッションを運営する場合、コントロール結果は特に注意を払うべきです。なぜなら、ディスカッションボードやコメントスレッドはコントロール条件そのものであり、意見を循環させるだけで何も合成しないからです。これはディスカッションボードの代替案で示された構造的なケースであり、現在はその背後に事前登録された実験があります。ディベートの構造における4段階の構造は、同じ動きを手動で強制し、同意と単に異議を唱えないことの違いは同意対コンセンサスで扱われています。

Argumentreeについてこれが何を言っていて、何を言っていないのか

これについては正確であるべきです。過剰な主張をする誘惑は明らかです。ハーバーマス・マシンは私たちが構築したものではありません。それは、各参加者が各草案をどのように評価するかを予測するパーソナライズされた報酬モデルを使用して候補となる合意声明を生成し、シミュレーションされた選挙でそれらの間を選択します。Argumentreeはそれを行っておらず、この研究は私たちの製品をテストしていません。

それがテストするのは、私たちの製品が構築されているメカニズムです。ポジションは、議論が収束する前に、その理由とともに明示的に書き留められます。議論は、投稿のスタックとして循環するのではなく、共有のアーティファクトに構造化されます。異議は中断ではなく、どこかに付けることができる第一級の行動です。少数派のポジションは、過半数の見解に溶け込むのではなく、可視化され、帰属可能なままです。これらが研究で特定された4つの要素であり、構造化された議論マップがデフォルトで行う4つのことです。違いは、私たちの統合が検査可能であることです：すべての主張はその著者、異議、および支持を保持しているため、誰も確認できない要約を信頼する必要がなく、これはまさに批評家が提起する監視の問題です。

覚えておく価値のある結果

モデル、市民集会、AIが政治プロセスに関与すべきかどうかの議論を取り除くと、1つの数字だけが残ります。5人が、関心のある質問に対する互いの書面による理由を完全にアクセスできる状態で、前後を測定した結果: P = 0.64。グループが合意に達しようとする最も一般的な方法、すなわちすべての意見を皆の前に出して人々に読ませるという方法は、対照群と比較され、測定可能な効果を生み出さなかったことが確認されました。

その条件は新しい情報を追加することはありませんでした。すべての参加者はすでにすべての意見を持っていました。変わったのは、意見に形が与えられ、同等の重みでランク付けされ、1回の正式な異議申し立てにさらされたことです。それは技術的な発見ではなく、手続き的な発見であり、異なる方法で議論を行う意欲のある誰にでも利用可能です。