Berkongsi Pendapat Tidak Mengubah Apa-Apa: Apa yang Ditemui oleh Kajian Sains Mengenai Deliberasi Terstruktur

Lima orang asing diberikan soalan yang memecahbelahkan. Patutkah Perkhidmatan Kesihatan Kebangsaan diprivatkan? Patutkah umur mengundi diturunkan kepada 16 tahun? Setiap daripada mereka menulis pendirian jujur mereka secara peribadi, dengan kata-kata mereka sendiri, dalam panjang yang munasabah. Kemudian mereka membaca apa yang ditulis oleh empat orang yang lain. Pendirian yang dinyatakan diukur sebelum, dan sekali lagi selepas.

Tiada apa yang bergerak. Tidak sedikit pun, tidak ke arah yang salah, tidak dengan jumlah yang terlalu kecil untuk diambil kira. Perubahan yang diukur dalam persetujuan kumpulan adalah minus 0.005, dengan nilai p 0.64, yang hampir tidak menunjukkan apa-apa seperti yang dapat dilaporkan oleh satu eksperimen.

Ini adalah keadaan kawalan dalam satu kajian yang diterbitkan dalam Science pada 18 Oktober 2024. Kumpulan yang sebanding, yang diberikan soalan yang sama dan jumlah masa yang sama, di mana pendapat bertulis mereka sebaliknya dihimpunkan menjadi kenyataan kumpulan calon, dinilai, dikritik dan disusun semula, telah bersatu dengan peningkatan kira-kira lapan mata peratus. Peratusan kumpulan yang mencapai kesepakatan meningkat dari 22.8% kepada 38.6%. Kajian ini biasanya dilaporkan sebagai cerita tentang AI yang mengalahkan mediator manusia. Hasil yang jauh lebih berguna adalah yang tidak mendapat tajuk utama: pertukaran pandangan tidak menghasilkan titik persamaan. Menstrukturkannya menghasilkan.

Apa yang sebenarnya dilakukan oleh kajian itu

Kertas ini adalah AI boleh membantu manusia mencari titik persamaan dalam perbincangan demokratik oleh Michael Henry Tessler, Michiel Bakker dan rakan-rakan di Google DeepMind, Oxford dan Harvard. Ia melaporkan tujuh eksperimen yang dijalankan antara Januari dan Ogos 2023 dengan 5,734 peserta dari UK secara keseluruhan. Saiz sampel, kriteria pengecualian dan analisis utama telah didaftarkan lebih awal sebelum pengumpulan data, dan kodnya telah dikeluarkan secara terbuka. Gabungan pendaftaran awal, keadaan kawalan yang tulen, penerbitan dalam Science dan kod terbuka adalah cukup jarang dalam bidang ini untuk dinyatakan dengan jelas.

Peserta bekerja dalam kumpulan sekitar lima orang dan membincangkan tiga soalan dalam masa lebih kurang satu jam. Untuk setiap soalan, prosedurnya adalah tetap. Setiap orang menulis pendapat mereka sendiri secara peribadi terlebih dahulu, antara 10 hingga 200 patah perkataan, dengan purata sekitar 65. Pendapat yang ditulis itu diserahkan kepada sistem yang dinamakan oleh penulis sebagai Habermas Machine, sempena nama ahli falsafah yang berpendapat bahawa persetujuan muncul apabila orang berfikir bersama dalam keadaan yang adil. Sistem itu merangka beberapa kenyataan calon tentang titik persamaan kumpulan. Peserta memberi penarafan kepada kenyataan tersebut, dan pemenang dipilih melalui pilihan raya berperingkat di mana undi setiap peserta diambil kira secara sama rata. Kenyataan yang menang dikembalikan kepada kumpulan, setiap orang menulis kritikan secara peribadi terhadapnya, dan sistem menghasilkan draf yang telah disemak berdasarkan kritikan tersebut. Peserta memberi penarafan sekali lagi dan akhirnya memilih antara versi asal dan versi yang telah disemak.

Dua butiran yang patut dipegang. Peserta diberitahu bahawa kenyataan tersebut dihasilkan oleh mesin, jadi tiada penipuan yang terlibat. Dan soalan-soalan itu sendiri sengaja dipilih untuk menjadi kontroversi, merangkumi imigresen, umur persaraan, jumlah penjara, Brexit, sasaran iklim dan gaji minimum. Ini bukanlah topik pemanasan yang dipilih untuk memudahkan persetujuan.

Empat perkara yang dilakukan oleh prosedur tersebut

Keluarkan pembelajaran mesin dan prosedur itu mengandungi empat langkah. Setiap satu daripadanya tersedia untuk mana-mana kumpulan dengan dokumen yang dikongsi dan sedikit disiplin.

Mengapa keadaan kawalan adalah hasil yang penting

Satu bantahan yang munasabah terhadap mana-mana kajian seperti ini adalah bahawa orang ramai bersetuju hanya kerana mereka akhirnya mendengar apa yang difikirkan oleh orang lain. Penulis telah menjangkakannya dan menjalankan ujian. Satu kohort tambahan sebanyak 372 peserta dalam 75 kumpulan melakukan latihan yang sama, kecuali bahawa bukannya menilai kenyataan kumpulan yang draf, mereka menilai pendapat individu antara satu sama lain. Pendedahan penuh kepada setiap pandangan dalam kumpulan, tanpa sintesis.

Perjanjian kumpulan dalam keadaan itu tidak berubah (b = -0.005, t(230) = -0.46, P = 0.64), dan perbezaan antara dua keadaan itu sendiri adalah signifikan secara statistik (P = 0.0058). Ini adalah hasil yang terkawal dan telah didaftarkan lebih awal, diterbitkan dalam Science, menunjukkan bahawa mengedar pendapat semua orang tidak membawa kumpulan ke arah persetujuan. Ini adalah perkara yang paling hampir dalam literatur sebagai ujian langsung bagi thread komen, dan thread komen itu gagal.

Separuh lagi mekanisme itu diuji dengan teliti. Kenyataan yang telah disemak mungkin lebih disukai hanya kerana orang melihatnya kedua, selepas melaburkan sedikit usaha tambahan. Oleh itu, penulis menjalankan satu lagi kumpulan 245 peserta yang menulis kritikan dan kemudian ditunjukkan draf semula yang sama ada mengandungi atau tidak mengandungi kritikan tersebut. Versi yang benar-benar dipengaruhi oleh kritikan masih menang (P = 0.0039). Pusingan bantahan melakukan kerja yang sebenar.

Struktur tidak meratakan golongan minoriti. Ia memperkuatkannya.

Ketakutan yang jelas tentang sebarang proses yang mencari konsensus adalah bahawa ia menjadi pemerintahan majoriti dengan adab yang lebih baik. Penulis mengukur ini daripada menyatakannya, dengan menyematkan setiap pendapat dan setiap kenyataan dalam ruang vektor dan menempatkannya sepanjang paksi yang berjalan dari persetujuan ke ketidaksetujuan pada setiap soalan.

Dalam kira-kira 77% daripada pusingan, kumpulan itu bermula dengan benar-benar terbahagi. Kenyataan kumpulan awal memberikan pandangan minoriti dengan berat 0.29, berbanding dengan purata sebenar bahagian minoriti 0.29, yang merupakan perwakilan proporsional hampir tepat. Kenyataan yang disemak, ditulis selepas pusingan kritikan, memberikan berat kepada mereka pada 0.36. Minoriti itu diwakili secara berlebihan berbanding saiznya, dan kumpulan itu lebih suka kenyataan yang disemak tersebut. Sembilan puluh enam peratus kenyataan kumpulan berada dalam julat yang sebenarnya merangkumi pendapat kumpulan itu sendiri, jadi sistem itu tidak mencipta kedudukan yang tidak dipegang oleh sesiapa.

Sokongan masih beralih ke arah kedudukan majoriti secara keseluruhan, dan penulis menyatakannya. Majoriti meningkat dalam 29% hingga 32% pusingan dan minoriti meningkat dalam 20% hingga 26%. Tetapi apabila mereka menguji sama ada orang bergerak ke arah majoriti hanya kerana mereka telah ditunjukkan kenyataan yang cenderung kepada majoriti, mereka tidak menemui sebarang hubungan langsung (P = 0.37). Apa sahaja yang mempengaruhi orang adalah kandungan hujah, bukan pendedahan berulang kepadanya.

Ia mengalahkan para mediator manusia, dan itu adalah yang paling tidak penting.

Keputusan utama adalah perbandingan langsung antara manusia. Dalam 75 kumpulan, seorang anggota ditugaskan sebagai mediator, dilatih untuk menulis kenyataan kumpulan dan ditawarkan bonus sehingga 50% daripada gaji asas mereka untuk setiap kenyataan yang dipilih oleh kumpulan. Dalam pusingan tersebut, kenyataan mesin lebih disukai 56% berbanding 44% manusia, dan dinilai lebih tinggi dari segi sokongan dan kualiti. Sebuah panel berasingan yang terdiri daripada 155 penilai bebas menilai kenyataan tersebut lebih jelas, lebih informatif, kurang tidak logik, dan kurang cenderung untuk menyeludup pendapat penulis sendiri.

Ini adalah penemuan yang telah tersebar, dan ia adalah yang paling sedikit boleh diharapkan. Para penulis sendiri berhati-hati di sini: mereka menyebut peluang sebenar bukanlah pengantaraan superman tetapi perbincangan yang efisien dari segi masa, adil dan boleh diperluas. Sistem ini menghasilkan kenyataan dalam beberapa saat di mana manusia mengambil masa beberapa minit. Dan dalam analisis eksploratori, para penulis mendapati konvergensi yang serupa dari pengantara manusia pada pusingan di mana manusia menang, yang menunjukkan bahawa kesan tersebut mungkin datang dari struktur yang dimediasi sebagai proses dan bukannya dari apa-apa yang khusus kepada AI. Jika tafsiran itu betul, ia menjadikan kajian ini lebih berguna dan bukannya kurang, kerana manfaatnya kemudian tersedia kepada mana-mana kumpulan yang bersedia untuk mengadopsi prosedur tersebut, dengan atau tanpa model dalam proses.

Ia direplikasi dengan sampel wakil, dan ia tidak berfungsi pada semua perkara.

Kumpulan utama direkrut secara mudah melalui platform crowdsourcing, yang merupakan perkara yang wajar untuk diragui. Oleh itu, penulis bekerjasama dengan Sortition Foundation, yang mengendalikan majlis warganegara sebenar, untuk merekrut 200 peserta yang stratifikasi untuk mewakili UK berdasarkan umur, identiti jantina, etnik, status sosioekonomi dan wilayah. Mereka berbincang dalam tiga sesi satu jam setiap minggu pada bulan April dan Mei 2023, mengenai sembilan soalan. Tahap sokongan dan peningkatan dalam persetujuan kumpulan kedua-duanya diulang.

Bahagian yang menarik adalah di mana ia tidak berfungsi. Di seluruh sembilan soalan, kedudukan bertumpu pada lima. Sokongan untuk mengurangkan populasi penjara meningkat dari 60% kepada 75%, dan untuk memudahkan kemasukan suaka dari 39% kepada 51%. Pada Brexit tidak ada pergerakan sama sekali. Mengenai penjagaan kanak-kanak percuma sejagat, pendapat bergerak ke arah yang bertentangan, dengan penentangan meningkat dari 33% kepada 41%. Proses yang menghasilkan persetujuan pada setiap soalan tanpa mengira subjek akan menjadi bukti bahawa sesuatu tidak kena. Yang ini meninggalkan kedudukan yang terpendam, yang secara kasar adalah apa yang sepatutnya dilakukan oleh perbincangan yang jujur.

Had-had, dinyatakan dengan jelas

Sebarang tuntutan yang dibina berdasarkan satu kajian harus membawa amaran kajian tersebut, dan yang ini mempunyai amaran yang sebenar. Penulis menyenaraikan kebanyakan daripadanya sendiri.

Di mana para pengkritik mempunyai hujah yang tepat

Kertas kerja itu menarik kritikan serius daripada para sarjana demokrasi deliberatif, dan sebahagian daripadanya adalah tepat. Kritikan yang paling tajam datang daripada Alvaro Oleart dan Nicolás Palomo Hernández dalam Journal of Deliberative Democracy, yang menunjukkan bahawa dalam prosedur ini peserta tidak pernah benar-benar berdebat antara satu sama lain. Mereka menulis secara peribadi, kemudian menyusun output mesin. Tiada bantahan, tiada pertukaran alasan antara orang, tiada momen di mana hujah seseorang mengubah fikiran orang lain secara langsung. Mereka menyebutnya deliberasi tanpa warganegara, dan mereka mencatatkan ironi nama itu: Habermas menganggap persetujuan sebagai prasyarat untuk wacana yang tulen, bukan sebagai sasaran untuk dioptimumkan.

Beth Simone Noveck mengemukakan bantahan yang berbeza: konsensus bukanlah bahagian yang sukar dalam tadbir urus. Kumpulan lebih sering gagal untuk bersetuju tentang apa masalahnya daripada tentang apa yang perlu dilakukan mengenainya, dan sebuah mesin yang cemerlang dalam menghasilkan persetujuan mengenai soalan yang ditetapkan dengan baik tidak membantu dengan soalan yang ditetapkan dengan buruk. Penyelidik di Knight First Amendment Institute menambah masalah pengawasan, iaitu setelah satu sintesis diambil daripada seribu pendapat, tiada manusia yang dapat mengesahkan bahawa ia mewakili mereka dengan setia.

Kami berpendapat bahawa kritikan pertama adalah yang paling penting, dan kami bersetuju dengan itu. Mengoptimumkan proses ke arah persetujuan tidak sama dengan membantu orang berfikir bersama, dan sistem yang menghasilkan konsensus dengan mengelak daripada perdebatan manusia telah menghapuskan perkara yang menjadikan perbincangan berharga pada asalnya. Penemuan yang perlu diteruskan bukanlah biarkan model menulis kedudukan kumpulan anda. Ia lebih sempit dan lebih tahan lama: kedudukan mesti jelas, struktur mengatasi peredaran, dan pusingan bantahan formal mengubah hasil. Itu tetap berlaku sama ada sintesis dilakukan oleh model, fasilitator, atau kumpulan itu sendiri.

Apa yang perlu dilakukan dengan ini pada hari Isnin

Tiada satu pun daripada empat mekanisme memerlukan AI, dan keempat-empatnya adalah perkara yang kebanyakan mesyuarat lakukan dengan salah. Kumpulkan pendapat bertulis sebelum perbincangan, bukan semasa ia berlangsung. Peserta kajian menulis kira-kira 65 perkataan setiap seorang dengan alasan mereka yang dilampirkan, yang mengambil masa sekitar lima minit kerja dan merupakan perubahan paling murah yang ada. Sintesis daripada mengedarkan. Menghantar komen semua orang adalah tepat keadaan yang tidak menghasilkan sebarang pergerakan; seseorang perlu merangka apa yang sebenarnya dipegang bersama oleh kumpulan dan meletakkannya untuk pembetulan. Putuskan dengan penarafan sama berat dan bukannya berdasarkan siapa yang masih bercakap pada akhir. Dan jadwalkan pusingan bantahan, supaya tidak bersetuju adalah tugas yang dilakukan oleh semua orang dan bukannya risiko sosial yang perlu diambil oleh seseorang.

Jika anda menjalankan perbincangan dalam talian, hasil kawalan memerlukan perhatian khusus, kerana papan perbincangan atau utas komen adalah keadaan kawalan. Ia mengedarkan pendapat dan tidak mensintesis apa-apa. Itu adalah kes struktur yang dibuat dalam alternatif papan perbincangan, dan kini ia mempunyai eksperimen yang telah didaftarkan sebelumnya di belakangnya. Struktur empat fasa dalam cara untuk menyusun perdebatan menguatkuasakan langkah yang sama secara manual, dan perbezaan antara bersetuju dan hanya tidak membantah dibincangkan dalam persetujuan vs konsensus.

Apa yang ini katakan dan tidak katakan tentang Argumentree

Kita harus tepat mengenai perkara ini, kerana godaan untuk membuat tuntutan berlebihan adalah jelas. Mesin Habermas bukanlah apa yang kami bina. Ia menghasilkan kenyataan konsensus calon menggunakan model ganjaran peribadi yang meramalkan bagaimana setiap peserta akan menilai setiap draf, dan ia memilih antara mereka dengan pilihan raya yang disimulasikan. Argumentree tidak melakukan itu, dan kajian ini tidak menguji produk kami.

Apa yang diuji adalah mekanisme di mana produk kami dibina. Posisi dicatat secara eksplisit, dengan alasan mereka, sebelum perbincangan bersatu. Hujah disusun menjadi artefak bersama daripada diedarkan sebagai tumpukan pos. Bantahan adalah tindakan kelas pertama dengan tempat untuk dilampirkan, bukannya gangguan. Posisi minoriti tetap terlihat dan dapat dipertanggungjawabkan daripada larut ke dalam pandangan majoriti. Itulah empat perkara yang diasingkan oleh kajian, dan mereka adalah empat perkara yang dilakukan oleh peta hujah terstruktur secara default. Perbezaannya adalah sintesis kami tetap boleh diperiksa: setiap tuntutan mengekalkan penulisnya, bantahannya dan sokongannya, jadi tiada siapa perlu mempercayai ringkasan yang tidak dapat mereka semak, yang merupakan masalah pengawasan yang tepat yang dibangkitkan oleh pengkritik.

Keputusan yang patut diingati

Keluarkan model, majlis warganegara dan hujah tentang sama ada AI seharusnya terlibat dalam proses politik, dan satu nombor kekal dari semua itu. Lima orang, akses penuh kepada alasan bertulis antara satu sama lain mengenai soalan yang mereka pedulikan, diukur sebelum dan selepas: P = 0.64. Cara yang paling biasa digunakan oleh kumpulan untuk mencapai persetujuan, iaitu meletakkan semua pandangan di hadapan semua orang dan membiarkan orang membaca, kini telah diuji berbanding kawalan dan tidak menghasilkan kesan yang boleh diukur.

Keadaan yang berfungsi tidak menambah maklumat baru. Setiap peserta sudah mempunyai setiap pendapat. Apa yang berubah adalah bahawa pendapat-pendapat itu diberikan bentuk, dinilai dengan berat yang sama, dan dikenakan satu pusingan bantahan formal. Itu adalah penemuan prosedural dan bukannya teknologi, dan ia tersedia kepada sesiapa yang bersedia untuk menjalankan perbincangan mereka dengan cara yang berbeza.