Berbagi Pendapat Tidak Mengubah Apa Pun: Apa yang Ditemukan Sebuah Studi Ilmiah Tentang Deliberasi Terstruktur

Lima orang asing diberikan pertanyaan yang memecah belah. Haruskah Layanan Kesehatan Nasional diprivatisasi? Haruskah usia pemilih diturunkan menjadi 16 tahun? Masing-masing dari mereka menuliskan posisi jujur mereka secara pribadi, dengan kata-kata mereka sendiri, dalam panjang yang wajar. Kemudian mereka membaca apa yang ditulis oleh empat orang lainnya. Posisi yang dinyatakan diukur sebelum, dan lagi setelahnya.

Tidak ada yang bergerak. Tidak sedikit pun, tidak ke arah yang salah, tidak dengan jumlah yang terlalu kecil untuk diperhitungkan. Perubahan terukur dalam kesepakatan kelompok adalah minus 0.005, dengan nilai p 0.64, yang sedekat mungkin dengan tidak ada sama sekali yang dapat dilaporkan oleh sebuah eksperimen.

Ini adalah kondisi kontrol dalam sebuah studi yang diterbitkan di Science pada 18 Oktober 2024. Kelompok yang sebanding, yang diberikan pertanyaan yang sama dan waktu yang sama, di mana pendapat tertulis mereka dihimpun menjadi pernyataan kelompok kandidat, dirangking, dikritik, dan disusun ulang, berkumpul sekitar delapan poin persentase. Proporsi kelompok yang mencapai kesepakatan meningkat dari 22,8% menjadi 38,6%. Studi ini biasanya dilaporkan sebagai cerita tentang AI yang mengalahkan mediator manusia. Hasil yang jauh lebih berguna adalah yang tidak mendapatkan perhatian: bertukar pandangan tidak menghasilkan kesepakatan bersama. Menyusunnya lah yang menghasilkan.

Apa yang sebenarnya dilakukan oleh studi tersebut

Makalah ini adalah AI dapat membantu manusia menemukan kesamaan dalam deliberasi demokratis oleh Michael Henry Tessler, Michiel Bakker dan rekan-rekan di Google DeepMind, Oxford dan Harvard. Ini melaporkan tujuh eksperimen yang dilakukan antara Januari dan Agustus 2023 dengan total 5.734 peserta dari Inggris. Ukuran sampel, kriteria pengecualian, dan analisis utama telah terdaftar sebelumnya sebelum pengumpulan data, dan kode tersebut dirilis secara publik. Kombinasi pendaftaran sebelumnya, kondisi kontrol yang nyata, publikasi di Science, dan kode terbuka cukup jarang di bidang ini untuk layak dinyatakan dengan jelas.

Peserta bekerja dalam kelompok sekitar lima orang dan mendiskusikan tiga pertanyaan dalam waktu sekitar satu jam. Untuk setiap pertanyaan, prosedurnya sudah ditentukan. Setiap orang terlebih dahulu menulis posisi mereka sendiri secara pribadi, antara 10 hingga 200 kata, dengan rata-rata sekitar 65. Pendapat yang ditulis tersebut diserahkan ke sebuah sistem yang dinamakan Habermas Machine, berdasarkan nama filsuf yang berargumen bahwa kesepakatan muncul ketika orang-orang berdiskusi bersama dalam kondisi yang adil. Sistem tersebut menyusun beberapa pernyataan kandidat tentang kesepakatan bersama kelompok. Peserta memberi peringkat pada pernyataan tersebut, dan pemenangnya dipilih melalui pemilihan dengan pilihan peringkat di mana suara setiap peserta dihitung secara setara. Pernyataan yang menang kembali ke kelompok, setiap orang menulis kritik secara pribadi terhadapnya, dan sistem menghasilkan draf revisi dari kritik tersebut. Peserta memberi peringkat lagi dan akhirnya memilih antara versi asli dan versi yang direvisi.

Dua detail yang patut diperhatikan. Peserta diberitahu bahwa pernyataan tersebut dihasilkan oleh mesin, jadi tidak ada penipuan yang terlibat. Dan pertanyaan itu sendiri sengaja kontroversial, mencakup imigrasi, usia pensiun, jumlah narapidana, Brexit, target iklim, dan upah minimum. Ini bukan topik pemanasan yang dipilih untuk memudahkan kesepakatan.

Empat hal yang dilakukan prosedur tersebut

Hilangkan pembelajaran mesin dan prosedurnya terdiri dari empat langkah. Masing-masing tersedia untuk kelompok mana pun dengan dokumen bersama dan beberapa disiplin.

Mengapa kondisi kontrol adalah hasil yang penting

Sebuah keberatan yang wajar terhadap studi seperti ini adalah bahwa orang-orang berkonvergensi hanya karena mereka akhirnya mendengar apa yang dipikirkan orang lain. Para penulis telah mengantisipasinya dan menjalankan tes. Sebuah kohort tambahan dari 372 peserta dalam 75 kelompok melakukan latihan yang identik, kecuali bahwa alih-alih menilai pernyataan kelompok yang dirancang, mereka menilai pendapat individu satu sama lain. Paparan penuh terhadap setiap pandangan dalam kelompok, tanpa sintesis.

Kesepakatan kelompok dalam kondisi itu tidak berubah (b = -0.005, t(230) = -0.46, P = 0.64), dan perbedaan antara kedua kondisi itu sendiri secara statistik signifikan (P = 0.0058). Ini adalah hasil yang terkontrol dan terdaftar sebelumnya, diterbitkan dalam Science, menunjukkan bahwa mengalirkan pendapat semua orang tidak menggerakkan kelompok menuju kesepakatan. Ini adalah hal terdekat yang dimiliki literatur sebagai uji langsung dari thread komentar, dan thread komentar gagal dalam hal ini.

Setengah lainnya dari mekanisme diuji dengan sangat hati-hati. Pernyataan yang direvisi mungkin lebih disukai hanya karena orang-orang melihatnya kedua, setelah menginvestasikan sedikit lebih banyak usaha. Jadi para penulis menjalankan kohort tambahan dari 245 peserta yang menulis kritik dan kemudian ditunjukkan draf ulang yang baik yang menggabungkan atau tidak menggabungkan kritik tersebut. Versi yang benar-benar diinformasikan oleh kritik masih menang (P = 0.0039). Putaran keberatan melakukan pekerjaan yang nyata.

Struktur tidak meratakan minoritas. Itu memperkuatnya.

Ketakutan yang jelas tentang proses pencarian konsensus adalah bahwa itu menjadi aturan mayoritas dengan tata krama yang lebih baik. Para penulis mengukur ini daripada mengklaimnya, dengan menyematkan setiap pendapat dan setiap pernyataan dalam ruang vektor dan menempatkannya di sepanjang sumbu yang berjalan dari kesepakatan hingga ketidaksetujuan pada setiap pertanyaan.

Dalam sekitar 77% dari putaran, kelompok tersebut benar-benar terpecah. Pernyataan kelompok awal memberikan bobot pandangan minoritas sebesar 0,29, dibandingkan dengan rata-rata sebenarnya dari pangsa minoritas sebesar 0,29, yang merupakan representasi proporsional hampir tepat. Pernyataan revisi, yang ditulis setelah putaran kritik, memberikan bobot sebesar 0,36. Minoritas terwakili secara berlebihan relatif terhadap ukurannya, dan kelompok lebih memilih pernyataan revisi tersebut. Sembilan puluh enam persen pernyataan kelompok berada dalam rentang yang sebenarnya dijangkau oleh pendapat kelompok itu sendiri, jadi sistem tidak menciptakan posisi yang tidak dipegang oleh siapa pun.

Dukungan memang masih bergeser ke arah posisi mayoritas secara keseluruhan, dan para penulis menyatakannya. Mayoritas meningkat dalam 29% hingga 32% dari putaran dan minoritas meningkat dalam 20% hingga 26%. Namun, ketika mereka menguji apakah orang-orang bergerak ke arah mayoritas hanya karena mereka telah ditunjukkan pernyataan yang condong ke mayoritas, mereka tidak menemukan hubungan sama sekali (P = 0,37). Apa pun yang mempengaruhi orang adalah isi argumen, bukan paparan yang berulang terhadapnya.

Itu mengalahkan mediator manusia, dan itu yang paling tidak penting.

Hasil utama adalah perbandingan langsung antara manusia. Dalam 75 kelompok, satu anggota ditugaskan sebagai mediator, dilatih untuk menulis pernyataan kelompok dan ditawarkan bonus hingga 50% dari gaji pokok mereka untuk setiap pernyataan yang lebih disukai kelompok. Di seluruh putaran tersebut, pernyataan mesin lebih disukai 56% dari waktu dibandingkan dengan 44% untuk manusia, dan dinilai lebih tinggi dalam hal dukungan dan kualitas. Sebuah panel terpisah yang terdiri dari 155 penilai independen menilai pernyataan tersebut lebih jelas, lebih informatif, kurang tidak logis, dan kurang mungkin menyelundupkan pendapat penulis sendiri.

Ini adalah temuan yang beredar, dan ini adalah yang paling sedikit dapat diandalkan. Para penulis sendiri berhati-hati di sini: mereka menyebut peluang nyata bukanlah mediasi superhuman tetapi deliberasi yang efisien waktu, adil, dan dapat diskalakan. Sistem ini menghasilkan pernyataan dalam hitungan detik di mana manusia memerlukan waktu beberapa menit. Dan dalam analisis eksploratif, para penulis menemukan konvergensi serupa dari mediator manusia pada putaran di mana manusia menang, yang menunjukkan bahwa efek tersebut mungkin berasal dari struktur yang dimediasi sebagai proses daripada dari sesuatu yang spesifik untuk AI. Jika penafsiran itu benar, maka studi ini menjadi lebih berguna daripada kurang, karena manfaatnya kemudian tersedia untuk kelompok mana pun yang bersedia mengadopsi prosedur tersebut, dengan atau tanpa model dalam proses.

Itu direplikasi dengan sampel yang representatif, dan itu tidak berhasil pada segala hal.

Kohort utama direkrut secara praktis melalui platform crowdsourcing, yang merupakan hal yang wajar untuk diragukan. Jadi, para penulis bekerja sama dengan Sortition Foundation, yang menjalankan pertemuan warga nyata, untuk merekrut 200 peserta yang terstratifikasi untuk mewakili Inggris berdasarkan usia, identitas gender, etnisitas, status sosial ekonomi, dan wilayah. Mereka berdiskusi dalam tiga sesi satu jam mingguan pada bulan April dan Mei 2023, mengenai sembilan pertanyaan. Tingkat dukungan dan peningkatan kesepakatan kelompok keduanya terulang.

Bagian yang menarik adalah di mana itu tidak berhasil. Di antara sembilan pertanyaan, posisi berkumpul pada lima. Dukungan untuk mengurangi populasi penjara meningkat dari 60% menjadi 75%, dan untuk mempermudah masuknya suaka dari 39% menjadi 51%. Pada Brexit tidak ada pergerakan sama sekali. Mengenai perawatan anak gratis universal, opini bergerak ke arah yang berlawanan, dengan oposisi meningkat dari 33% menjadi 41%. Proses yang menghasilkan kesepakatan pada setiap pertanyaan terlepas dari subjek akan menjadi bukti bahwa ada yang salah. Yang ini meninggalkan posisi yang terjebak, yang kira-kira adalah apa yang seharusnya dilakukan oleh deliberasi yang jujur.

Batasan, dinyatakan dengan jelas

Setiap klaim yang dibangun berdasarkan satu studi harus membawa catatan penting dari studi tersebut, dan yang ini memiliki catatan yang nyata. Para penulis mencantumkan sebagian besar dari catatan tersebut sendiri.

Di mana para kritikus memiliki poin

Makalah tersebut menarik kritik serius dari para akademisi demokrasi deliberatif, dan beberapa kritik tersebut tepat sasaran. Kritik yang paling tajam datang dari Alvaro Oleart dan Nicolás Palomo Hernández di Journal of Deliberative Democracy, yang menunjukkan bahwa dalam prosedur ini para peserta tidak pernah benar-benar berargumen satu sama lain. Mereka menulis secara pribadi, kemudian memberi peringkat pada keluaran mesin. Tidak ada bantahan, tidak ada pertukaran alasan antara orang-orang, tidak ada momen di mana argumen seseorang mengubah pikiran orang lain secara langsung. Mereka menyebutnya deliberasi tanpa warga, dan mereka mencatat ironi dari nama tersebut: Habermas menganggap kesepakatan sebagai prasyarat diskursus yang tulus, bukan sebagai target untuk dioptimalkan.

Beth Simone Noveck mengajukan keberatan yang berbeda: konsensus bukanlah bagian yang sulit dari pemerintahan. Kelompok-kelompok lebih sering gagal untuk sepakat tentang apa masalahnya daripada tentang apa yang harus dilakukan mengenainya, dan sebuah mesin yang sangat baik dalam menghasilkan kesepakatan pada pertanyaan yang diajukan dengan baik tidak membantu dengan pertanyaan yang diajukan dengan buruk. Peneliti di Knight First Amendment Institute menambahkan masalah pengawasan, yaitu bahwa setelah sebuah sintesis diambil dari seribu pendapat, tidak ada manusia yang dapat memverifikasi bahwa itu mewakili mereka dengan setia.

Kami berpikir kritik pertama adalah yang paling penting, dan kami setuju dengan itu. Mengoptimalkan suatu proses menuju kesepakatan tidak sama dengan membantu orang berargumentasi bersama, dan sistem yang menghasilkan konsensus dengan menghindari argumen manusia telah menghilangkan hal yang membuat deliberasi berharga sejak awal. Temuan yang perlu dibawa ke depan bukanlah biarkan model menulis posisi kelompok Anda. Ini lebih sempit dan lebih tahan lama: posisi harus eksplisit, struktur mengalahkan sirkulasi, dan putaran formal keberatan mengubah hasil. Itu berlaku baik jika sintesis dilakukan oleh model, fasilitator, atau kelompok itu sendiri.

Apa yang harus dilakukan dengan ini pada hari Senin

Tidak ada dari empat mekanisme yang memerlukan AI, dan keempatnya adalah hal-hal yang sering salah dilakukan dalam pertemuan. Kumpulkan posisi tertulis sebelum diskusi, bukan selama itu. Peserta studi menulis sekitar 65 kata masing-masing dengan alasan yang dilampirkan, yang memakan waktu sekitar lima menit dan merupakan perubahan termurah yang tersedia. Sintesis daripada menyebarkan. Meneruskan komentar semua orang adalah kondisi yang tepat yang tidak menghasilkan kemajuan sama sekali; seseorang harus menyusun apa yang sebenarnya dimiliki kelompok secara bersama-sama dan menawarkannya untuk diperbaiki. Putuskan dengan peringkat bobot yang sama daripada berdasarkan siapa yang masih berbicara di akhir. Dan jadwalkan putaran keberatan, sehingga tidak setuju menjadi tugas yang dilakukan semua orang daripada risiko sosial yang harus diambil seseorang.

Jika Anda menjalankan diskusi online, hasil kontrol layak mendapatkan perhatian khusus, karena papan diskusi atau utas komentar adalah kondisi kontrol. Itu menyebarkan pendapat dan tidak mensintesis apa pun. Itu adalah kasus struktural yang dibuat dalam alternatif papan diskusi, dan sekarang memiliki eksperimen yang terdaftar sebelumnya di belakangnya. Struktur empat fase dalam cara menyusun debat menegakkan langkah yang sama secara manual, dan perbedaan antara setuju dan hanya tidak keberatan dibahas dalam persetujuan vs konsensus.

Apa yang dikatakan dan tidak dikatakan tentang Argumentree

Kita harus tepat tentang ini, karena godaan untuk mengklaim lebih dari yang seharusnya sangat jelas. Mesin Habermas bukanlah apa yang kami bangun. Mesin ini menghasilkan pernyataan konsensus kandidat menggunakan model penghargaan yang dipersonalisasi yang memprediksi bagaimana setiap peserta akan memberi peringkat pada setiap draf, dan memilih di antara mereka dengan pemilihan yang disimulasikan. Argumentree tidak melakukan itu, dan studi ini tidak menguji produk kami.

Apa yang diuji adalah mekanisme di mana produk kami dibangun. Posisi dicatat secara eksplisit, dengan alasannya, sebelum diskusi menyatu. Argumen disusun menjadi artefak bersama daripada beredar sebagai tumpukan pos. Keberatan adalah tindakan kelas satu dengan tempat untuk dilampirkan, bukan sebagai gangguan. Posisi minoritas tetap terlihat dan dapat dipertanggungjawabkan alih-alih larut ke dalam pandangan mayoritas. Itulah empat hal yang diisolasi oleh studi tersebut, dan mereka adalah empat hal yang dilakukan oleh peta argumen terstruktur secara default. Perbedaannya adalah bahwa sintesis kami tetap dapat diperiksa: setiap klaim mempertahankan penulisnya, keberatannya, dan dukungannya, sehingga tidak ada yang harus mempercayai ringkasan yang tidak dapat mereka periksa, yang merupakan masalah pengawasan yang tepat yang diangkat oleh para kritikus.

Hasil yang patut diingat

Hilangkan model, majelis warga, dan argumen tentang apakah AI seharusnya terlibat dalam proses politik, dan satu angka bertahan dari semua itu. Lima orang, akses penuh ke alasan tertulis satu sama lain tentang pertanyaan yang mereka pedulikan, diukur sebelum dan sesudah: P = 0.64. Cara paling umum yang digunakan kelompok untuk mencapai kesepakatan, yaitu dengan menampilkan semua pandangan di depan semua orang dan membiarkan orang membaca, kini telah diuji terhadap kontrol dan tidak menghasilkan efek yang terukur.

Kondisi yang diterapkan tidak menambah informasi baru. Setiap peserta sudah memiliki setiap pendapat. Yang berubah adalah bahwa pendapat-pendapat tersebut diberikan bentuk, diurutkan dengan bobot yang sama, dan dikenakan satu putaran formal keberatan. Itu adalah temuan prosedural daripada temuan teknologi, dan itu tersedia bagi siapa saja yang bersedia menjalankan diskusi mereka dengan cara yang berbeda.