Fikir Paylaşımı Hiçbir Şeyi Değiştirmedi: Yapılandırılmış Tartışma Hakkında Bir Bilim Çalışmasının Bulduğu Şey

Beş yabancıya tartışmalı bir soru soruldu. Ulusal Sağlık Servisi özelleştirilmeli mi? Oy verme yaşı 16'ya düşmeli mi? Her biri, dürüst görüşlerini özel olarak, kendi kelimeleriyle, makul bir uzunlukta yazdı. Ardından diğer dört kişinin yazdıklarını okudular. Belirttikleri görüşler, öncesinde ve sonrasında ölçüldü.

Hiçbir şey hareket etmedi. Ne biraz, ne yanlış yönde, ne de önemsiz bir miktarda. Grup anlaşmasındaki ölçülen değişim eksi 0.005 idi, p-değeri ise 0.64 olarak belirlendi; bu, bir deneyin bildirebileceği kadar kelimenin tam anlamıyla hiçbir şeye yakın.

Bu, 18 Ekim 2024'te Science dergisinde yayımlanan bir çalışmadaki kontrol koşuluydu. Aynı soruları ve aynı süreyi alan karşılaştırılabilir gruplar, yazılı görüşlerinin yerine bir aday grup ifadesine sentezlenip, sıralanıp, eleştirilip ve yeniden tasarlanması ile yaklaşık sekiz yüzde puanı kadar yakınlaştı. Uzlaşmaya varan grupların oranı %22.8'den %38.6'ya yükseldi. Çalışma genellikle bir yapay zekanın insan arabulucuları yenmesi hikayesi olarak rapor ediliyor. Çok daha faydalı sonuç ise manşetlere çıkmayan sonuçtur: görüş alışverişi ortak bir zemin üretmez. Onları yapılandırmak üretir.

Çalışmanın gerçekte ne yaptığı

Makale, Michael Henry Tessler, Michiel Bakker ve Google DeepMind, Oxford ve Harvard'dan meslektaşları tarafından yazılan Yapay Zeka, insanların demokratik müzakerelerde ortak bir zemin bulmalarına yardımcı olabilir. Ocak ve Ağustos 2023 arasında gerçekleştirilen yedi deneyi rapor etmektedir ve toplamda 5,734 Birleşik Krallık katılımcısı bulunmaktadır. Örnek boyutları, dışlama kriterleri ve birincil analizler, veri toplama öncesinde önceden kaydedilmiştir ve kod kamuya açık olarak yayımlanmıştır. Bu alanda önceden kayıt, gerçek bir kontrol koşulu, Science dergisinde yayımlanma ve açık kod kombinasyonu, açıkça belirtmeye değer kadar nadirdir.

Katılımcılar yaklaşık beş kişilik gruplar halinde çalıştı ve yaklaşık bir saat içinde üç soruyu tartıştı. Her soru için prosedür sabitti. Herkes önce kendi pozisyonunu özel olarak yazdı, 10 ile 200 kelime arasında, ortalama yaklaşık 65 kelime. Yazılan bu görüşler, insanların adil koşullar altında birlikte akıl yürüttüğünde anlaşmanın ortaya çıktığını savunan filozofun adıyla Habermas Makinesi olarak adlandırılan bir sisteme iletildi. Sistem, grubun ortak zeminine dair birkaç aday ifade taslağı oluşturdu. Katılımcılar bunları sıraladı ve kazanan, her katılımcının oyunun eşit sayıldığı bir sıralı seçimle belirlendi. Kazanan ifade gruba geri döndü, her kişi özel olarak bir eleştiri yazdı ve sistem bu eleştirilerden revize edilmiş bir taslak üretti. Katılımcılar tekrar sıraladı ve nihayet orijinal ile revize edilmiş versiyon arasında seçim yaptı.

İki detayın üzerinde durmaya değer. Katılımcılara ifadelerin makine tarafından üretildiği söylendi, bu nedenle bir aldatmaca söz konusu değildi. Ve soruların kendisi kasıtlı olarak tartışmalıydı; göç, emeklilik yaşı, hapishane sayıları, Brexit, iklim hedefleri ve asgari ücret gibi konuları kapsıyordu. Bunlar, anlaşmayı kolaylaştırmak için seçilen ısınma konuları değildi.

Prosedürün yaptığı dört şey

Makine öğrenimini çıkarırsanız, prosedür dört adım içerir. Bunların her biri, paylaşılan bir belgeye ve biraz disipline sahip herhangi bir grup için mevcuttur.

Kontrol koşulunun neden önemli bir sonuç olduğu

Böyle bir çalışmaya karşı makul bir itiraz, insanların sadece sonunda herkesin ne düşündüğünü duydukları için bir araya gelmeleridir. Yazarlar bunu öngördü ve testi gerçekleştirdi. 75 grupta 372 katılımcıdan oluşan ek bir grup, taslak grup ifadesini değerlendirmek yerine birbirlerinin bireysel görüşlerini değerlendirdi. Grubun her görüşüne tam maruz kalma, sentez yok.

Bu koşuldaki grup anlaşması değişmedi (b = -0.005, t(230) = -0.46, P = 0.64), ve iki koşul arasındaki fark kendisi istatistiksel olarak anlamlıydı (P = 0.0058). Bu, Science dergisinde yayımlanan, kontrol edilen ve önceden kaydedilmiş bir sonuçtur ve herkesin görüşlerini dolaştırmanın bir grubu anlaşmaya yönlendirmediğini göstermektedir. Bu, literatürdeki yorum dizisinin doğrudan bir testine en yakın şeydir ve yorum dizisi bu testi geçememiştir.

Mekanın diğer yarısı da aynı titizlikle test edildi. Gözden geçirilmiş ifadeler, insanların onlara biraz daha fazla çaba harcadıktan sonra ikinci olarak gördükleri için tercih edilebilir. Bu nedenle yazarlar, eleştiriler yazan ve ardından bu eleştirileri gerçekten içeren veya içermeyen yeniden taslaklar gösterilen 245 katılımcıdan oluşan bir grup daha çalıştırdı. Gerçekten eleştiri bilgisiyle oluşturulmuş versiyonlar hala kazandı (P = 0.0039). İtiraz turu gerçekten işe yarıyor.

Yapı azınlığı düzleştirmedi. Onu güçlendirdi.

Herhangi bir uzlaşma arayış süreciyle ilgili bariz korku, bunun daha iyi bir nezaketle çoğunluk kuralına dönüşmesidir. Yazarlar bunu iddia etmek yerine, her görüşü ve her ifadeyi bir vektör alanına yerleştirerek ve her soru üzerindeki anlaşma ile anlaşmazlık ekseninde konumlandırarak ölçtüler.

Yaklaşık %77'sinde turlar grup gerçekten bölünmüş olarak başladı. İlk grup ifadeleri, gerçek ortalama azınlık payı 0.29 olan azınlık görüşlerini 0.29 olarak değerlendirdi, bu da neredeyse tam olarak orantılı temsildir. Revize edilmiş ifadeler, eleştiri turundan sonra yazıldığında, bunları 0.36 olarak değerlendirdi. Azınlık, büyüklüğüne göre aşırı temsil edildi ve grup yine de bu revize edilmiş ifadeleri tercih etti. Grup ifadelerinin %96'sı, grubun kendi görüşleri tarafından gerçekten kapsanan aralık içinde yer aldı, bu nedenle sistem kimsenin sahip olmadığı pozisyonlar icat etmiyordu.

Destek genel olarak çoğunluk pozisyonlarına kaymaya devam etti ve yazarlar bunu belirtiyor. Çoğunluklar %29'dan %32'ye kadar olan turlarda büyüdü ve azınlıklar %20'den %26'ya kadar büyüdü. Ancak, insanların yalnızca çoğunluk yanlısı ifadeler gösterildiği için çoğunluğa doğru kayıp kaymadıklarını test ettiklerinde, hiçbiriyle bir ilişki bulamadılar (P = 0.37). İnsanları hareket ettiren şey, argümanın içeriğiydi, tekrar tekrar maruz kalmak değil.

İnsan arabulucuları geride bıraktı ve bu en az önemli olanı.

Başlık sonucu, insanların karşısında bir başa baş yarışmaydı. 75 grupta, bir üye arabulucu olarak atanmış, grup beyanlarını yazmak için eğitilmiş ve grubun tercih ettiği her beyan için temel maaşlarının %50'sine kadar bir bonus teklif edilmiştir. Bu turlar boyunca makinenin beyanları, insanların %44'üne karşı %56 oranında tercih edilmiştir ve hem onay hem de kalite açısından daha yüksek puan almıştır. 155 bağımsız değerlendiriciden oluşan ayrı bir panel, bu beyanları daha net, daha bilgilendirici, daha az mantıksız ve yazarın kendi görüşünü gizleme olasılığının daha düşük olduğunu değerlendirmiştir.

Bu, en az güvenilecek bulgudur. Yazarlar burada dikkatli: gerçek fırsatı süper insan aracılığı değil, zaman açısından verimli, adil ve ölçeklenebilir olan müzakere olarak tanımlıyorlar. Sistem, insanların dakikalar aldığı yerlerde saniyeler içinde ifadeler üretti. Ve keşifsel bir analizde, yazarlar insanların kazandığı turlarda insan arabuluculardan benzer bir yakınsama buldular, bu da etkinin AI'ya özgü bir şeyden ziyade bir süreç olarak aracılı yapıdan gelebileceğini öne sürüyor. Eğer bu yorum doğruysa, çalışma daha az değil, daha faydalı hale geliyor, çünkü fayda, prosedürü benimsemeye istekli herhangi bir grup için mevcut oluyor, modelin devrede olup olmamasına bakılmaksızın.

Temsili bir örnekle çoğaltıldı ve her şeyde işe yaramadı.

Ana gruplar, şüpheci olunması gereken bir şey olan bir kitle kaynak kullanımı platformu aracılığıyla kolaylıkla toplandı. Bu nedenle yazarlar, Birleşik Krallık'ı yaş, cinsiyet kimliği, etnik köken, sosyoekonomik durum ve bölge açısından temsil edecek şekilde stratifiye edilmiş 200 katılımcı toplamak için gerçek vatandaş meclisleri yürüten Çekiliş Vakfı ile ortaklık kurdular. Katılımcılar, Nisan ve Mayıs 2023'te dokuz soru üzerinde üç haftalık bir saatlik oturumlar boyunca tartıştılar. Onay seviyeleri ve grup anlaşmasındaki artış her ikisi de tekrarlandı.

İlginç kısım, işe yaramadığı yer. Dokuz soru arasında, pozisyonlar beşte birleşti. Hapishane nüfusunu azaltma desteği %60'tan %75'e yükseldi ve sığınma girişini kolaylaştırma desteği %39'dan %51'e çıktı. Brexit konusunda hiçbir hareketlilik olmadı. Evrensel ücretsiz çocuk bakımında ise, görüşler tam tersine döndü; karşıtlık %33'ten %41'e yükseldi. Konu ne olursa olsun her soruda anlaşma üreten bir süreç, bir şeylerin yanlış gittiğine dair bir kanıt olurdu. Bu süreç, köklü pozisyonları köklü bırakmış durumda, ki bu da dürüst bir müzakerenin yapması gereken şeydir.

Sınırlar, açıkça belirtilmiştir

Tek bir çalışmaya dayanan herhangi bir iddia, o çalışmanın kendi uyarılarını taşımalıdır ve bu çalışmanın gerçek uyarıları vardır. Yazarlar bunların çoğunu kendileri listelemektedir.

Eleştirmenlerin haklı olduğu yerler

Makale, tartışmacı demokrasi akademisyenlerinden ciddi eleştiriler aldı ve bunların bazıları geçerli. En keskin eleştiri, Journal of Deliberative Democracy'de Alvaro Oleart ve Nicolás Palomo Hernández'den geliyor; bu süreçte katılımcıların birbirleriyle asla tartışmadığını belirtiyorlar. Özel olarak yazıyorlar, ardından makine çıktısını sıralıyorlar. Hiçbir itiraz yok, insanlar arasında nedenlerin değişimi yok, bir kişinin argümanının başka bir kişinin fikrini doğrudan değiştirdiği bir an yok. Bunu vatandaşlar olmadan tartışma olarak adlandırıyorlar ve ismin ironisini vurguluyorlar: Habermas, anlaşmayı gerçek bir tartışmanın ön koşulu olarak ele alıyordu, optimize edilmesi gereken bir hedef olarak değil.

Beth Simone Noveck farklı bir itirazda bulunuyor: uzlaşma, yönetişimin zor kısmı değildir. Gruplar genellikle bir sorun üzerinde ne yapacakları konusunda anlaşmaktan çok, sorunun ne olduğu konusunda anlaşmakta zorlanırlar ve iyi bir şekilde formüle edilmiş bir soru üzerinde uzlaşma sağlama konusunda mükemmel bir makine, kötü bir şekilde formüle edilmiş bir soruda yardımcı olmaz. Knight First Amendment Institute'deki araştırmacılar, bir bin görüşten bir sentez çıkarıldığında, hiçbir insanın bunun onları sadık bir şekilde temsil edip etmediğini doğrulayamaması gibi bir denetim sorununu ekliyorlar.

İlk eleştirinin en önemli olduğunu düşünüyoruz ve buna katılıyoruz. Bir süreci uzlaşma yönünde optimize etmek, insanların birlikte akıl yürütmesine yardımcı olmakla aynı şey değildir ve insan tartışmalarını aşarak uzlaşma üreten bir sistem, tartışmanın başlangıçta değerli olmasını sağlayan unsuru ortadan kaldırmıştır. İleriye taşınması gereken bulgu, bir modelin grubunuzun pozisyonunu yazmasına izin vermek değildir. Daha dar ve daha kalıcıdır: pozisyonlar açık olmalı, yapı dolaşımdan üstündür ve resmi bir itiraz turu sonucu değiştirir. Bunlar, sentez bir model, bir kolaylaştırıcı veya grup tarafından yapıldığında geçerlidir.

Pazartesi bununla ne yapmalı?

Dört mekanizmanın hiçbiri bir yapay zeka gerektirmiyor ve dördü de çoğu toplantının yanlış yaptığı şeyler. Tartışma öncesinde yazılı pozisyonları toplayın, tartışma sırasında değil. Çalışmaya katılanlar, her biri yaklaşık 65 kelime yazarak gerekçelerini ekledi; bu, yaklaşık beş dakikalık bir çalışma ve mevcut en ucuz değişiklik. Dağıtmak yerine sentezleyin. Herkesin yorumlarını iletmek, hiç hareket olmamasının tam koşuludur; birinin grubun gerçekten ortak paydada neyi benimsediğini taslak haline getirmesi ve düzeltmeye sunması gerekir. Sonunda kimin hala konuştuğuna göre değil, eşit ağırlık sıralamasıyla karar verin. Ve itiraz turunu planlayın, böylece karşı çıkmak herkesin gerçekleştirdiği bir görev haline gelir, birinin üstlenmesi gereken sosyal bir risk değil.

Eğer çevrimiçi tartışmalar yürütüyorsanız, kontrol sonucu özel bir dikkat gerektirir, çünkü bir tartışma panosu veya yorum dizisi kontrol koşuludur. Fikirleri dolaştırır ve hiçbir şey sentezlemez. Bu, tartışma panosu alternatifleri başlıklı yazıda yapılan yapısal bir tespittir ve şimdi arkasında önceden kaydedilmiş bir deney bulunmaktadır. bir tartışmayı nasıl yapılandıracağınız konusundaki dört aşamalı yapı, aynı hareketleri elle zorunlu kılar ve onay vs konsensüs başlığında, katılma ile sadece itiraz etmeme arasındaki ayrım ele alınmaktadır.

Bu, Argumentree hakkında ne söylediği ve ne söylemediği.

Bu konuda kesin olmalıyız, çünkü aşırı iddialarda bulunma cazibesi açıktır. Habermas Makinesi, bizim inşa ettiğimiz şey değildir. Her katılımcının her taslağı nasıl sıralayacağını tahmin eden kişiselleştirilmiş bir ödül modeli kullanarak aday uzlaşma ifadeleri üretir ve bunlar arasında simüle edilmiş bir seçimle seçim yapar. Argumentree bunu yapmaz ve bu çalışma ürünümüzü test etmez.

Test edilen şey, ürünümüzün üzerine inşa edildiği mekanizmadır. Tartışma bir noktaya varmadan önce, pozisyonlar açıkça yazılır ve gerekçeleri belirtilir. Argümanlar, bir dizi gönderi olarak dolaşmak yerine, ortak bir nesneye yapılandırılır. İtiraz, bir kesinti değil, eklenebileceği birinci sınıf bir eylemdir. Azınlık pozisyonları, çoğunluk görüşüne karışmak yerine görünür ve atfedilebilir kalır. Çalışmanın izole ettiği dört şey budur ve bunlar, yapılandırılmış bir argüman haritasının varsayılan olarak yaptığı dört şeydir. Fark, sentezimizin denetlenebilir kalmasıdır: her iddia, yazarını, itirazlarını ve desteklerini korur, böylece kimse kontrol edemediği bir özetine güvenmek zorunda kalmaz; bu, eleştirmenlerin dile getirdiği denetim sorunudur.

Hatırlamaya değer sonuç

Modeli, vatandaşlar meclisini ve bir yapay zekanın siyasi bir süreçte yer alıp almaması konusundaki tartışmayı bir kenara koyarsak, geriye sadece bir sayı kalıyor. Beş kişi, önemsedikleri bir konu hakkında birbirlerinin yazılı gerekçelerine tam erişim sağladı, öncesi ve sonrası ölçüldü: P = 0.64. Grupların uzlaşmaya ulaşmak için en yaygın olarak denediği yöntem, tüm görüşleri herkesin önüne koymak ve insanların okumalarına izin vermekti; bu yöntem şimdi bir kontrol grubuna karşı test edildi ve ölçülebilir bir etki üretmedi.

Çalışan koşul yeni bir bilgi eklemedi. Her katılımcı zaten her görüşe sahipti. Değişen şey, görüşlerin bir şekil alması, eşit ağırlıkla sıralanması ve bir resmi itiraz turuna tabi tutulmasıydı. Bu, teknolojik bir bulgu değil, daha çok bir prosedürel bulgudur ve tartışmalarını farklı bir şekilde yürütmeye istekli olan herkesin erişimine açıktır.