به اشتراک گذاری نظرات هیچ چیزی را تغییر نداد: یک مطالعه علمی چه چیزی درباره بررسی ساختاریافته پیدا کرد

پنج غریبه یک سوال جنجالی دریافت کردند. آیا خدمات بهداشت ملی باید خصوصی‌سازی شود؟ آیا سن رأی‌گیری باید به ۱۶ سال کاهش یابد؟ هر یک از آن‌ها موقعیت صادقانه خود را به صورت خصوصی، با کلمات خود و به طول معقول نوشتند. سپس آن‌ها آنچه را که چهار نفر دیگر نوشته بودند خواندند. مواضع اعلام شده آن‌ها قبل و بعد از این خواندن اندازه‌گیری شد.

هیچ چیزی حرکت نکرد. نه به طور جزئی، نه در جهت نادرست، نه به مقداری که خیلی کوچک باشد تا اهمیت داشته باشد. تغییر اندازه‌گیری شده در توافق گروه منفی 0.005 بود، با یک مقدار p به اندازه 0.64، که به معنای واقعی کلمه به هیچ چیز نزدیک است که یک آزمایش می‌تواند گزارش کند.

این شرایط کنترل در یک مطالعه منتشر شده در Science در ۱۸ اکتبر ۲۰۲۴ بود. گروه‌های مقایسه‌ای که همان سوالات و همان مقدار زمان را دریافت کردند و نظرات مکتوب آن‌ها به جای آنکه به یک بیانیه گروه کاندیدا ترکیب، رتبه‌بندی، نقد و بازنویسی شود، به حدود هشت درصد نزدیک‌تر شدند. نسبت گروه‌هایی که به اجماع رسیدند از ۲۲.۸٪ به ۳۸.۶٪ افزایش یافت. این مطالعه معمولاً به عنوان داستانی درباره برتری هوش مصنوعی بر میانجی‌های انسانی گزارش می‌شود. نتیجه‌ای که بسیار مفیدتر است و هیچ تیتر خبری ندارد: تبادل نظرها زمین مشترکی تولید نمی‌کند. ساختاردهی به آن‌ها این کار را انجام می‌دهد.

آنچه که مطالعه در واقع انجام داد

این مقاله هوش مصنوعی می‌تواند به انسان‌ها کمک کند تا در بحث‌های دموکراتیک به نقطه مشترک برسند نوشته مایکل هنری تسلر، میشیل باکر و همکارانشان در گوگل دیپ‌مایند، آکسفورد و هاروارد است. این مقاله به هفت آزمایش که بین ژانویه و اوت ۲۰۲۳ انجام شده‌اند، با مجموع ۵,۷۳۴ شرکت‌کننده از بریتانیا می‌پردازد. اندازه نمونه‌ها، معیارهای حذف و تحلیل‌های اولیه قبل از جمع‌آوری داده‌ها ثبت‌نام شده بودند و کد به‌طور عمومی منتشر شد. این ترکیب از ثبت‌نام پیشین، یک شرایط کنترل واقعی، انتشار در Science و کد باز به اندازه‌ای در این حوزه نادر است که ارزش دارد به‌طور واضح بیان شود.

شرکت‌کنندگان در گروه‌های حدود پنج نفره کار کردند و در حدود یک ساعت به سه سوال بحث کردند. برای هر سوال، رویه ثابت بود. هر کس ابتدا نظر خود را به صورت خصوصی نوشت، بین ۱۰ تا ۲۰۰ کلمه، که به طور متوسط حدود ۶۵ کلمه بود. آن نظرات نوشته شده به سیستمی منتقل شد که نویسندگان آن را ماشین هابرماس نامیدند، به نام فیلسوفی که استدلال کرد توافق زمانی به وجود می‌آید که مردم تحت شرایط عادلانه با هم استدلال کنند. این سیستم چندین بیانیه پیشنهادی از زمین مشترک گروه تهیه کرد. شرکت‌کنندگان آن‌ها را رتبه‌بندی کردند و برنده از طریق یک انتخابات انتخاباتی با رتبه‌بندی انتخاب شد که در آن رأی هر شرکت‌کننده به طور مساوی محاسبه می‌شد. بیانیه برنده به گروه بازگشت، هر شخص به صورت خصوصی نقدی بر آن نوشت و سیستم پیش‌نویس اصلاح‌شده‌ای از آن نقدها تولید کرد. شرکت‌کنندگان دوباره رتبه‌بندی کردند و در نهایت بین نسخه اصلی و نسخه اصلاح‌شده انتخاب کردند.

دو جزئیات ارزش نگه‌داشتن دارند. به شرکت‌کنندگان گفته شد که بیانیه‌ها توسط ماشین تولید شده‌اند، بنابراین هیچ فریبی در کار نبود. و خود سوالات به‌طور عمدی جنجالی بودند و موضوعاتی مانند مهاجرت، سن بازنشستگی، تعداد زندانیان، برگزیت، اهداف اقلیمی و حداقل دستمزد را پوشش می‌دادند. این‌ها موضوعات مقدماتی نبودند که برای آسان‌تر کردن توافق انتخاب شده باشند.

چهار کاری که این روش انجام داد

بدون در نظر گرفتن یادگیری ماشین، این روش شامل چهار حرکت است. هر یک از آن‌ها برای هر گروهی که یک سند مشترک و مقداری انضباط داشته باشد، در دسترس است.

چرا شرایط کنترل نتیجه مهمی است

یک اعتراض معقول به هر مطالعه‌ای از این دست این است که مردم صرفاً به این دلیل هم‌راستا می‌شوند که بالاخره نظرات دیگران را شنیده‌اند. نویسندگان این موضوع را پیش‌بینی کردند و آزمایش را انجام دادند. یک گروه اضافی از 372 شرکت‌کننده در 75 گروه همان تمرین را انجام دادند، به جز اینکه به جای ارزیابی یک بیانیه گروهی پیش‌نویس، نظرات فردی یکدیگر را ارزیابی کردند. قرار گرفتن کامل در معرض هر دیدگاه در گروه، بدون ترکیب.

توافق گروه در آن شرایط تغییر نکرد (b = -0.005, t(230) = -0.46, P = 0.64) و تفاوت بین دو شرایط خود به طور آماری معنادار بود (P = 0.0058). این یک نتیجه کنترل‌شده و پیش‌ثبت‌شده است که در Science منتشر شده و نشان می‌دهد که گردش نظرات همه افراد گروه را به سمت توافق نمی‌برد. این نزدیک‌ترین چیزی است که ادبیات به یک آزمون مستقیم از رشته نظرات دارد و رشته نظرات در این آزمون شکست خورد.

نیمه دیگر مکانیزم نیز به همین دقت آزمایش شد. ممکن است بیانیه‌های اصلاح‌شده به سادگی به دلیل اینکه مردم آنها را دومین بار دیدند، پس از صرف کمی تلاش بیشتر، ترجیح داده شوند. بنابراین نویسندگان یک گروه دیگر از 245 شرکت‌کننده را به کار گرفتند که نقدهایی نوشتند و سپس پیش‌نویس‌هایی به آنها نشان داده شد که یا واقعاً شامل نقدهای آنها بود یا نبود. نسخه‌های واقعاً مبتنی بر نقد هنوز برنده شدند (P = 0.0039). دور اعتراض کار واقعی انجام می‌دهد.

ساختار اقلیت را مسطح نکرد. بلکه آن را تقویت کرد.

ترس واضح درباره هر فرآیند جستجوی توافق این است که به حکمرانی اکثریت با آداب بهتر تبدیل شود. نویسندگان این موضوع را اندازه‌گیری کردند به جای اینکه آن را ادعا کنند، با قرار دادن هر نظر و هر بیانیه در یک فضای برداری و مکان‌یابی آن‌ها در امتداد محوری که از توافق تا عدم توافق در هر سوال کشیده شده است.

در حدود 77% از دورها گروه به‌طور واقعی تقسیم شده آغاز شد. بیانیه‌های ابتدایی گروه نظرات اقلیت را با وزن 0.29 محاسبه کردند، در برابر سهم واقعی متوسط اقلیت 0.29، که تقریباً نمایندگی متناسب است. بیانیه‌های بازنگری‌شده، که پس از دور نقد نوشته شدند، آنها را با وزن 0.36 محاسبه کردند. اقلیت نسبت به اندازه‌اش بیش از حد نمایندگی شده بود و گروه به هر حال آن بیانیه‌های بازنگری‌شده را ترجیح داد. نود و شش درصد از بیانیه‌های گروه در محدوده‌ای که واقعاً توسط نظرات خود گروه پوشش داده شده بود، قرار داشتند، بنابراین سیستم در حال اختراع موضعاتی نبود که هیچ‌کس آنها را نداشت.

حمایت به طور کلی به سمت مواضع اکثریت تغییر کرد و نویسندگان نیز به این موضوع اشاره می‌کنند. اکثریت‌ها در ۲۹٪ تا ۳۲٪ از دورها افزایش یافتند و اقلیت‌ها در ۲۰٪ تا ۲۶٪ افزایش داشتند. اما زمانی که آنها آزمایش کردند که آیا مردم تنها به دلیل نمایش بیانیه‌های متمایل به اکثریت به سمت اکثریت حرکت کرده‌اند یا خیر، هیچ رابطه‌ای پیدا نکردند (P = 0.37). هر چیزی که مردم را به حرکت درآورد، محتوای استدلال بود، نه قرار گرفتن مکرر در معرض آن.

این بر واسطه‌های انسانی غلبه کرد و این کمترین اهمیت را دارد.

نتیجه اصلی یک مقایسه مستقیم با انسان‌ها بود. در 75 گروه، یک عضو به عنوان میانجی تعیین شد، آموزش دیده بود تا بیانیه‌های گروه را بنویسد و برای هر بیانیه‌ای که گروه ترجیح می‌داد، پاداشی تا 50% از حقوق پایه‌اش دریافت می‌کرد. در این دورها، بیانیه‌های ماشین 56% از اوقات به بیانیه‌های انسان‌ها 44% ترجیح داده شد و در هر دو مورد تأیید و کیفیت، امتیاز بالاتری دریافت کرد. یک پنل جداگانه متشکل از 155 ارزیاب مستقل، آن‌ها را واضح‌تر، اطلاعاتی‌تر، کمتر غیرمنطقی و کمتر احتمالاً حاوی نظر شخصی نویسنده قضاوت کردند.

این یافته‌ای است که سفر کرده و کمترین تکیه بر آن می‌شود. خود نویسندگان در اینجا محتاط هستند: آنها فرصت واقعی را نه میانجی‌گری فوق‌انسانی بلکه بررسی‌ای می‌دانند که زمان‌کارآمد، عادلانه و مقیاس‌پذیر است. سیستم در عرض چند ثانیه بیانیه‌هایی تولید کرد در حالی که انسان‌ها چند دقیقه زمان می‌بردند. و در یک تحلیل اکتشافی، نویسندگان همگرایی مشابهی از میانجی‌گران انسانی در دورهایی که انسان‌ها پیروز شدند یافتند، که نشان می‌دهد این اثر ممکن است ناشی از ساختار میانجی‌گری به عنوان یک فرآیند باشد نه از چیزی خاص مربوط به هوش مصنوعی. اگر این تفسیر درست باشد، مطالعه را مفیدتر می‌کند نه کمتر، زیرا در این صورت مزیت آن برای هر گروهی که مایل به پذیرش این روش باشد، با یا بدون مدل در حلقه، در دسترس است.

این با یک نمونه نماینده تکرار شد و بر روی همه چیز کار نکرد.

گروه‌های اصلی به‌طور راحتی از طریق یک پلتفرم جمع‌سپاری جذب شدند، که این موضوع قابل تردید است. بنابراین نویسندگان با بنیاد قرعه‌کشی که مجامع واقعی شهروندان را برگزار می‌کند، همکاری کردند تا ۲۰۰ شرکت‌کننده را به‌صورت طبقه‌بندی‌شده برای نمایندگی از بریتانیا در زمینه سن، هویت جنسیتی، قومیت، وضعیت اقتصادی-اجتماعی و منطقه جذب کنند. آن‌ها در سه جلسه یک‌ساعته هفتگی در آوریل و مه ۲۰۲۳، بر روی نه سوال بحث کردند. سطوح تأیید و افزایش توافق گروهی هر دو تکرار شدند.

قسمت جالب این است که در جایی که کار نکرد. در میان نه سوال، مواضع به پنج موضع نزدیک شد. حمایت از کاهش جمعیت زندان از 60% به 75% افزایش یافت و برای تسهیل ورود پناهندگان از 39% به 51% رسید. در برگزیت هیچ حرکتی وجود نداشت. در مورد مراقبت رایگان کودکانه جهانی، نظر به سمت مخالف حرکت کرد و مخالفت از 33% به 41% افزایش یافت. فرآیندی که توافقی در هر سوال بدون توجه به موضوع ایجاد کند، نشانه‌ای از وجود مشکل خواهد بود. این یکی مواضع تثبیت شده را تثبیت کرد، که به طور تقریبی همان چیزی است که یک بررسی صادقانه باید انجام دهد.

محدودیت‌ها، به وضوح بیان شده‌اند

هر ادعایی که بر اساس یک مطالعه واحد ساخته شده باشد، باید شامل هشدارهای آن مطالعه باشد و این یکی هشدارهای واقعی دارد. نویسندگان بیشتر آن‌ها را خودشان فهرست کرده‌اند.

جایی که منتقدان حق دارند

این مقاله انتقادات جدی از سوی پژوهشگران دموکراسی مشورتی را به خود جلب کرد و برخی از آن‌ها وارد است. تندترین انتقاد از آلوارو اولئارت و نیکولاس پالمو هرناندز در نشریه دموکراسی مشورتی می‌آید، که اشاره می‌کنند در این فرایند شرکت‌کنندگان هرگز واقعاً با یکدیگر بحث نمی‌کنند. آن‌ها به صورت خصوصی می‌نویسند و سپس خروجی ماشین را رتبه‌بندی می‌کنند. هیچ رد و اعتراضی وجود ندارد، هیچ تبادل دلیلی بین افراد نیست، و هیچ لحظه‌ای وجود ندارد که استدلال یک نفر به طور مستقیم نظر نفر دیگر را تغییر دهد. آن‌ها این را مشاوره بدون شهروندان می‌نامند و به طعنه نام آن اشاره می‌کنند: هابرماس توافق را به عنوان پیش‌نیاز گفتگوی واقعی در نظر می‌گرفت، نه به عنوان هدفی که باید بهینه‌سازی شود.

بث سیمون نووک اعتراض متفاوتی را مطرح می‌کند: اجماع بخش سخت حکمرانی نیست. گروه‌ها بیشتر در توافق بر سر اینکه مشکل چیست، ناکام می‌مانند تا اینکه بر سر اینکه چه کاری باید انجام دهند. و ماشینی که در تولید توافق بر روی یک سوال به‌خوبی مطرح شده عالی است، در مورد یک سوال بد مطرح شده کمکی نمی‌کند. محققان در مؤسسه اولویت اول اصلاحیه کایت، مشکل نظارت را اضافه می‌کنند، که این است که وقتی از هزار نظر یک ترکیب استخراج می‌شود، هیچ انسانی نمی‌تواند تأیید کند که این ترکیب به‌طور وفادارانه نمایانگر آن‌هاست.

ما فکر می‌کنیم اولین انتقاد مهم‌ترین است و با آن موافقیم. بهینه‌سازی یک فرایند به سمت توافق با کمک به مردم برای استدلال مشترک یکسان نیست، و سیستمی که با دور زدن استدلال انسانی اجماع تولید می‌کند، چیزی را که در ابتدا ارزشمندی بررسی را ایجاد کرده بود، حذف کرده است. یافته‌ای که باید به جلو برده شود این نیست که اجازه دهید یک مدل موضع گروه شما را بنویسد. این موضوع باریک‌تر و پایدارتر است: مواضع باید صریح باشند، ساختار بر گردش ارجحیت دارد و یک دور رسمی از اعتراض نتیجه را تغییر می‌دهد. این موارد چه توسط یک مدل، یک تسهیل‌گر یا خود گروه انجام شود، صدق می‌کند.

روز دوشنبه با این چه کار باید کرد

هیچ‌یک از چهار مکانیزم به هوش مصنوعی نیاز ندارد و همه چهار مورد چیزهایی هستند که بیشتر جلسات در آن‌ها اشتباه می‌کنند. مواضع مکتوب را قبل از بحث جمع‌آوری کنید، نه در حین آن. شرکت‌کنندگان در مطالعه به‌طور تقریبی ۶۵ کلمه با دلایل خود نوشتند که حدود پنج دقیقه کار است و ارزان‌ترین تغییر موجود است. ترکیب کنید نه اینکه توزیع کنید. ارسال نظرات همه دقیقاً شرایطی است که هیچ حرکتی ایجاد نکرد؛ کسی باید آنچه را که گروه واقعاً در آن مشترک است، پیش‌نویس کند و برای اصلاح ارائه دهد. با رتبه‌بندی با وزن برابر تصمیم بگیرید نه بر اساس اینکه چه کسی در پایان هنوز صحبت می‌کند. و دور اعتراض را برنامه‌ریزی کنید، به‌طوری‌که مخالفت کردن یک وظیفه باشد که همه انجام می‌دهند نه اینکه یک ریسک اجتماعی باشد که کسی باید به عهده بگیرد.

اگر شما بحث‌های آنلاین را مدیریت می‌کنید، نتیجه کنترل نیاز به توجه خاصی دارد، زیرا یک تابلو بحث یا رشته نظرات شرط کنترل است. این نظرات را در گردش قرار می‌دهد و هیچ چیزی را ترکیب نمی‌کند. این ساختار در جایگزین‌های تابلو بحث مطرح شده است و اکنون یک آزمایش پیش‌ثبت شده پشت آن قرار دارد. ساختار چهار مرحله‌ای در چگونه یک مناظره را ساختاربندی کنیم همان حرکات را به صورت دستی تحمیل می‌کند و تمایز بین موافقت و صرفاً عدم اعتراض در موافقت در برابر اجماع پوشش داده شده است.

این چه چیزی را درباره Argumentree می‌گوید و چه چیزی را نمی‌گوید

ما باید در این مورد دقیق باشیم، زیرا وسوسه‌ی ادعای بیش از حد واضح است. ماشین هابرماس چیزی نیست که ما ساخته‌ایم. این ماشین بیانیه‌های اجماعی کاندیدا را با استفاده از یک مدل پاداش شخصی‌سازی شده تولید می‌کند که پیش‌بینی می‌کند هر شرکت‌کننده چگونه هر پیش‌نویس را رتبه‌بندی خواهد کرد و بین آن‌ها با یک انتخابات شبیه‌سازی شده انتخاب می‌کند. آرگومنتری این کار را انجام نمی‌دهد و این مطالعه محصول ما را آزمایش نمی‌کند.

آنچه که آزمایش می‌کند، مکانیزمی است که محصول ما بر اساس آن ساخته شده است. مواضع به‌طور صریح نوشته می‌شوند، با دلایلشان، قبل از اینکه بحث به یک نتیجه واحد برسد. استدلال‌ها به یک اثر مشترک ساختار یافته تبدیل می‌شوند و نه به‌صورت یک دسته از پست‌ها. اعتراض یک عمل درجه یک است که جایی برای پیوست دارد، نه یک وقفه. مواضع اقلیت قابل مشاهده و قابل انتساب باقی می‌مانند و به دیدگاه اکثریت حل نمی‌شوند. این چهار موردی است که مطالعه جدا کرده است و این چهار مورد به‌طور پیش‌فرض توسط یک نقشه استدلال ساختار یافته انجام می‌شود. تفاوت این است که ترکیب ما قابل بررسی باقی می‌ماند: هر ادعا نویسنده، اعتراضات و حمایت‌های خود را حفظ می‌کند، بنابراین هیچ‌کس مجبور نیست به خلاصه‌ای که نمی‌تواند بررسی کند، اعتماد کند، که دقیقاً مشکل نظارت است که منتقدان مطرح می‌کنند.

نتیجه‌ای که ارزش به یاد سپردن دارد

مدل، مجمع شهروندان و بحث درباره اینکه آیا یک هوش مصنوعی باید در فرآیند سیاسی حضور داشته باشد یا نه را کنار بگذارید، و یک عدد از همه اینها باقی می‌ماند. پنج نفر، دسترسی کامل به استدلال‌های مکتوب یکدیگر درباره سوالی که برایشان مهم بود، قبل و بعد اندازه‌گیری شده: P = 0.64. رایج‌ترین راهی که گروه‌ها سعی می‌کنند به توافق برسند، که این است که همه نظرات را در مقابل همه قرار دهند و به مردم اجازه دهند بخوانند، اکنون در برابر یک کنترل آزمایش شده و هیچ اثر قابل اندازه‌گیری تولید نکرده است.

شرطی که کار کرد هیچ اطلاعات جدیدی اضافه نکرد. هر شرکت‌کننده قبلاً هر نظری را داشت. آنچه تغییر کرد این بود که نظرات شکلی به خود گرفتند، با وزن برابر رتبه‌بندی شدند و تحت یک دور رسمی از اعتراض قرار گرفتند. این یک یافته‌ی رویه‌ای است نه یک یافته‌ی فناوری، و برای هر کسی که مایل به برگزاری بحث‌های خود به شیوه‌ای متفاوت باشد در دسترس است.