राय साझा करने से कुछ नहीं बदला: एक विज्ञान अध्ययन ने संरचित विचार-विमर्श के बारे में क्या पाया

पाँच अज्ञात व्यक्तियों को एक विभाजनकारी प्रश्न दिया गया। क्या राष्ट्रीय स्वास्थ्य सेवा का निजीकरण किया जाना चाहिए? क्या मतदान की आयु 16 वर्ष होनी चाहिए? उनमें से प्रत्येक ने अपनी ईमानदार स्थिति को निजी रूप से, अपने शब्दों में, उचित लंबाई में लिखा। फिर उन्होंने पढ़ा कि अन्य चार ने क्या लिखा था। उनकी घोषित स्थितियों को पहले मापा गया, और फिर बाद में।

कुछ भी नहीं हिला। न थोड़ा, न गलत दिशा में, न इतनी छोटी मात्रा में कि कोई फर्क पड़े। समूह सहमति में मापी गई परिवर्तन माइनस 0.005 थी, जिसमें p-value 0.64 थी, जो एक प्रयोग द्वारा रिपोर्ट की जा सकने वाली वास्तविकता के करीब है।

यह एक अध्ययन में नियंत्रण स्थिति थी जो साइंस में 18 अक्टूबर 2024 को प्रकाशित हुई थी। समान समूह, जिन्हें वही प्रश्न दिए गए और वही समय दिया गया, जिनकी लिखित राय को इसके बजाय एक उम्मीदवार समूह के बयान में संश्लेषित किया गया, रैंक किया गया, आलोचना की गई और फिर से लिखा गया, लगभग आठ प्रतिशत अंक तक एकत्रित हुए। एकमत तक पहुँचने वाले समूहों का अनुपात 22.8% से बढ़कर 38.6% हो गया। इस अध्ययन को आमतौर पर एक कहानी के रूप में रिपोर्ट किया जाता है जिसमें एक एआई मानव मध्यस्थों को हराता है। कहीं अधिक उपयोगी परिणाम वह है जिसे कोई सुर्खियाँ नहीं मिलीं: विचारों का आदान-प्रदान सामान्य आधार नहीं बनाता। उन्हें संरचना देना बनाता है।

अध्ययन ने वास्तव में क्या किया

यह पेपर है AI can help humans find common ground in democratic deliberation माइकल हेनरी टेस्लर, मिशियल बकर और गूगल डीपमाइंड, ऑक्सफोर्ड और हार्वर्ड के सहयोगियों द्वारा। यह जनवरी और अगस्त 2023 के बीच चलाए गए सात प्रयोगों की रिपोर्ट करता है जिसमें कुल 5,734 यूके प्रतिभागी शामिल हैं। नमूना आकार, बहिष्करण मानदंड और प्राथमिक विश्लेषण प्रीरजिस्टर किए गए थे डेटा संग्रह से पहले, और कोड सार्वजनिक रूप से जारी किया गया था। प्रीरजिस्ट्रेशन, एक वास्तविक नियंत्रण स्थिति, Science में प्रकाशन और ओपन कोड का यह संयोजन इस क्षेत्र में इतना दुर्लभ है कि इसे स्पष्ट रूप से बताना उचित है।

प्रतिभागियों ने लगभग पांच के समूहों में काम किया और लगभग एक घंटे में तीन प्रश्नों पर चर्चा की। प्रत्येक प्रश्न के लिए प्रक्रिया निर्धारित थी। पहले सभी ने अपनी स्थिति को व्यक्तिगत रूप से लिखा, जो 10 से 200 शब्दों के बीच था, औसतन लगभग 65 शब्द। उन लिखित विचारों को एक प्रणाली में भेजा गया जिसे लेखकों ने हैबरमास मशीन नाम दिया, जो उस दार्शनिक के नाम पर है जिसने तर्क किया कि सहमति तब उभरती है जब लोग निष्पक्ष परिस्थितियों में एक साथ तर्क करते हैं। प्रणाली ने समूह की सामान्य सहमति के कई संभावित बयानों का मसौदा तैयार किया। प्रतिभागियों ने उन्हें रैंक किया, और विजेता को एक रैंक-चॉइस चुनाव द्वारा चुना गया जिसमें प्रत्येक प्रतिभागी का वोट समान रूप से गिना गया। विजेता बयान फिर समूह के पास वापस गया, प्रत्येक व्यक्ति ने उसका निजी रूप से आलोचना लिखी, और प्रणाली ने उन आलोचनाओं से एक संशोधित मसौदा तैयार किया। प्रतिभागियों ने फिर से रैंक किया और अंततः मूल और संशोधित संस्करण के बीच चयन किया।

दो विवरणों को ध्यान में रखना महत्वपूर्ण है। प्रतिभागियों को बताया गया कि बयान मशीन द्वारा उत्पन्न किए गए थे, इसलिए इसमें कोई धोखा नहीं था। और प्रश्न स्वयं जानबूझकर विवादास्पद थे, जिनमें आव्रजन, सेवानिवृत्ति की आयु, जेलों की संख्या, ब्रेक्सिट, जलवायु लक्ष्यों और न्यूनतम वेतन को शामिल किया गया था। ये ऐसे विषय नहीं थे जिन्हें सहमति को आसान बनाने के लिए चुना गया हो।

इस प्रक्रिया ने चार चीजें कीं

मशीन लर्निंग को हटा दें और प्रक्रिया में चार कदम हैं। इनमें से प्रत्येक किसी भी समूह के लिए उपलब्ध है जिसमें एक साझा दस्तावेज़ और कुछ अनुशासन हो।

क्यों नियंत्रण स्थिति महत्वपूर्ण परिणाम है

इस तरह के किसी अध्ययन पर एक उचित आपत्ति यह है कि लोग केवल इसलिए एकमत होते हैं क्योंकि उन्होंने अंततः सुना कि बाकी सभी क्या सोचते हैं। लेखकों ने इसकी उम्मीद की और परीक्षण किया। 75 समूहों में 372 प्रतिभागियों का एक अतिरिक्त समूह समान अभ्यास किया, सिवाय इसके कि उन्होंने एक मसौदा समूह बयान को रेट करने के बजाय एक-दूसरे की व्यक्तिगत राय को रेट किया। समूह में हर दृष्टिकोण के लिए पूर्ण संपर्क, कोई संश्लेषण नहीं।

उस स्थिति में समूह की सहमति नहीं बदली (b = -0.005, t(230) = -0.46, P = 0.64), और दोनों स्थितियों के बीच का अंतर स्वयं सांख्यिकीय रूप से महत्वपूर्ण था (P = 0.0058)। यह एक नियंत्रित, पूर्व-रजिस्टर्ड परिणाम है, जो Science में प्रकाशित हुआ है, जो दिखाता है कि सभी की राय को प्रसारित करना समूह को सहमति की ओर नहीं ले जाता। यह साहित्य में टिप्पणी धागे का प्रत्यक्ष परीक्षण करने के लिए सबसे निकटतम चीज है, और टिप्पणी धागा इसमें असफल रहा।

यांत्रिकी के दूसरे आधे हिस्से का परीक्षण भी उतनी ही सावधानी से किया गया। संशोधित बयानों को प्राथमिकता दी जा सकती है क्योंकि लोग उन्हें दूसरे स्थान पर देखते हैं, थोड़ी अधिक मेहनत लगाने के बाद। इसलिए लेखकों ने 245 प्रतिभागियों का एक और समूह चलाया, जिन्होंने आलोचनाएँ लिखीं और फिर उन्हें ऐसे पुनर्लेखन दिखाए गए जो या तो वास्तव में उन्हें शामिल करते थे या नहीं। वास्तव में आलोचना से सूचित संस्करणों ने फिर भी जीत हासिल की (P = 0.0039)। आपत्ति दौर वास्तव में काम करता है।

संरचना ने अल्पसंख्यक को समतल नहीं किया। इसने इसे बढ़ा दिया।

किसी भी सहमति-खोजी प्रक्रिया के बारे में स्पष्ट डर यह है कि यह बेहतर शिष्टाचार के साथ बहुमत का शासन बन जाती है। लेखकों ने इसे साबित करने के बजाय मापने का प्रयास किया, प्रत्येक राय और प्रत्येक बयान को एक वेक्टर स्पेस में समाहित करके और उन्हें प्रत्येक प्रश्न पर सहमति से असहमति के अक्ष के साथ स्थानांतरित करके।

लगभग 77% राउंड्स में समूह वास्तव में विभाजित शुरू हुआ। प्रारंभिक समूह बयानों ने अल्पसंख्यक विचारों को 0.29 पर तौला, जबकि वास्तविक औसत अल्पसंख्यक हिस्सेदारी 0.29 थी, जो लगभग सटीक अनुपात प्रतिनिधित्व है। संशोधित बयानों, जो आलोचना राउंड के बाद लिखे गए, ने उन्हें 0.36 पर तौला। अल्पसंख्यक अपने आकार के सापेक्ष अधिक प्रतिनिधित्व में था, और समूह ने वैसे भी उन संशोधित बयानों को प्राथमिकता दी। समूह के बयानों का निन्यानवे प्रतिशत वास्तव में समूह की अपनी राय द्वारा फैले हुए दायरे के भीतर था, इसलिए प्रणाली ऐसी स्थितियों का आविष्कार नहीं कर रही थी जिन्हें कोई नहीं मानता था।

समर्थन कुल मिलाकर बहुसंख्यक स्थितियों की ओर बढ़ा, और लेखक ऐसा कहते हैं। बहुसंख्यक 29% से 32% राउंड में बढ़े और अल्पसंख्यक 20% से 26% में बढ़े। लेकिन जब उन्होंने परीक्षण किया कि क्या लोग केवल इसलिए बहुसंख्यक की ओर बढ़े क्योंकि उन्हें बहुसंख्यक-झुकाव वाले बयान दिखाए गए थे, तो उन्हें कोई संबंध नहीं मिला (P = 0.37)। जो भी लोगों को प्रभावित करता था, वह तर्क की सामग्री थी, न कि इसके प्रति बार-बार संपर्क।

इसने मानव मध्यस्थों को हरा दिया, और यह सबसे कम महत्वपूर्ण है।

मुख्य परिणाम लोगों के खिलाफ एक आमने-सामने की स्थिति थी। 75 समूहों में, एक सदस्य को मध्यस्थ के रूप में नियुक्त किया गया, जिसे समूह के बयान लिखने के लिए प्रशिक्षित किया गया और समूह द्वारा पसंद किए गए प्रत्येक बयान के लिए उनके मूल वेतन का 50% तक का बोनस दिया गया। उन राउंड में मशीन के बयानों को 56% समय मानवों के 44% की तुलना में पसंद किया गया, और इन्हें समर्थन और गुणवत्ता दोनों में उच्चतर रेटिंग मिली। 155 स्वतंत्र रेटर्स के एक अलग पैनल ने इन्हें स्पष्ट, अधिक जानकारीपूर्ण, कम तर्कहीन और लेखक की अपनी राय को शामिल करने की संभावना कम होने के रूप में आंका।

यह वह निष्कर्ष है जो यात्रा करता है, और यह सबसे कम भरोसा करने वाला है। लेखक यहाँ सावधान हैं: वे असली अवसर को सुपरह्यूमन मध्यस्थता नहीं बल्कि समय-कुशल, निष्पक्ष और स्केलेबल विचार-विमर्श के रूप में बताते हैं। प्रणाली ने सेकंडों में बयान उत्पन्न किए जबकि मनुष्यों को मिनटों लगे। और एक अन्वेषणात्मक विश्लेषण में, लेखकों ने पाया मानव मध्यस्थों से उन राउंड्स पर समान संकेंद्रण जहां मनुष्यों ने जीत हासिल की, जो सुझाव देता है कि प्रभाव मध्यस्थ संरचना के रूप में प्रक्रिया से आ सकता है न कि एआई से संबंधित किसी विशेष चीज़ से। यदि यह व्याख्या सही है तो यह अध्ययन को कम उपयोगी नहीं बल्कि अधिक उपयोगी बनाता है, क्योंकि तब लाभ किसी भी समूह के लिए उपलब्ध है जो प्रक्रिया को अपनाने के लिए तैयार है, चाहे वह मॉडल के साथ हो या बिना।

इसने एक प्रतिनिधि नमूने के साथ पुनरुत्पादन किया, और यह हर चीज़ पर काम नहीं किया।

मुख्य समूहों को एक भीड़-स्रोत प्लेटफॉर्म के माध्यम से सुविधा के अनुसार भर्ती किया गया, जिस पर संदेह करना उचित है। इसलिए लेखकों ने सॉर्टिशन फाउंडेशन के साथ साझेदारी की, जो वास्तविक नागरिकों की सभा चलाता है, ताकि 200 प्रतिभागियों की भर्ती की जा सके जो उम्र, लिंग पहचान, जातीयता, सामाजिक-आर्थिक स्थिति और क्षेत्र के आधार पर यूके का प्रतिनिधित्व करें। उन्होंने अप्रैल और मई 2023 में नौ प्रश्नों पर तीन साप्ताहिक एक घंटे के सत्रों में विचार-विमर्श किया। समर्थन स्तर और समूह की सहमति में वृद्धि दोनों की पुनरावृत्ति हुई।

दिलचस्प बात यह है कि जहां यह काम नहीं किया। नौ सवालों में, स्थितियां पांच पर एकत्रित हुईं। जेल की जनसंख्या को कम करने के लिए समर्थन 60% से बढ़कर 75% हो गया, और शरण में प्रवेश को आसान बनाने के लिए 39% से 51% हो गया। ब्रेक्सिट पर कोई भी आंदोलन नहीं हुआ। सार्वभौमिक मुफ्त बाल देखभाल पर, राय दूसरी दिशा में बढ़ी, जिसमें विरोध 33% से बढ़कर 41% हो गया। एक प्रक्रिया जो हर सवाल पर विषय की परवाह किए बिना सहमति उत्पन्न करती है, यह कुछ गलत होने का सबूत होगा। यह एक ऐसा मामला था जिसने स्थापित स्थितियों को स्थापित रखा, जो लगभग एक ईमानदार विचार-विमर्श का काम होना चाहिए।

सीमाएँ, स्पष्ट रूप से बताई गई

किसी भी दावे को एकल अध्ययन पर आधारित होने पर उस अध्ययन की अपनी चेतावनियों को शामिल करना चाहिए, और इस अध्ययन में वास्तविक चेतावनियाँ हैं। लेखक इनमें से अधिकांश को स्वयं सूचीबद्ध करते हैं।

जहाँ आलोचकों की बात सही है

इस पेपर ने विचारशील लोकतंत्र के विद्वानों से गंभीर आलोचना को आकर्षित किया, और इसका कुछ हिस्सा सही है। सबसे तीखी आलोचना अल्वारो ओलेर्ट और निकोलस पालोमो हर्नांडेज़ द्वारा जर्नल ऑफ डेलिबरेटिव डेमोक्रेसी में की गई है, जो यह बताते हैं कि इस प्रक्रिया में प्रतिभागी वास्तव में एक-दूसरे के साथ तर्क नहीं करते। वे निजी रूप से लिखते हैं, फिर मशीन के आउटपुट को रैंक करते हैं। कोई खंडन नहीं है, लोगों के बीच कोई तर्क-वितर्क नहीं है, कोई ऐसा क्षण नहीं है जहां एक व्यक्ति का तर्क दूसरे व्यक्ति के विचार को सीधे बदलता है। वे इसे नागरिकों के बिना विचार-विमर्श कहते हैं, और वे नाम की विडंबना को नोट करते हैं: हैबरमास ने सहमति को वास्तविक संवाद की पूर्व शर्त के रूप में माना, न कि इसे अनुकूलित करने के लक्ष्य के रूप में।

बेथ सिमोन नोवेक एक अलग आपत्ति उठाती हैं: सहमति शासन का कठिन हिस्सा नहीं है। समूह अक्सर इस बात पर सहमत होने में असफल होते हैं कि समस्या क्या है, बजाय इसके कि इसके बारे में क्या किया जाए, और एक मशीन जो एक अच्छी तरह से प्रस्तुत प्रश्न पर सहमति उत्पन्न करने में उत्कृष्ट है, एक खराब प्रस्तुत प्रश्न के साथ मदद नहीं करती। नाइट फर्स्ट अमेंडमेंट इंस्टीट्यूट के शोधकर्ता निगरानी की समस्या जोड़ते हैं, जो यह है कि जब एक हजार रायों से एक संश्लेषण निकाला जाता है, तो कोई भी मानव यह सत्यापित नहीं कर सकता कि यह उन्हें सच्चाई से दर्शाता है।

हम मानते हैं कि पहली आलोचना सबसे महत्वपूर्ण है, और हम इससे सहमत हैं। सहमति की ओर एक प्रक्रिया का अनुकूलन करना लोगों को एक साथ तर्क करने में मदद करने के समान नहीं है, और एक प्रणाली जो मानव तर्क के चारों ओर मार्गदर्शन करके सहमति उत्पन्न करती है, उसने पहले स्थान पर विचार-विमर्श को मूल्यवान बनाने वाली चीज़ को हटा दिया है। आगे ले जाने के लिए निष्कर्ष यह नहीं है कि एक मॉडल आपके समूह की स्थिति लिखे। यह संकीर्ण और अधिक टिकाऊ है: स्थितियाँ स्पष्ट होनी चाहिए, संरचना परिसंचरण को मात देती है, और आपत्ति का एक औपचारिक दौर परिणाम को बदलता है। ये सभी तब भी लागू होते हैं जब संश्लेषण एक मॉडल, एक सुविधा प्रदाता, या समूह स्वयं द्वारा किया जाता है।

सोमवार को इसके साथ क्या करना है

चार में से कोई भी तंत्र AI की आवश्यकता नहीं है, और चारों ही ऐसी चीजें हैं जो अधिकांश बैठकें गलत करती हैं। चर्चा से पहले लिखित स्थिति एकत्र करें, न कि इसके दौरान। अध्ययन के प्रतिभागियों ने लगभग 65 शब्द लिखे, जिसमें उनके तर्क जुड़े हुए थे, जो लगभग पांच मिनट का काम है और यह सबसे सस्ता बदलाव है। प्रसारित करने के बजाय संश्लेषित करें। सभी के टिप्पणियों को आगे बढ़ाना बिल्कुल वही स्थिति है जिसने कोई भी प्रगति नहीं की; किसी को यह तैयार करना होगा कि समूह वास्तव में क्या साझा करता है और इसे सुधार के लिए प्रस्तुत करना होगा। बराबर-भार रैंकिंग द्वारा निर्णय लें न कि इस आधार पर कि अंत में कौन अभी भी बोल रहा है। और आपत्ति दौर का कार्यक्रम बनाएं, ताकि असहमत होना एक ऐसा कार्य हो जो हर कोई करे, न कि एक सामाजिक जोखिम जिसे किसी को उठाना पड़े।

यदि आप ऑनलाइन चर्चाएँ चलाते हैं, तो नियंत्रण परिणाम विशेष ध्यान देने योग्य है, क्योंकि एक चर्चा बोर्ड या टिप्पणी धागा है नियंत्रण स्थिति। यह विचारों का प्रसार करता है और कुछ भी संश्लेषित नहीं करता। यह संरचनात्मक मामला चर्चा बोर्ड विकल्पों में प्रस्तुत किया गया है, और इसके पीछे अब एक पूर्व-पंजीकृत प्रयोग है। एक बहस को कैसे संरचित करें में चार-चरणीय संरचना हाथ से वही कदम लागू करती है, और सहमति और केवल आपत्ति न करने के बीच का अंतर सहमति बनाम सहमति में कवर किया गया है।

यह Argumentree के बारे में क्या कहता है और क्या नहीं कहता है

हमें इस बारे में सटीक होना चाहिए, क्योंकि अधिक दावा करने का प्रलोभन स्पष्ट है। हाबरमास मशीन वह नहीं है जो हमने बनाया। यह एक व्यक्तिगत पुरस्कार मॉडल का उपयोग करके उम्मीदवार सहमति बयानों का उत्पादन करती है जो यह भविष्यवाणी करता है कि प्रत्येक प्रतिभागी प्रत्येक मसौदे को कैसे रैंक करेगा, और यह एक अनुकरणीय चुनाव के साथ उनके बीच चयन करती है। आर्गुमेंट्री ऐसा नहीं करता, और यह अध्ययन हमारे उत्पाद का परीक्षण नहीं करता।

यह जो परीक्षण करता है वह उस तंत्र को है जिस पर हमारा उत्पाद आधारित है। चर्चा के एकत्रित होने से पहले, पदों को स्पष्ट रूप से उनके तर्क के साथ लिखा जाता है। तर्कों को एक साझा कलाकृति में संरचित किया जाता है, न कि पोस्टों के ढेर के रूप में प्रसारित किया जाता है। आपत्ति एक प्रमुख क्रिया है जिसमें कहीं संलग्न होने की जगह होती है, न कि एक विघटन के रूप में। अल्पसंख्यक पद दृश्य में और श्रेय योग्य रहते हैं, न कि बहुसंख्यक दृष्टिकोण में विलीन हो जाते हैं। ये चार चीजें हैं जिन्हें अध्ययन ने अलग किया, और ये चार चीजें हैं जो एक संरचित तर्क मानचित्र स्वचालित रूप से करता है। अंतर यह है कि हमारी संश्लेषण निरीक्षण योग्य रहती है: हर दावा अपने लेखक, अपनी आपत्तियों और अपने समर्थन को बनाए रखता है, इसलिए किसी को भी एक सारांश पर भरोसा नहीं करना पड़ता जिसे वे जांच नहीं सकते, जो कि आलोचकों द्वारा उठाया गया ठीक वही निगरानी समस्या है।

याद रखने योग्य परिणाम

मॉडल, नागरिकों की सभा और इस तर्क को हटा दें कि क्या एक एआई को राजनीतिक प्रक्रिया के करीब होना चाहिए, और एक संख्या सभी में जीवित रहती है। पांच लोग, एक प्रश्न पर एक-दूसरे की लिखित तर्कों तक पूरी पहुंच, जो उन्हें महत्वपूर्ण था, मापी गई पहले और बाद में: P = 0.64। समूहों द्वारा सहमति तक पहुँचने का सबसे सामान्य तरीका, जो सभी दृष्टिकोणों को सभी के सामने रखना और लोगों को पढ़ने देना है, अब एक नियंत्रण के खिलाफ परीक्षण किया गया है और इसका कोई मापने योग्य प्रभाव नहीं पड़ा।

जिस स्थिति में काम किया गया, उसने कोई नई जानकारी नहीं जोड़ी। हर प्रतिभागी के पास पहले से ही हर राय थी। जो बदला वह यह था कि रायों को एक आकार दिया गया, समान वजन के साथ रैंक किया गया, और एक औपचारिक आपत्ति के दौर के अधीन किया गया। यह एक प्रक्रियात्मक निष्कर्ष है न कि तकनीकी, और यह किसी भी व्यक्ति के लिए उपलब्ध है जो अपनी चर्चाओं को अलग तरीके से चलाने के लिए तैयार है।