एक डेल्फी अध्ययन चलाना जहां तर्क राउंड्स में जीवित रहता है

पैनल जो किसी ऐसी चीज़ पर एकत्र हुआ जिसे कोई समझा नहीं सका

डेल्फी अध्ययन का राउंड 3 समाप्त होता है और समन्वयक पैनल को ईमेल करता है: सहमति प्राप्त हुई। दस साल की अपनाने के प्रश्न पर माध्य 6.1 से 7.8 पर चला गया; मानक विचलन आधा हो गया; रिपोर्ट अपने आप लिखती है। फिर एक पैनलिस्ट — एक सावधान पैनलिस्ट — उस प्रश्न के साथ जवाब देता है जो इसे खोल देता है: "मैंने अपना अनुमान संशोधित किया क्योंकि राउंड-2 का सारांश कहता है कि समूह के पास आशावाद के लिए मजबूत कारण थे। क्या मैं उन कारणों को देख सकता हूँ? मैं जानना चाहूंगा कि मैंने किस पर सहमति दी।"

कोई अच्छा उत्तर नहीं है। राउंड सर्वेक्षण थे। उनके बीच, पैनल ने माध्य, चौथाई और एक सुविधा प्रदाता का दो-पैराग्राफ़ का सारांश देखा। कारण — जो भी विशिष्ट तर्क ग्यारह विशेषज्ञों को ऊपर की ओर संशोधित करने के लिए प्रेरित करते थे — मुक्त-टेक्स्ट बॉक्स में टाइप किए गए, सारांश में संकुचित किए गए, और खो गए। पैनल एकत्रित हुआ; किस तर्क पर, कोई नहीं कह सकता।

यह एक टूटी हुई अध्ययन नहीं है; यह मानक उपकरणों के साथ मानक प्रथा है, और यह विधि की सबसे अच्छी विशेषता को बर्बाद करता है। डेल्फी को एक सटीक अंतर्दृष्टि के चारों ओर डिज़ाइन किया गया था: गुमनामी और स्वतंत्रता आमने-सामने की पैनलों को विकृत करने वाले प्रभुत्व और स्थिति के प्रभावों को हटा देती हैं, और नियंत्रित फीडबैक वास्तविक निर्णय को सामाजिक दबाव के बिना स्थानांतरित करने की अनुमति देता है। सर्वेक्षण सॉफ़्टवेयर स्वतंत्रता प्रदान करता है और फीडबैक की सामग्री को खो देता है। यह ट्यूटोरियल वही राउंड चलाता है जिसमें तर्क को बनाए रखा गया है।

राउंड के बीच सर्वेक्षण आधारित डेल्फी क्या खोता है

एक डेल्फी राउंड दो चीजें उत्पन्न करता है: एक वितरण (जहां पैनल खड़ा है) और तर्क का एक निकाय (क्यों)। सर्वेक्षण उपकरण पहले के लिए बनाए जाते हैं। दूसरा स्वतंत्र-टेक्स्ट फ़ील्ड में समतल हो जाता है और फिर एक सुविधा प्रदाता के सारांश में — जो चुपचाप विशेषज्ञों के बीच एक अनियोजित संपादक को सम्मिलित करता है। राउंड 2 में पैनलिस्ट अपने साथियों के तर्कों का उत्तर नहीं दे रहे हैं; वे उनके एक पैराफ्रेज़ का उत्तर दे रहे हैं। एक विधि के लिए जिसकी पूरी ज्ञानमीमांसा संरचित सामूहिक निर्णय है, यह खोने के लिए एक अजीब बात है — सामूहिक विधियों का इतिहास मुख्य रूप से इस फीडबैक चरण पर ठीक इसी तरह की लड़ाइयों का इतिहास है।

सेटअप: प्रश्न, पैनल — और गुमनामी का निर्णय

सबसे पहले, एक निर्णय जो एक पद्धतिविद सबसे पहले जांचेगा: आपके पैनल को वास्तव में क्या चाहिए — स्वतंत्रता या गुमनामी — क्योंकि ये एक ही चीज़ नहीं हैं, और प्लेटफ़ॉर्म आपको इनमें से एक को डिफ़ॉल्ट रूप से देता है।

1. 1प्रस्ताव को मूल दावा के रूप में फ्रेम करें — गलत साबित किया जा सकने वाला, न कि खुला-ended: "2032 तक X मानक नैदानिक प्रथा होगी", न कि "X का भविष्य क्या है?"। एक अस्पष्ट मूल अनमूल्यनीय स्थितियाँ उत्पन्न करता है। चेकपॉइंट: मूल के लिए और खिलाफ तर्क किया जा सकता है।

राउंड 1: स्वतंत्र पद, फिर संख्याएँ

1. 1स्वतंत्र प्रस्तुतिकरण विंडो। प्रत्येक पैनलिस्ट मूल के तहत समर्थन या विरोधी स्थिति जोड़ता है - दूसरों को देखे बिना जब तक कि प्रस्तुत नहीं किया जाता। यह स्वतंत्रता है जो इस विधि की आवश्यकता है, जो माध्यम द्वारा लागू की जाती है न कि सुविधा प्रदाता की प्रक्रिया में विश्वास द्वारा। चेकपॉइंट: प्रत्येक पैनलिस्ट के पास ≥1 स्थिति है; किसी ने भी किसी और की स्थिति नहीं देखी या संपादित की है।
2. 2वैकल्पिक: एआई पैनलिस्ट, लेबल किए गए। कई मॉडलों से अतिरिक्त पदों का बीज। हर तर्क पर उत्पत्ति की मुहर होती है, इसलिए मशीन के पद हमेशा विशेषज्ञों से अलग होते हैं। यह पद स्थान को विस्तारित करता है; यह कोई विशेषज्ञता नहीं जोड़ता — यह भेद महत्वपूर्ण है और आपके रिपोर्ट में होना चाहिए (नीचे हाइब्रिड-पैनल अनुभाग देखें)। चेकपॉइंट: एआई पद स्पष्ट रूप से लेबल किए गए।
3. 3राउंड-1 रेटिंग्स। प्रत्येक पैनलिस्ट प्रत्येक स्थिति को रेट करता है - एक मान और एक लेबल, उन एंकरों के साथ जो आपने परिभाषित किए हैं ("1 = असंभव … 9 = लगभग निश्चित")। यह राउंड का मात्रात्मक रिकॉर्ड है। चेकपॉइंट: पूर्ण रेटिंग मैट्रिक्स; एंकर एक बार stated, लगातार उपयोग किए गए।

नियंत्रित फीडबैक जो तर्क को ले जाता है

अब चरण सर्वेक्षण उपकरण ऐसा नहीं कर सकते। राउंड 2 के लिए फीडबैक आर्टिफैक्ट एक सारांश नहीं है जो सुविधा प्रदाता ने लिखा है — यह स्वयं पेड़ है: हर स्थिति, अपने लेखक (या मॉडल) के अपने शब्दों में, इसके रेटिंग वितरण के साथ। पैनलिस्ट ठीक से देख सकते हैं कि समूह ने कौन से तर्क मजबूत पाए, कौन से पैनल को विभाजित किया, और कौन से डूब गए — बीच में कोई संपादकीय पैराफ्रेज़ नहीं। सुविधा प्रदाता का काम लॉजिस्टिक्स तक सीमित हो जाता है: विंडो की घोषणा करें, पेड़ की ओर इशारा करें।

चरण 2: पूछताछ करें, चुनौती दें, सामंजस्य स्थापित करें

चरण 2 वह है जहाँ क्लासिक डेल्फ़ी कहता है "प्रतिक्रिया के प्रकाश में संशोधन करें।" जब तर्क स्पष्ट होता है, तो संशोधन सक्रिय हो जाता है — तीन संरचित कदम, प्रत्येक एक चार-चरण संवाद उस स्थिति के लेखक के साथ:

1. 1पूछताछ — प्रश्न और उत्तर श्रृंखला। किसी स्थिति की ओर संशोधन करने से पहले, उसे समझें: आपका प्रश्न, लेखक का उत्तर, फॉलो-अप, उत्तर — पूरा। एआई स्थितियों के लिए, मॉडल स्वचालित रूप से उत्तर देता है, इसलिए पैनल कभी भी एक सदस्य की प्रतीक्षा में नहीं रुकता। चेकपॉइंट: जो स्थितियाँ राय में बदलाव लाती हैं, उनके पास यह बताने वाली श्रृंखलाएँ होती हैं कि क्यों।
2. 2चुनौती — समीक्षा श्रृंखला। एक स्थिति का मूल्यांकन करें जिसे असमर्थित माना गया है; लेखक प्रतिक्रिया देता है; फॉलो-अप; प्रतिक्रिया। N पैनलिस्ट एक स्थिति को चुनौती दे रहे हैं = N समानांतर श्रृंखलाएँ — जो कि एक डेल्फी चाहता है: समानांतर स्वतंत्र आलोचना, कभी भी स्थिति के लिए फिर से प्रवेश करने के लिए एक समूह धागा नहीं। चेकपॉइंट: विवादित स्थितियाँ पूर्ण चुनौतियाँ ले जाती हैं।
3. 3निकट-प्रतिलिपियों का सामंजस्य — समझौता श्रृंखला। दो विशेषज्ञ जो लगभग समान स्थिति में हैं, रेटिंग में एक दृष्टिकोण को दो बार गिनते हैं। एक दूसरे को रिकॉर्ड पर संयुक्त रूप से प्रस्तावित करता है। चेकपॉइंट: कोई भी डुप्लिकेट जोड़ी बिना मिलाए या बिना स्पष्ट किए नहीं छोड़ी गई है।
4. 4राउंड-2 रेटिंग्स। सभी चीजों को समान एंकर के तहत फिर से रेट करें। चेकपॉइंट: दूसरा पूरा मैट्रिक्स, तुलना के लिए तैयार।

हाइब्रिड पैनल: विशेषज्ञता जोड़े बिना मॉडल जोड़ना

क्योंकि AI-लिखित पद अपने स्वयं के श्रृंखलाओं का उत्तर देते हैं — उस मॉडल की ओर वापस रूट किए गए जो उन्हें लिखता है — एक हाइब्रिड मानव/AI पैनल वास्तव में व्यावहारिक है: मॉडल का उपयोग करें ताकि राउंड 1 के पद स्थान को विस्तारित किया जा सके, फिर मानव विशेषज्ञों को राउंड 2 में मशीन के पदों की क्रॉस-एक्सामिनेशन करने दें और बिना किसी को मशीन के पक्ष में नियुक्त किए बिना ठोस उत्तर प्राप्त करें। इस पर सटीक रहें कि यह क्या खरीदता है: चौड़ा इनपुट, न कि अतिरिक्त विशेषज्ञता। एक मॉडल का पद एक अच्छी तरह से वाक्यबद्ध पैटर्न है, न कि निर्णय का एक करियर, और लेबलिंग इस लिए मौजूद है ताकि आपके संकुचन संख्याएँ मशीन पंक्तियों के साथ और बिना की जा सकें। जब चौड़ा इनपुट मदद करता है और जब यह केवल पतला करता है, यह अपनी स्वयं की साहित्य है — जब भीड़ गलत होती है विफलता मोड को कवर करता है; दूसरी ओर, स्वतंत्र निर्णयों का इतना अच्छा समेकन क्यों होता है जब वे वास्तव में स्वतंत्र होते हैं, यह गैल्टन और कंडोर्सेट की कहानी है।

संविधान का मापन, असहमति की रिपोर्टिंग

संविधान चक्रों के बीच रेटिंग वितरण का संकुचन है, और आप इसे उनकी तुलना करके मापते हैं - ईमानदारी से, हाथ से या निर्यात करके: कोई अंतर्निहित संविधान सांख्यिकी नहीं है, कोई स्वचालित केंडल का W नहीं है, कोई स्थिरता परीक्षण नहीं है। दोनों मैट्रिक्स को निर्यात करें और जो आपके क्षेत्र की अपेक्षा है उसे गणना करें, या वितरणों की गुणात्मक रिपोर्ट करें ("चौदह में से बारह पद संकुचित हुए; दो और विभाजित हुए")।

और असहमति की रिपोर्ट करें। एक ऐसा स्थान जहाँ पैनल स्थिरता से असहमत होता है — समान फैलाव, दोनों ध्रुव पूर्ण श्रृंखलाओं में संरक्षित — एक निष्कर्ष है, शायद सबसे मूल्यवान प्रकार: यह उस स्थान को चिह्नित करता है जहाँ विशेषज्ञ निर्णय वास्तव में विभाजित होता है, दोनों ध्रुवों के लिए तर्क के साथ। इसे औसत करना एकमात्र अक्षम्य डेल्फी पाप है। पेड़ असहमति को उद्धृत करने योग्य बनाता है: जीवित आपत्ति, इसका लेखक (या इसका गुमनाम सार्वजनिक-भाड़े का प्रतिनिधि), और चुनौतियाँ जिनसे यह बचा।

ईमानदार सीमाएँ

• ✗स्वतंत्रता गुमनामी नहीं है — यह स्पष्ट रूप से कहा गया है और दोहराने लायक है: निजी-भाड़े के तर्कों को श्रेय दिया जाता है। यदि गुमनामी विधिवत रूप से आवश्यक है, तो Argumentree.AI सार्वजनिक भाड़े का उपयोग करें और अपने लेख में ऐसा कहें।
• ✗कोई राउंड प्रबंधक नहीं है। न तो क्लोज-राउंड-1 बटन है, न ही प्रति-राउंड दृश्यता गेटिंग। राउंड एक सुविधा प्रदान करने वाली परंपरा है जिसे आप समय-सीमा और निर्देशों के साथ लागू करते हैं — ऐसा कहें, और उस स्वचालन का संकेत न दें जो वहाँ नहीं है।
• ✗कोई अंतर्निहित संकुचन सांख्यिकी नहीं। केंडल का W, स्थिरता परीक्षण और इसी तरह के अन्य आपके द्वारा निर्यातित रेटिंग से गणना करने के लिए हैं।
• ✗रेटिंग्स एक एकल लेबल वाला मान हैं, यह एक मान्यताप्राप्त एंकर के साथ लिकर्ट उपकरण नहीं है। अपने एंकर को लेबल में परिभाषित करें और उन्हें राउंड्स के बीच स्थिर रखें।
• ✗एक श्रृंखला चार मोड़ों की होती है, फिर पूरी होती है। एक विशेषज्ञ विवाद जो अधिक की आवश्यकता होती है, उसे एक कॉल मिलता है — श्रृंखला वह रिकॉर्ड करती है जो पहले ही पूछा और उत्तर दिया गया था।

व्यावहारिक पाठ

• ✓राउंड 1 से पहले एंकर लिखें और उन्हें हर विंडो घोषणा में चिपकाएँ। सभी गंदे डेल्फी डेटा का आधा एंकर ड्रिफ्ट है।
• ✓समय-खिड़कियाँ उदारता से समय क्षेत्रों में — प्रत्येक दौर के लिए 72 घंटे अंतरराष्ट्रीय पैनलों के लिए काम करते हैं; श्रृंखलाएँ निर्माण के अनुसार असिंक्रोनस हैं।
• ✓कैप राउंड-1 पोजीशन्स प्रति पैनलिस्ट (तीन काफी हैं)। डेल्फी ने विचारित पोजीशन्स को पुरस्कृत किया, मात्रा को नहीं।
• ✓राउंड के बीच में पेड़ को फ्रीज़ करें। घोषणा करें कि विंडो के बाहर की प्रस्तुतियाँ हटा दी जाएँगी — राउंड की परंपरा केवल तभी लागू होती है जब सुविधा प्रदाता इसे बनाए रखता है।

आप अंततः जो उत्तर भेज सकते हैं

सावधानीपूर्वक पैनलिस्ट के ईमेल पर वापस: "क्या मैं कारण देख सकता हूँ? मैं जानना चाहूंगा कि मैंने किस पर सहमति दी थी।" इस अध्ययन के संस्करण में, उत्तर एक लिंक है। यहाँ चौदह पद हैं; यहाँ वह है जिसकी रेटिंग फैलाव दो समीक्षा श्रृंखलाओं के विफल होने के बाद गिर गई; यहाँ वह आदान-प्रदान है जिसने आपको और ग्यारह अन्य लोगों को प्रभावित किया। तर्क के साथ सहमति — जो इस विधि का वादा था।