إجراء دراسة دلفي حيث يبقى التفكير بعد الجولات

اللوحة التي اجتمعت على شيء لا يمكن لأحد شرحه

تغلق الجولة الثالثة من دراسة دلفي ويرسل الميسر بريدًا إلكترونيًا إلى اللجنة: تم التوصل إلى توافق. انتقل الوسيط من 6.1 إلى 7.8 في سؤال اعتماد العشر سنوات؛ انخفض الانحراف المعياري إلى النصف؛ التقرير يكتب نفسه. ثم يرد أحد أعضاء اللجنة - وهو شخص حذر - بالسؤال الذي يفكك الأمر: "لقد قمت بمراجعة تقديري لأن ملخص الجولة الثانية قال إن المجموعة لديها أسباب قوية للتفاؤل. هل يمكنني رؤية تلك الأسباب؟ أود أن أعرف ما الذي اتفقت عليه."

لا توجد إجابة جيدة. كانت الجولات استبيانات. بينهما، رأى الفريق الوسيطات والرباعيات وملخص من فقرتين من الميسر. كانت الأسباب — أيًا كانت الحجج المحددة التي دفعت أحد عشر خبيرًا إلى تعديل التقديرات للأعلى — مكتوبة في صناديق نصوص حرة، مضغوطة في الملخص، وضاعت. اجتمع الفريق؛ لكن لا أحد يمكنه أن يقول على أي أساس.

هذه ليست دراسة معطلة؛ إنها ممارسة قياسية مع أدوات قياسية، وتضيع أفضل خاصية في الطريقة. تم تصميم دلفي حول فكرة دقيقة: تزيل anonymity والاستقلالية تأثيرات الهيمنة والمكانة التي تشوه اللجان المباشرة، ويسمح التعليق المنضبط بتحويل الحكم الحقيقي دون ضغط اجتماعي. يوفر برنامج الاستطلاع الاستقلالية ويفقد جوهر التعليق. يقوم هذا الدليل بإجراء نفس الجولات مع الحفاظ على المنطق.

ما الذي تفقده دراسة دلفي المعتمدة على الاستطلاعات بين الجولات

تنتج جولة دلفي شيئين: توزيع (حيث يقف الفريق) وجسم من التفكير (لماذا). تم بناء أدوات الاستطلاع من أجل الأول. يتم تسطيح الثاني إلى حقول نصية حرة ثم إلى ملخص الميسر — الذي يدرج بهدوء محررًا غير قابل للمسائلة بين الخبراء وبعضهم البعض. لا يستجيب المشاركون في الجولة الثانية لحجج أقرانهم؛ بل يستجيبون لإعادة صياغة لها. بالنسبة لطريقة تعتمد بالكامل على الحكم الجماعي المنظم، فإن فقدان هذا أمر غريب — فـتاريخ الطرق الجماعية هو في الغالب تاريخ صراعات حول هذه الخطوة في التغذية الراجعة بالضبط.

الإعداد: السؤال، اللجنة — وقرار عدم الكشف عن الهوية

قبل أي شيء آخر، هناك قرار واحد سيتحقق منه المنهجي أولاً: ما الذي يتطلبه لوحك فعليًا - الاستقلالية أم anonymity - لأنهما ليسا الشيء نفسه، والمنصة تعطيك أحدهما بشكل افتراضي.

1. 1إطار الاقتراح كالمطالبة الأساسية — قابلة للتفنيد، وليست مفتوحة النهاية: "سيكون X ممارسة سريرية قياسية بحلول عام 2032"، وليس "ما هو مستقبل X؟". الجذر الغامض ينتج مواقف غير قابلة للتقييم. نقطة تفتيش: يمكن الجدال حول الجذر لصالحه وضده.

الجولة 1: مواقف مستقلة، ثم الأرقام

1. 1نافذة تقديم مستقلة. يضيف كل عضو في اللجنة مواقف داعمة أو معارضة تحت الجذر - دون رؤية مواقف الآخرين حتى يتم التقديم. هذه هي الاستقلالية التي تتطلبها الطريقة، والتي تفرضها الوسيلة بدلاً من الاعتماد على ثقة في عملية الميسر. نقطة تفتيش: كل عضو في اللجنة لديه ≥1 موقف؛ لم يرَ أحد أو يعدل مواقف الآخرين.
2. 2اختياري: المشاركون في اللجنة من الذكاء الاصطناعي، مع وضع علامات. قم بزراعة مواقع إضافية من عدة نماذج. يتم ختم مصدر كل حجة، لذا فإن مواقف الآلات دائمًا ما تكون متميزة عن مواقف الخبراء. هذا يوسع مساحة المواقف؛ لا يضيف أي خبرة - التمييز مهم وينبغي أن يكون في تقريرك (انظر قسم اللجنة الهجينة أدناه). نقطة تفتيش: مواقف الذكاء الاصطناعي مع وضع علامات مرئية.
3. 3تقييمات الجولة الأولى. يقوم كل عضو في اللجنة بتقييم كل وظيفة - قيمة واحدة بالإضافة إلى تسمية، مع المراجع التي حددتها ("1 = غير معقول ... 9 = شبه مؤكد"). هذا هو السجل الكمي للجولة. نقطة تفتيش: مصفوفة التقييم مكتملة؛ المراجع مذكورة مرة واحدة، مستخدمة بشكل متسق.

التغذية الراجعة المنضبطة التي تحمل المنطق

الآن لا يمكن لأدوات مسح الخطوة القيام بذلك. الأثر الناتج عن التعليقات للجولة الثانية هو ليس ملخصًا كتبه الميسر — بل هو الشجرة نفسها: كل موقف، بكلمات مؤلفه (أو نموذجه) الخاصة، مع توزيع تقييمه المرفق. يرى الأعضاء بالضبط أي الحجج وجدتها المجموعة قوية، وأيها قسمت اللجنة، وأيها غرقت — دون أي إعادة صياغة تحريرية في المنتصف. تتقلص مهمة الميسر إلى اللوجستيات: إعلان الفترة، والإشارة إلى الشجرة.

الجولة 2: استجواب، تحدي، مصالحة

الجولة الثانية هي حيث تقول دلفي الكلاسيكية "قم بالتعديل بناءً على التعليقات." مع ظهور المنطق، يصبح التعديل نشطًا — ثلاث خطوات منظمة، كل منها حوار من أربع دورات مع مؤلف الموقف:

1. 1استجواب — سلسلة الأسئلة والأجوبة. قبل مراجعة موقف ما، افهمه: سؤالك، إجابة المؤلف، المتابعة، الإجابة — كاملة. بالنسبة لمواقف الذكاء الاصطناعي، تجيب النموذج تلقائيًا، لذا لا يتم حظر اللجنة في انتظار عضو واحد. نقطة تفتيش: المواقف التي غيرت الرأي تحمل سلاسل تشرح السبب.
2. 2التحدي - سلسلة المراجعة. تقييم موقف على أنه غير مدعوم؛ المؤلف يرد؛ متابعة؛ رد. N من المحكمين يتحدون موقفًا واحدًا = N سلاسل متوازية - وهو بالضبط الهيكل الذي تريده دلفي: نقد مستقل متوازي، وليس هناك سلسلة واحدة للمجموعة لإعادة الدخول من خلالها. نقطة تفتيش: المواقف المتنازع عليها تحمل تحديات مكتملة.
3. 3التوفيق بين النسخ المتشابهة - سلسلة التسوية. يقوم خبيران يحملان نفس المنصب تقريبًا بعدّ نفس الرأي مرتين في التقييمات. يقترح أحدهما الصيغة المدمجة على الآخر، بشكل رسمي. نقطة تفتيش: لا تترك أي زوج مكرر غير مدمج أو غير مفسر.
4. 4تقييمات الجولة الثانية. إعادة تقييم كل شيء تحت نفس المراسي. نقطة التحقق: المصفوفة الكاملة الثانية، جاهزة للمقارنة.

الألواح الهجينة: إضافة نماذج دون إضافة خبرة

لأن المواقف التي كتبها الذكاء الاصطناعي تجيب على سلاسلها الخاصة — التي تعود إلى النموذج الذي كتبها — فإن وجود لجنة هجينة من البشر والذكاء الاصطناعي هو أمر عملي حقًا: استخدم النماذج لتوسيع مساحة المواقف في الجولة الأولى، ثم دع الخبراء البشر يستجوبون مواقف الآلة في الجولة الثانية ويحصلون على ردود جوهرية دون الحاجة إلى أي شخص يعمل في جانب الآلة. كن دقيقًا بشأن ما يحققه هذا: مدخلات أوسع، وليس خبرة إضافية. موقف النموذج هو نمط مصاغ بشكل جيد، وليس مسيرة من الحكم، والتصنيف موجود حتى يمكن حساب أرقام التقارب الخاصة بك مع وبدون صفوف الآلة. عندما تساعد المدخلات الأوسع وعندما تضعف فقط هو أدب خاص بها — عندما تخطئ الحشود تغطي أنماط الفشل؛ الجانب الآخر، لماذا تتجمع الأحكام المستقلة بشكل جيد عندما تكون مستقلة حقًا، هو قصة غالطون و كوندورسيه.

قياس التوافق، الإبلاغ عن المعارضة

التقارب هو تضييق توزيع التقييمات بين الجولات، ويمكن قياسه من خلال مقارنتهما - بصدق، يدويًا أو عن طريق التصدير: لا توجد إحصائية تقارب مدمجة، ولا اختبار كيندال W تلقائي، ولا اختبار استقرار. قم بتصدير المصفوفتين واحسب ما يتوقعه مجالك، أو أبلغ عن التوزيعات بشكل نوعي ("تم تضييق اثني عشر من أصل أربعة عشر موضعًا؛ انقسم موضعان آخران").

وقم بالإبلاغ عن الاختلاف. إن وجود موقف حيث يختلف الفريق بشكل مستقر عبر الجولات - نفس الفجوة، كلا القطبين مدافعين عنهما في سلاسل مكتملة - هو اكتشاف، ومن المحتمل أن يكون من أكثر الأنواع قيمة: إنه يحدد المكان الذي ينقسم فيه الحكم الخبير حقًا، مع وجود الأسباب لكلا القطبين مرفقة. إن تجاهل ذلك هو الخطيئة التي لا تغتفر في دلفي. الشجرة تجعل الاختلاف قابلاً للاستشهاد: الاعتراض الباقي، مؤلفه (أو ممثله العام المجهول)، والتحديات التي نجا منها.

القيود الصادقة

• ✗الاستقلال ليس anonymity — تم التصريح بذلك بوضوح ويستحق إعادة التأكيد: يتم نسب حجج المستأجرين الخاصين. إذا كانت anonymity ضرورية منهجياً، استخدم المستأجر العام من Argumentree.AI واذكر ذلك في كتابتك.
• ✗لا يوجد مدير للجولة. لا يوجد زر إغلاق الجولة الأولى، ولا توجد قيود على الرؤية لكل جولة. الجولات هي اتفاقية تسهيل تفرضها من خلال حدود زمنية وتعليمات - قل ذلك، ولا تلمح إلى أتمتة غير موجودة.
• ✗لا توجد إحصائية تقارب مدمجة. يمكنك حساب W لكندال، واختبارات الاستقرار وما شابه من التقييمات المصدرة.
• ✗التقييمات هي قيمة واحدة معلمة، وليست أداة ليكرت مع نقاط مرجعية موثوقة. حدد نقاطك المرجعية في التسمية واحتفظ بها ثابتة عبر الجولات.
• ✗السلسلة تتكون من أربع لفات، ثم تكتمل. نزاع خبير يحتاج إلى المزيد يحصل على مكالمة — السلسلة تسجل ما تم طرحه والإجابة عليه بالفعل.

دروس عملية

• ✓اكتب المراسي قبل الجولة 1 والصقها في كل إعلان نافذة. نصف جميع بيانات دلفي الفوضوية هي انحراف المراسي.
• ✓نوافذ الوقت المحددة بسخاء عبر المناطق الزمنية — 72 ساعة لكل جولة تعمل للجان الدولية؛ السلاسل غير متزامنة بطبيعتها.
• ✓مراكز Cap Round-1 لكل محلل (ثلاثة كافية). مكافآت دلفي تأخذ في الاعتبار المراكز، وليس الحجم.
• ✓تجميد الشجرة بين الجولات. أعلن أن المشاركات خارج النوافذ ستتم إزالتها - اتفاقية الجولة سارية فقط إذا قام الميسر بتنفيذها.

الرد الذي يمكنك إرساله أخيرًا

عد إلى بريد المشارك الحذر: "هل يمكنني رؤية الأسباب؟ أود أن أعرف ما الذي وافقت عليه." في هذه النسخة من الدراسة، الجواب هو رابط. إليك الأربعة عشر موقفًا؛ هنا هو الموقف الذي انهار تقييمه بعد أن فشلت سلسلتان من المراجعة في التأثير عليه؛ هنا هو التبادل الذي حركك وأحد عشر آخرين. توافق مع الأسباب المرفقة — وهو ما كان يعد به الأسلوب طوال الوقت.