اجرای یک مطالعه دلفی که در آن استدلال‌ها در مراحل مختلف باقی می‌مانند

پنلی که به هیچ چیزی که کسی بتواند توضیح دهد، نرسید

مرحله ۳ مطالعه دلفی به پایان می‌رسد و تسهیل‌گر به پنل ایمیل می‌زند: توافق حاصل شده است. میانه از ۶.۱ به ۷.۸ در سوال پذیرش ده‌ساله تغییر کرد؛ انحراف معیار نصف شد؛ گزارش خودش نوشته می‌شود. سپس یکی از اعضای پنل — که فردی محتاط است — با سوالی که همه چیز را بر هم می‌زند، پاسخ می‌دهد: "من برآورد خود را اصلاح کردم زیرا خلاصه مرحله ۲ گفت که گروه دلایل قوی برای خوش‌بینی دارد. می‌توانم آن دلایل را ببینم؟ دوست دارم بدانم با چه چیزی موافقت کردم."

پاسخ خوبی وجود ندارد. دورها نظرسنجی بودند. بین آن‌ها، پنل میانه‌ها، چارک‌ها و یک خلاصه دو پاراگرافی از تسهیل‌گر را مشاهده کرد. دلایل — هر استدلال خاصی که یازده کارشناس را به تجدید نظر در بالا سوق داد — در جعبه‌های متن آزاد تایپ شد، در خلاصه فشرده شد و گم شد. پنل به توافق رسید؛ بر اساس چه استدلالی، هیچ‌کس نمی‌تواند بگوید.

این یک مطالعه معیوب نیست؛ این یک روش استاندارد با ابزارهای استاندارد است و بهترین ویژگی این روش را هدر می‌دهد. دلفی بر اساس یک بینش دقیق طراحی شده است: ناشناسی و استقلال تأثیرات تسلط و وضعیت را که پنل‌های رو در رو را تحریف می‌کند، حذف می‌کند و بازخورد کنترل‌شده اجازه می‌دهد قضاوت واقعی بدون فشار اجتماعی تغییر کند. نرم‌افزار نظرسنجی استقلال را ارائه می‌دهد و جوهر بازخورد را از دست می‌دهد. این آموزش همان دورها را با حفظ استدلال انجام می‌دهد.

چه چیزی در نظرسنجی مبتنی بر دلفی بین دورها از دست می‌رود

یک دور دلفی دو چیز تولید می‌کند: یک توزیع (جایی که پانل قرار دارد) و یک بدنه استدلال (چرا). ابزارهای نظرسنجی برای اولی ساخته شده‌اند. دومی به فیلدهای متن آزاد و سپس به خلاصه‌ای از تسهیل‌کننده تبدیل می‌شود — که به آرامی یک ویرایشگر غیرقابل حساب را بین کارشناسان و یکدیگر قرار می‌دهد. شرکت‌کنندگان در دور ۲ به استدلال‌های همتایان خود پاسخ نمی‌دهند؛ بلکه به یک پارافرز از آن‌ها پاسخ می‌دهند. برای روشی که تمام اپیستمولوژی آن قضاوت جمعی ساختارمند است، این یک چیز عجیب است که از دست برود — تاریخ روش‌های جمعی عمدتاً تاریخ مبارزات بر سر دقیقاً این مرحله بازخورد است.

تنظیمات: سوال، پنل — و تصمیم ناشناس بودن

قبل از هر چیز، یک تصمیم که یک روش‌شناس ابتدا بررسی خواهد کرد: چه چیزی واقعاً برای پنل شما لازم است — استقلال یا ناشناس بودن — زیرا این دو یکسان نیستند و پلتفرم به طور پیش‌فرض یکی از آن‌ها را به شما می‌دهد.

1. 1پیشنهاد را به عنوان ادعای اصلی فرموله کنید — قابل رد کردن، نه باز: "X تا سال 2032 به عنوان عمل بالینی استاندارد خواهد بود"، نه "آینده X چیست؟". یک ریشه مبهم منجر به مواضع غیرقابل ارزیابی می‌شود. نقطه بررسی: می‌توان برای ریشه استدلال کرد و علیه آن.

مرحله ۱: موقعیت‌های مستقل، سپس اعداد

1. 1پنجره ارسال مستقل. هر پنلیست مواضع حمایتی یا مخالف را زیر ریشه اضافه می‌کند — بدون اینکه تا زمان ارسال، مواضع دیگران را ببیند. این استقلالی است که روش به آن نیاز دارد، که توسط رسانه و نه اعتماد به فرآیند تسهیل‌کننده تحمیل می‌شود. نقطه بازرسی: هر پنلیست حداقل ۱ موضع دارد؛ هیچ‌کس مواضع دیگران را ندیده یا ویرایش نکرده است.
2. 2اختیاری: پنلیست‌های هوش مصنوعی، برچسب‌گذاری شده. موقعیت‌های اضافی از چندین مدل بذر بزنید. منبع هر استدلال مهر شده است، بنابراین موقعیت‌های ماشینی همیشه از موقعیت‌های کارشناسی قابل تشخیص هستند. این فضای موقعیت را گسترش می‌دهد؛ هیچ تخصصی اضافه نمی‌کند — این تمایز مهم است و باید در گزارش شما گنجانده شود (به بخش پنل ترکیبی در زیر مراجعه کنید). نقطه کنترل: موقعیت‌های هوش مصنوعی به وضوح برچسب‌گذاری شده.
3. 3رتبه‌بندی دور-۱. هر پنلیست هر موقعیت را ارزیابی می‌کند — یک مقدار به علاوه یک برچسب، با نقاط مرجعی که شما تعریف کرده‌اید ("۱ = غیرمحتمل … ۹ = نزدیک به قطعیت"). این رکورد کمی دور است. نقطه بازرسی: ماتریس رتبه‌بندی کامل؛ نقاط مرجع یک بار بیان شده، به طور مداوم استفاده شده.

بازخورد کنترل‌شده که استدلال را منتقل می‌کند

اکنون ابزارهای نظرسنجی مرحله نمی‌توانند انجام دهند. اثر بازخورد برای دور ۲ خلاصه‌ای نیست که تسهیل‌گر نوشته باشد — بلکه خود درخت است: هر موقعیت، به زبان نویسنده (یا مدل) خود، با توزیع امتیازهای آن پیوست شده است. شرکت‌کنندگان دقیقاً می‌بینند که کدام استدلال‌ها برای گروه قوی بودند، کدام پنل را تقسیم کردند و کدام شکست خوردند — بدون هیچ گونه پارافرایز ویرایشی در میان. وظیفه تسهیل‌گر به لجستیک کاهش می‌یابد: اعلام زمان، اشاره به درخت.

مرحله ۲: بازجویی، چالش، آشتی

مرحله ۲ جایی است که دلفی کلاسیک می‌گوید "بر اساس بازخوردها تجدید نظر کنید." با نمایان شدن استدلال، تجدید نظر فعال می‌شود — سه حرکت ساختاریافته، هر کدام یک گفتگوی چهار نوبتی با نویسنده موضع:

1. 1بازجویی — زنجیره سوال و جواب. قبل از اصلاح به سمت یک موضع، آن را درک کنید: سوال شما، پاسخ نویسنده، پیگیری، پاسخ — کامل. برای مواضع هوش مصنوعی، مدل به طور خودکار پاسخ می‌دهد، بنابراین پنل هرگز منتظر یک عضو نمی‌ماند. نقطه بازرسی: مواضعی که نظر را تغییر داده‌اند زنجیره‌هایی دارند که توضیح می‌دهند چرا.
2. 2چالش — زنجیره بررسی. یک موقعیت را به عنوان غیرمستند ارزیابی کنید؛ نویسنده پاسخ می‌دهد؛ پیگیری؛ پاسخ. N داور چالش‌برانگیز یک موقعیت = N زنجیره موازی — که دقیقاً ساختاری است که یک دلفی می‌خواهد: نقد مستقل موازی، هرگز یک رشته گروهی برای ورود مجدد به وضعیت. نقطه بازرسی: موقعیت‌های مورد مناقشه چالش‌های تکمیل شده را به همراه دارند.
3. 3تطبیق نزدیک به تکراری‌ها — زنجیره مصالحه. دو کارشناس که تقریباً همان موقعیت را دارند، یک نظر را در ارزیابی‌ها دو بار حساب می‌کنند. یکی فرمول ترکیبی را به دیگری پیشنهاد می‌دهد، به صورت رسمی. نقطه بازرسی: هیچ جفت تکراری بدون ادغام یا توضیح باقی نمانده است.
4. 4رتبه‌بندی دور-۲. همه چیز را تحت همان نقاط مرجع دوباره ارزیابی کنید. نقطه بازرسی: ماتریس کامل دوم، آماده برای مقایسه.

پنل‌های هیبریدی: افزودن مدل‌ها بدون نیاز به تخصص اضافی

زیرا مواضع نوشته شده توسط هوش مصنوعی به زنجیره‌های خود پاسخ می‌دهند — به مدل که آن‌ها را نوشته است بازمی‌گردند — یک پنل ترکیبی انسان/هوش مصنوعی واقعاً عملی است: از مدل‌ها برای گسترش فضای موضع دور اول استفاده کنید، سپس اجازه دهید کارشناسان انسانی مواضع ماشین را در دور دوم مورد بررسی قرار دهند و پاسخ‌های معناداری دریافت کنند بدون اینکه کسی در سمت ماشین حضور داشته باشد. در مورد اینکه این چه مزیتی دارد دقیق باشید: ورودی وسیع‌تر، نه تخصص افزوده. موضع یک مدل یک الگوی خوب بیان شده است، نه یک حرفه قضاوت، و برچسب‌گذاری وجود دارد تا اعداد همگرایی شما با و بدون ردیف‌های ماشین محاسبه شود. زمانی که گسترش ورودی کمک می‌کند و زمانی که صرفاً رقیق می‌کند، ادبیات خاص خود را دارد — زمانی که جمعیت‌ها اشتباه می‌کنند حالت‌های شکست را پوشش می‌دهد؛ طرف دیگر، اینکه چرا قضاوت‌های مستقل به خوبی تجمیع می‌شوند زمانی که واقعاً مستقل هستند، داستان گالتون و کندورسه است.

اندازه‌گیری همگرایی، گزارش نارضایتی

همگرایی تنگ شدن توزیع‌های امتیازدهی بین دورها است و شما آن را با مقایسه آنها اندازه‌گیری می‌کنید — به‌طور صادقانه، به‌صورت دستی یا با صادرات: هیچ آمار همگرایی داخلی، هیچ W کندال خودکار، هیچ آزمون پایداری وجود ندارد. دو ماتریس را صادر کنید و آنچه را که حوزه شما انتظار دارد محاسبه کنید، یا توزیع‌ها را به‌صورت کیفی گزارش دهید ("دوازده از چهارده موقعیت تنگ شده‌اند؛ دو مورد بیشتر تقسیم شده‌اند").

و نارضایتی را گزارش دهید. موقعیتی که در آن پنل به طور پایدار اختلاف نظر دارد در طول دورها — همان دامنه، هر دو قطب در زنجیره‌های کامل دفاع شده — یک یافته است، که به طور قابل‌توجهی ارزشمندترین نوع است: این نشان می‌دهد که قضاوت کارشناسان واقعاً تقسیم می‌شود، با دلایل هر دو قطب پیوست شده. میانگین‌گیری آن یک گناه غیرقابل بخشش دلفی است. درخت نارضایتی را قابل استناد می‌کند: اعتراض باقی‌مانده، نویسنده آن (یا نماینده عمومی ناشناس آن)، و چالش‌هایی که از آن‌ها جان سالم به در برده است.

محدودیت‌های صادقانه

• ✗استقلال به معنای ناشناسی نیست — این نکته به وضوح بیان شده و ارزش تکرار دارد: استدلال‌های مستأجران خصوصی به آنها نسبت داده می‌شود. اگر ناشناسی از نظر روش‌شناختی ضروری است، از مستأجر عمومی Argumentree.AI استفاده کنید و در نوشته‌تان به این موضوع اشاره کنید.
• ✗مدیر دور وجود ندارد. هیچ دکمه‌ای برای بستن دور اول، هیچ محدودیت دید در هر دور وجود ندارد. دورها یک کنوانسیون تسهیل هستند که شما با زمان‌بندی و دستورالعمل‌ها اجرا می‌کنید — این را بگویید و به اتوماسیونی که وجود ندارد اشاره نکنید.
• ✗هیچ آمار همگرایی داخلی وجود ندارد. W کندال، آزمون‌های پایداری و موارد مشابه را می‌توانید از امتیازهای صادر شده محاسبه کنید.
• ✗امتیازها یک مقدار برچسب‌گذاری شده واحد هستند، نه یک ابزار لیکرت با لنگرهای معتبر. لنگرهای خود را در برچسب تعریف کنید و آنها را در تمام دورها ثابت نگه دارید.
• ✗یک زنجیره چهار بار می‌چرخد، سپس کامل می‌شود. یک اختلاف کارشناسی که نیاز به بیشتر دارد، یک تماس دریافت می‌کند — زنجیره آنچه قبلاً پرسیده و پاسخ داده شده را ثبت می‌کند.

درس‌های عملی

• ✓لنگرها را قبل از دور ۱ بنویسید و آنها را در هر اعلان پنجره بچسبانید. نیمی از تمام داده‌های نامنظم دلفی، انحراف لنگر است.
• ✓پنجره‌های زمان‌بندی شده به طور سخاوتمندانه در مناطق زمانی مختلف — 72 ساعت برای هر دور برای پنل‌های بین‌المللی مناسب است؛ زنجیره‌ها به طور ذاتی غیرهمزمان هستند.
• ✓موقعیت‌های Cap Round-1 به ازای هر پنلیست (سه کافی است). دلفی موقعیت‌های در نظر گرفته شده را پاداش می‌دهد، نه حجم.
• ✓در بین دورها درخت را منجمد کنید. اعلام کنید که ارسال‌ها خارج از زمان‌های مشخص شده حذف خواهند شد — کنوانسیون دور تنها در صورتی معتبر است که تسهیل‌گر آن را برگزار کند.

پاسخی که می‌توانید در نهایت ارسال کنید

به ایمیل پانلیست محتاط برگردیم: "آیا می‌توانم دلایل را ببینم؟ دوست دارم بدانم با چه چیزی موافقت کرده‌ام." در این نسخه از مطالعه، پاسخ یک لینک است. در اینجا چهارده موقعیت وجود دارد؛ در اینجا موقعیتی است که دامنه امتیاز آن پس از دو زنجیره بررسی که نتوانستند به آن آسیب بزنند، فروپاشید؛ در اینجا تبادلی است که شما و یازده نفر دیگر را تحت تأثیر قرار داد. توافق با دلایل پیوست شده — که وعده این روش از ابتدا بود.