Chạy một Nghiên cứu Delphi Nơi Lý do Vẫn Tồn tại Qua Các Vòng

Bảng hội thảo đã hội tụ vào điều gì đó mà không ai có thể giải thích.

Vòng 3 của nghiên cứu Delphi kết thúc và người điều phối gửi email cho ban hội thảo: đã đạt được sự đồng thuận. Giá trị trung vị đã tăng từ 6.1 lên 7.8 trong câu hỏi về việc áp dụng trong mười năm; độ lệch chuẩn giảm một nửa; báo cáo tự viết. Sau đó, một thành viên trong ban hội thảo — một người cẩn thận — trả lời với câu hỏi làm lộ ra vấn đề: "Tôi đã điều chỉnh ước tính của mình vì tóm tắt Vòng 2 nói rằng nhóm có lý do mạnh mẽ để lạc quan. Tôi có thể xem những lý do đó không? Tôi muốn biết những gì tôi đã đồng ý."

Không có câu trả lời nào tốt. Các vòng khảo sát đã được thực hiện. Giữa các vòng, ban hội thảo đã xem các giá trị trung vị, tứ phân và một bản tóm tắt hai đoạn của người điều phối. Các lý do — bất kỳ lập luận cụ thể nào đã khiến mười một chuyên gia điều chỉnh lên — đã được gõ vào các ô văn bản tự do, nén lại trong bản tóm tắt và bị mất. Ban hội thảo đã hội tụ; không ai có thể nói về lý do gì.

Đây không phải là một nghiên cứu bị hỏng; đây là thực hành tiêu chuẩn với công cụ tiêu chuẩn, và nó lãng phí đặc tính tốt nhất của phương pháp. Delphi được thiết kế dựa trên một hiểu biết chính xác: sự ẩn danh và độc lập loại bỏ các hiệu ứng thống trị và địa vị làm biến dạng các hội đồng trực tiếp, và phản hồi có kiểm soát cho phép phán đoán chân thực thay đổi mà không có áp lực xã hội. Phần mềm khảo sát cung cấp sự độc lập và mất đi bản chất của phản hồi. Hướng dẫn này thực hiện các vòng giống nhau với lý do được giữ nguyên.

Những gì phương pháp Delphi dựa trên khảo sát mất đi giữa các vòng

Một vòng Delphi tạo ra hai thứ: một phân phối (nơi mà ban hội thẩm đứng) và một cơ sở lý luận (tại sao). Các công cụ khảo sát được xây dựng cho cái đầu tiên. Cái thứ hai bị làm phẳng thành các trường văn bản tự do và sau đó thành một bản tóm tắt của người điều phối — điều này âm thầm chèn một biên tập viên không thể giải thích giữa các chuyên gia với nhau. Các thành viên trong Vòng 2 không phản hồi lại lập luận của các đồng nghiệp; họ đang phản hồi lại một cách diễn đạt lại của chúng. Đối với một phương pháp mà toàn bộ tri thức của nó là phán quyết tập thể có cấu trúc, đó là một điều kỳ lạ để mất — lịch sử của các phương pháp tập thể chủ yếu là một lịch sử của những cuộc tranh cãi về chính bước phản hồi này.

Thiết lập: câu hỏi, ban hội thẩm — và quyết định về tính ẩn danh

Trước hết, một quyết định mà một nhà phương pháp học sẽ kiểm tra trước tiên: những gì mà ban hội thảo của bạn thực sự yêu cầu — độc lập hay ẩn danh — vì chúng không phải là một điều giống nhau, và nền tảng sẽ cung cấp cho bạn một trong hai điều đó theo mặc định.

1. 1Đặt giả thuyết như là tuyên bố gốc — có thể bị bác bỏ, không mở: "X sẽ trở thành thực hành lâm sàng tiêu chuẩn vào năm 2032", không phải "tương lai của X là gì?". Một gốc mơ hồ tạo ra những vị trí không thể đánh giá. Điểm kiểm tra: gốc có thể được tranh luận cho và chống lại.

Vòng 1: các vị trí độc lập, sau đó là các số

1. 1Cửa sổ nộp độc lập. Mỗi thành viên hội đồng thêm các quan điểm ủng hộ hoặc phản đối dưới gốc — mà không thấy ý kiến của người khác cho đến khi nộp. Đây là sự độc lập mà phương pháp yêu cầu, được thực thi bởi phương tiện chứ không phải bằng niềm tin vào quy trình của người điều phối. Điểm kiểm tra: mỗi thành viên hội đồng có ≥1 quan điểm; không ai đã thấy hoặc chỉnh sửa ý kiến của người khác.
2. 2Tùy chọn: Các thành viên hội đồng AI, được gán nhãn. Tạo thêm các vị trí từ một số mô hình. Nguồn gốc được đóng dấu trên mỗi lập luận, vì vậy các vị trí máy móc luôn có thể phân biệt với các vị trí của chuyên gia. Điều này mở rộng không gian vị trí; nó không thêm bất kỳ chuyên môn nào — sự phân biệt này quan trọng và cần có trong báo cáo của bạn (xem phần hội đồng lai bên dưới). Điểm kiểm tra: Các vị trí AI được gán nhãn rõ ràng.
3. 3Đánh giá Vòng 1. Mỗi thành viên trong ban giám khảo đánh giá từng vị trí — một giá trị cộng với một nhãn, với các điểm neo mà bạn đã xác định ("1 = không hợp lý … 9 = gần như chắc chắn"). Đây là bản ghi định lượng của vòng này. Điểm kiểm tra: ma trận đánh giá hoàn chỉnh; các điểm neo được nêu một lần, sử dụng nhất quán.

Phản hồi có kiểm soát mang theo lý do

Bây giờ các công cụ khảo sát bước không thể làm được. Tài liệu phản hồi cho Vòng 2 không phải là một bản tóm tắt mà người điều phối đã viết — mà chính là cây: mỗi vị trí, bằng lời của tác giả (hoặc mô hình) của nó, kèm theo phân phối đánh giá. Các thành viên trong hội đồng thấy chính xác những lập luận nào mà nhóm cho là mạnh, lập luận nào chia rẽ hội đồng, và lập luận nào bị chìm — mà không có sự diễn đạt lại nào ở giữa. Công việc của người điều phối thu hẹp lại chỉ còn logistics: thông báo thời gian, chỉ vào cây.

Vòng 2: thẩm vấn, thách thức, hòa giải

Vòng 2 là nơi mà Delphi cổ điển nói "sửa đổi dựa trên phản hồi." Với lý do được hiển thị, việc sửa đổi trở nên chủ động — ba bước có cấu trúc, mỗi bước là một cuộc đối thoại bốn lượt với tác giả của vị trí:

1. 1Thẩm vấn — Chuỗi hỏi đáp. Trước khi điều chỉnh về một vị trí, hãy hiểu nó: câu hỏi của bạn, câu trả lời của tác giả, câu hỏi tiếp theo, câu trả lời — hoàn chỉnh. Đối với các vị trí AI, mô hình tự động trả lời, vì vậy ban hội thẩm không bao giờ bị chặn khi chờ một thành viên. Điểm kiểm tra: các vị trí đã thay đổi ý kiến mang theo chuỗi giải thích lý do.
2. 2Thách thức — Chuỗi đánh giá. Đánh giá một vị trí là không được hỗ trợ; tác giả phản hồi; theo dõi; phản hồi. N thành viên hội đồng thách thức một vị trí = N chuỗi song song — đây chính xác là cấu trúc mà một Delphi mong muốn: phê bình độc lập song song, không bao giờ có một chuỗi nhóm để trạng thái quay lại. Điểm kiểm tra: các vị trí tranh chấp mang theo các thách thức đã hoàn thành.
3. 3Hòa giải các bản sao gần giống — Chuỗi thỏa hiệp. Hai chuyên gia giữ vị trí gần giống nhau đã tính gấp đôi một quan điểm trong các đánh giá. Một người đề xuất công thức hợp nhất cho người kia, có ghi chép. Điểm kiểm tra: không còn cặp nào chưa được hợp nhất hoặc giải thích.
4. 4Đánh giá vòng 2. Đánh giá lại mọi thứ dưới cùng một điểm neo. Điểm kiểm tra: ma trận hoàn chỉnh thứ hai, sẵn sàng cho việc so sánh.

Bảng điều khiển lai: thêm mô hình mà không cần thêm chuyên môn

Bởi vì các vị trí do AI viết trả lời các chuỗi của chính chúng — được chuyển về mô hình đã viết chúng — một hội đồng kết hợp giữa con người và AI là thực tế: sử dụng các mô hình để mở rộng không gian vị trí của Vòng 1, sau đó để các chuyên gia con người thẩm vấn các vị trí của máy trong Vòng 2 và nhận được các phản hồi có nội dung mà không cần ai đứng ra cho phía máy. Hãy chính xác về những gì điều này mang lại: đầu vào rộng hơn, không phải là chuyên môn bổ sung. Vị trí của một mô hình là một mẫu được diễn đạt tốt, không phải là một sự nghiệp phán xét, và việc gán nhãn tồn tại để các số liệu hội tụ của bạn có thể được tính toán với và không có các hàng máy. Khi việc mở rộng đầu vào có ích và khi nó chỉ làm loãng là một tài liệu riêng — khi đám đông sai lầm đề cập đến các chế độ thất bại; mặt trái, tại sao các phán xét độc lập lại tổng hợp tốt khi chúng thực sự độc lập, là câu chuyện Galton và Condorcet.

Đo lường sự hội tụ, báo cáo sự bất đồng

Sự hội tụ là sự thu hẹp của các phân phối xếp hạng giữa các vòng, và bạn đo lường nó bằng cách so sánh chúng — một cách trung thực, bằng tay hoặc xuất ra: không có thống kê hội tụ tích hợp, không có Kendall's W tự động, không có bài kiểm tra độ ổn định. Xuất hai ma trận và tính toán những gì lĩnh vực của bạn mong đợi, hoặc báo cáo các phân phối một cách định tính ("mười hai trong mười bốn vị trí đã thu hẹp; hai vị trí còn lại đã tách ra thêm").

Và báo cáo sự bất đồng. Một vị trí mà ban hội thẩm không đồng ý ổn định qua các vòng — cùng một độ chênh lệch, cả hai cực đều được bảo vệ trong các chuỗi hoàn chỉnh — là một phát hiện, có thể nói là loại giá trị nhất: nó đánh dấu nơi mà phán đoán của các chuyên gia thực sự chia rẽ, với lý do cho cả hai cực được đính kèm. Việc trung bình hóa nó đi là tội lỗi không thể tha thứ của Delphi. Cây làm cho sự bất đồng có thể được trích dẫn: sự phản đối còn lại, tác giả của nó (hoặc người đại diện công khai ẩn danh của nó), và những thách thức mà nó đã vượt qua.

Giới hạn trung thực

• ✗Độc lập không phải là ẩn danh — được nêu rõ và đáng được nhắc lại: các lập luận của người thuê tư nhân được ghi nhận. Nếu ẩn danh là điều cần thiết về mặt phương pháp, hãy sử dụng người thuê công khai của Argumentree.AI và nói rõ điều đó trong bài viết của bạn.
• ✗Không có người quản lý vòng. Không có nút đóng Vòng-1, không có rào cản hiển thị theo vòng. Các vòng là một quy ước hỗ trợ mà bạn thực thi bằng cách giới hạn thời gian và hướng dẫn — hãy nói rõ điều đó, và đừng ngụ ý về sự tự động hóa mà không có.
• ✗Không có thống kê hội tụ tích hợp. W của Kendall, các bài kiểm tra ổn định và những thứ tương tự là do bạn tính toán từ các xếp hạng đã xuất.
• ✗Đánh giá là một giá trị được gán nhãn đơn, không phải là một công cụ Likert với các điểm neo đã được xác thực. Định nghĩa các điểm neo của bạn trong nhãn và giữ chúng không thay đổi qua các vòng.
• ✗Một chuỗi là bốn vòng, sau đó hoàn thành. Một cuộc tranh luận chuyên gia cần thêm thông tin sẽ nhận được một cuộc gọi — chuỗi ghi lại những gì đã được hỏi và trả lời.

Bài học thực hành

• ✓Viết các điểm neo trước Vòng 1 và dán chúng vào mọi thông báo cửa sổ. Một nửa dữ liệu Delphi lộn xộn là do sự trôi dạt của điểm neo.
• ✓Các khoảng thời gian được phân bổ rộng rãi qua các múi giờ — 72 giờ cho mỗi vòng là phù hợp cho các hội đồng quốc tế; các chuỗi được thiết kế bất đồng bộ.
• ✓Cap Round-1 vị trí mỗi panelist (ba là đủ). Delphi thưởng cho các vị trí đã xem xét, không phải khối lượng.
• ✓Đóng băng cây giữa các vòng. Thông báo rằng các bài nộp ngoài thời gian sẽ bị loại bỏ — quy ước vòng chỉ có hiệu lực nếu người điều phối giữ nó.

Phản hồi mà bạn cuối cùng có thể gửi

Quay lại email của người tham gia cẩn thận: "Tôi có thể xem lý do không? Tôi muốn biết tôi đã đồng ý với điều gì." Trong phiên bản này của nghiên cứu, câu trả lời là một liên kết. Dưới đây là mười bốn vị trí; đây là vị trí mà sự chênh lệch đánh giá đã sụp đổ sau khi hai chuỗi Đánh giá không thể làm tổn thương nó; đây là cuộc trao đổi đã khiến bạn và mười một người khác cảm động. Sự đồng thuận với lý do kèm theo — điều này đã là hứa hẹn của phương pháp từ đầu.