Menjalankan Studi Delphi di Mana Alasan Bertahan di Setiap Putaran

Panel yang berkumpul tanpa ada yang bisa dijelaskan oleh siapa pun

Putaran 3 dari studi Delphi ditutup dan fasilitator mengirim email kepada panel: konsensus tercapai. Median bergerak dari 6,1 ke 7,8 pada pertanyaan adopsi sepuluh tahun; deviasi standar terpangkas setengah; laporan menulis dirinya sendiri. Kemudian salah satu panelis — yang berhati-hati — membalas dengan pertanyaan yang mengurai semuanya: "Saya merevisi estimasi saya karena ringkasan Putaran-2 mengatakan bahwa kelompok memiliki alasan kuat untuk optimisme. Bisakah saya melihat alasan tersebut? Saya ingin tahu apa yang saya setujui."

Tidak ada jawaban yang baik. Ronde tersebut adalah survei. Di antara mereka, panel melihat median, kuartil, dan ringkasan dua paragraf dari seorang fasilitator. Alasan — apa pun argumen spesifik yang membuat sebelas ahli merevisi ke atas — diketik ke dalam kotak teks bebas, diringkas ke dalam ringkasan, dan hilang. Panel berkumpul; dengan alasan apa, tidak ada yang bisa mengatakan.

Ini bukan studi yang rusak; ini adalah praktik standar dengan alat standar, dan ini membuang sifat terbaik dari metode tersebut. Delphi dirancang berdasarkan wawasan yang tepat: anonimitas dan independensi menghilangkan efek dominasi dan status yang mendistorsi panel tatap muka, dan umpan balik yang terkontrol memungkinkan penilaian yang sebenarnya bergeser tanpa tekanan sosial. Perangkat lunak survei memberikan independensi dan kehilangan substansi dari umpan balik. Tutorial ini menjalankan putaran yang sama dengan alasan yang dipertahankan.

Apa yang hilang dari Delphi berbasis survei antara putaran

Sebuah putaran Delphi menghasilkan dua hal: distribusi (di mana panel berdiri) dan suatu alasan (mengapa). Alat survei dibangun untuk yang pertama. Yang kedua diringkas menjadi kolom teks bebas dan kemudian menjadi ringkasan fasilitator — yang secara diam-diam menyisipkan editor yang tidak dapat dipertanggungjawabkan di antara para ahli satu sama lain. Panelis di Putaran 2 tidak merespons argumen rekan-rekan mereka; mereka merespons parafrase dari argumen tersebut. Untuk sebuah metode yang seluruh epistemologinya adalah penilaian kolektif terstruktur, itu adalah hal aneh yang hilang — sejarah metode kolektif sebagian besar adalah sejarah pertarungan mengenai langkah umpan balik ini.

Pengaturan: pertanyaan, panel — dan keputusan anonimitas

Sebelum yang lainnya, satu keputusan yang akan diperiksa oleh seorang metodolog adalah: apa yang sebenarnya dibutuhkan oleh panel Anda — independensi atau anonimitas — karena keduanya bukanlah hal yang sama, dan platform memberikan salah satunya secara default.

1. 1Rumuskan proposisi sebagai klaim utama — dapat dibantah, tidak terbuka: "X akan menjadi praktik klinis standar pada tahun 2032", bukan "apa masa depan X?". Akar yang samar menghasilkan posisi yang tidak dapat dinilai. Titik pemeriksaan: akar dapat diperdebatkan baik untuk maupun melawan.

Putaran 1: posisi independen, kemudian angka-angka

1. 1Jendela pengajuan independen. Setiap panelis menambahkan posisi pendukung atau menentang di bawah akar — tanpa melihat posisi orang lain hingga diserahkan. Ini adalah independensi yang diperlukan metode ini, ditegakkan oleh media daripada oleh kepercayaan pada proses fasilitator. Titik pemeriksaan: setiap panelis memiliki ≥1 posisi; tidak ada yang telah melihat atau mengedit posisi orang lain.
2. 2Opsional: Panelis AI, diberi label. Menyemai posisi tambahan dari beberapa model. Asal usul dicap pada setiap argumen, sehingga posisi mesin selalu dapat dibedakan dari posisi ahli. Ini memperluas ruang posisi; ini tidak menambah keahlian — perbedaan ini penting dan harus ada dalam laporan Anda (lihat bagian panel hibrida di bawah). Checkpoint: Posisi AI diberi label secara terlihat.
3. 3Peringkat Putaran-1. Setiap panelis memberikan penilaian untuk setiap posisi — satu nilai ditambah label, dengan jangkar yang Anda tentukan ("1 = tidak mungkin … 9 = hampir pasti"). Ini adalah catatan kuantitatif dari putaran ini. Titik pemeriksaan: matriks penilaian lengkap; jangkar dinyatakan sekali, digunakan secara konsisten.

Umpan balik yang terkontrol yang membawa penalaran

Sekarang alat survei langkah tidak dapat dilakukan. Artefak umpan balik untuk Putaran 2 adalah bukan ringkasan yang ditulis oleh fasilitator — itu adalah pohon itu sendiri: setiap posisi, dalam kata-kata penulisnya (atau modelnya) sendiri, dengan distribusi penilaiannya yang terlampir. Panelis melihat dengan tepat argumen mana yang dianggap kuat oleh kelompok, mana yang membagi panel, dan mana yang tenggelam — tanpa parafrase editorial di antara keduanya. Tugas fasilitator menyusut menjadi logistik: umumkan jendela, tunjukkan pohon.

Putaran 2: interogasi, tantang, rekonsiliasi

Putaran 2 adalah di mana Delphi klasik mengatakan "revisi berdasarkan umpan balik." Dengan alasan yang terlihat, revisi menjadi aktif — tiga langkah terstruktur, masing-masing merupakan dialog empat putaran dengan penulis posisi.

1. 1Interogasi — Rantai Q&A. Sebelum merevisi menuju suatu posisi, pahami itu: pertanyaanmu, jawaban penulis, tindak lanjut, jawaban — lengkap. Untuk posisi AI, model menjawab secara otomatis, sehingga panel tidak pernah terhalang menunggu satu anggota. Checkpoint: posisi yang mengubah pendapat membawa rantai yang menjelaskan alasannya.
2. 2Tantangan — Rantai ulasan. Evaluasi suatu posisi sebagai tidak didukung; penulis merespons; tindak lanjut; respons. N panelis yang menantang satu posisi = N rantai paralel — yang merupakan struktur yang diinginkan oleh Delphi: kritik independen paralel, tidak pernah satu utas grup untuk masuk kembali. Titik pemeriksaan: posisi yang diperdebatkan membawa tantangan yang telah diselesaikan.
3. 3Rekonsiliasi hampir duplikat — Rantai kompromi. Dua ahli yang memegang posisi hampir sama menghitung dua kali satu pandangan dalam penilaian. Salah satu dari mereka mengusulkan formulasi yang digabungkan kepada yang lain, secara resmi. Titik pemeriksaan: tidak ada pasangan duplikat yang dibiarkan tidak digabungkan atau tidak dijelaskan.
4. 4Peringkat Putaran-2. Nilai ulang semuanya di bawah jangkar yang sama. Titik pemeriksaan: matriks lengkap kedua, siap untuk perbandingan.

Panel hibrida: menambahkan model tanpa menambah keahlian

Karena posisi yang ditulis oleh AI menjawab rantai mereka sendiri — diarahkan kembali ke model yang menulisnya — panel hibrida manusia/AI benar-benar praktis: gunakan model untuk memperluas ruang posisi Putaran 1, lalu biarkan para ahli manusia memeriksa posisi mesin di Putaran 2 dan mendapatkan jawaban substantif tanpa ada yang mengisi sisi mesin. Jadilah tepat tentang apa yang ini beli: input yang lebih luas, bukan keahlian tambahan. Posisi model adalah pola yang dirumuskan dengan baik, bukan karir penilaian, dan pelabelan ada agar angka konvergensi Anda dapat dihitung dengan dan tanpa baris mesin. Kapan memperluas input membantu dan kapan hanya mengencerkan adalah literaturnya sendiri — ketika kerumunan salah mencakup mode kegagalan; sisi lainnya, mengapa penilaian independen terakumulasi dengan baik ketika mereka benar-benar independen, adalah cerita Galton dan Condorcet.

Mengukur konvergensi, melaporkan ketidaksetujuan

Konvergensi adalah penyempitan distribusi penilaian antara putaran, dan Anda mengukurnya dengan membandingkannya — secara jujur, secara manual atau ekspor: tidak ada statistik konvergensi bawaan, tidak ada Kendall's W otomatis, tidak ada uji stabilitas. Ekspor kedua matriks dan hitung apa yang diharapkan oleh bidang Anda, atau laporkan distribusinya secara kualitatif ("dua belas dari empat belas posisi menyempit; dua terpisah lebih jauh").

Dan laporkan ketidaksepakatan. Sebuah posisi di mana panel secara stabil tidak setuju di berbagai putaran — penyebaran yang sama, kedua kutub dipertahankan dalam rantai yang lengkap — adalah temuan, bisa dibilang jenis yang paling berharga: ini menandai di mana penilaian ahli benar-benar terpecah, dengan alasan untuk kedua kutub terlampir. Menghitung rata-ratanya adalah satu dosa Delphi yang tidak termaafkan. Pohon membuat ketidaksepakatan dapat dikutip: keberatan yang bertahan, penulisnya (atau pengganti penyewa publik yang dianonimkan), dan tantangan yang berhasil dilaluinya.

Batasan yang jujur

• ✗Kemandirian bukanlah anonimitas — dinyatakan secara langsung dan layak untuk diulang: argumen penyewa pribadi dapat diatribusikan. Jika anonimitas secara metodologis penting, gunakan penyewa publik Argumentree.AI dan sebutkan dalam tulisan Anda.
• ✗Tidak ada manajer putaran. Tidak ada tombol close-Round-1, tidak ada penghalang visibilitas per putaran. Putaran adalah konvensi fasilitasi yang Anda terapkan dengan batas waktu dan instruksi — katakan demikian, dan jangan menyiratkan otomatisasi yang tidak ada.
• ✗Tidak ada statistik konvergensi bawaan. W Kendall, uji stabilitas dan sejenisnya dapat Anda hitung dari penilaian yang diekspor.
• ✗Penilaian adalah nilai yang diberi label tunggal, bukan instrumen Likert dengan jangkar yang divalidasi. Definisikan jangkar Anda dalam label dan pertahankan konsisten di setiap putaran.
• ✗Sebuah rantai adalah empat putaran, kemudian selesai. Sebuah sengketa ahli yang membutuhkan lebih banyak mendapatkan panggilan — rantai mencatat apa yang sudah ditanyakan dan dijawab.

Pelajaran praktis

• ✓Tuliskan jangkar sebelum Putaran 1 dan tempelkan ke setiap pengumuman jendela. Setengah dari semua data Delphi yang berantakan adalah pengalihan jangkar.
• ✓Jendela waktu yang murah hati di berbagai zona waktu — 72 jam per putaran bekerja untuk panel internasional; rantai tersebut bersifat asinkron secara konstruksi.
• ✓Cap posisi Round-1 per panelis (tiga sudah cukup). Delphi menghargai posisi yang dipertimbangkan, bukan volume.
• ✓Bekukan pohon di antara putaran. Umumkan bahwa pengiriman di luar jendela akan dihapus — konvensi putaran hanya berlaku jika fasilitator yang mengaturnya.

Balasan yang akhirnya bisa Anda kirim

Kembali ke email panelis yang hati-hati: "Bisakah saya melihat alasannya? Saya ingin tahu apa yang saya setujui." Dalam versi studi ini, jawabannya adalah sebuah tautan. Berikut adalah empat belas posisi; berikut adalah posisi yang peringkatnya runtuh setelah dua rantai Tinjauan gagal mempengaruhinya; berikut adalah pertukaran yang menggerakkan Anda dan sebelas orang lainnya. Konsensus dengan alasan yang terlampir — yang merupakan janji metode ini sejak awal.