Menjalankan Kajian Delphi Di Mana Pemikiran Bertahan Dalam Pusingan

Panel yang berkumpul tanpa apa-apa yang dapat dijelaskan oleh sesiapa.

Pusingan 3 kajian Delphi ditutup dan fasilitator menghantar emel kepada panel: konsensus dicapai. Median bergerak dari 6.1 ke 7.8 pada soalan pengambilan sepuluh tahun; sisihan piawai berkurang separuh; laporan menulis dirinya sendiri. Kemudian seorang panelis — yang berhati-hati — membalas dengan soalan yang merungkai semuanya: "Saya telah menyemak semula anggaran saya kerana ringkasan Pusingan-2 mengatakan kumpulan mempunyai alasan yang kuat untuk optimis. Bolehkah saya melihat alasan tersebut? Saya ingin tahu apa yang saya setujui."

Tiada jawapan yang baik. Pusingan-pusingan itu adalah tinjauan. Antara mereka, panel melihat median, kuartil dan ringkasan dua perenggan daripada fasilitator. Alasan — apa jua hujah khusus yang mendorong sebelas pakar untuk mengubah semula ke atas — ditaip ke dalam kotak teks bebas, dimampatkan ke dalam ringkasan, dan hilang. Panel bersatu; atas alasan apa, tiada siapa yang dapat katakan.

Ini bukan kajian yang rosak; ia adalah amalan standard dengan alat standard, dan ia membazirkan sifat terbaik kaedah tersebut. Delphi direka berdasarkan wawasan yang tepat: anonymiti dan kebebasan menghapuskan kesan dominasi dan status yang mengganggu panel secara langsung, dan maklum balas yang terkawal membolehkan penilaian yang sebenar berubah tanpa tekanan sosial. Perisian tinjauan memberikan kebebasan dan kehilangan substansi maklum balas. Tutorial ini menjalankan pusingan yang sama dengan alasan yang dikekalkan.

Apa yang hilang dalam Delphi berasaskan tinjauan antara pusingan

Satu pusingan Delphi menghasilkan dua perkara: satu pengedaran (di mana panel berdiri) dan satu badan alasan (mengapa). Alat tinjauan dibina untuk yang pertama. Yang kedua diratakan menjadi medan teks bebas dan kemudian menjadi ringkasan fasilitator — yang secara senyap menyisipkan seorang editor yang tidak dapat dipertanggungjawabkan di antara para pakar dan satu sama lain. Panelis dalam Pusingan 2 tidak menjawab hujah rakan-rakan mereka; mereka menjawab parafrasa daripada mereka. Bagi satu kaedah yang keseluruhan epistemologinya adalah penilaian kolektif yang terstruktur, itu adalah sesuatu yang aneh untuk hilang — sejarah kaedah kolektif sebahagian besarnya adalah sejarah pertikaian mengenai langkah maklum balas ini.

Persediaan: soalan, panel — dan keputusan anonimiti

Sebelum apa-apa yang lain, satu keputusan yang akan diperiksa oleh seorang metodologis terlebih dahulu: apa yang sebenarnya diperlukan oleh panel anda — kebebasan atau tanpa nama — kerana ia bukan perkara yang sama, dan platform memberikan salah satu daripadanya secara lalai.

1. 1Bingkai cadangan sebagai tuntutan utama — boleh dibuktikan salah, tidak terbuka: "X akan menjadi amalan klinikal standard menjelang 2032", bukan "apakah masa depan X?". Akar yang kabur menghasilkan kedudukan yang tidak boleh dinilai. Tanda semak: akar boleh diperdebatkan untuk dan menentang.

Pusingan 1: kedudukan bebas, kemudian nombor

1. 1Jendela penyerahan bebas. Setiap panelis menambah posisi sokongan atau menentang di bawah akar — tanpa melihat posisi orang lain sehingga dihantar. Ini adalah kebebasan yang diperlukan oleh kaedah ini, dikuatkuasakan oleh medium dan bukannya kepercayaan terhadap proses fasilitator. Titik pemeriksaan: setiap panelis mempunyai ≥1 posisi; tiada siapa yang telah melihat atau mengedit posisi orang lain.
2. 2Pilihan: Panelis AI, dilabelkan. Benih kedudukan tambahan dari beberapa model. Asal usul dicap pada setiap hujah, jadi kedudukan mesin sentiasa dapat dibezakan dari yang pakar. Ini memperluas ruang kedudukan; ia tidak menambah kepakaran — perbezaan itu penting dan perlu dimasukkan dalam laporan anda (lihat bahagian panel hibrid di bawah). Titik pemeriksaan: Kedudukan AI dilabelkan dengan jelas.
3. 3Peringkat Pusingan-1. Setiap panelis menilai setiap posisi — satu nilai ditambah label, dengan penanda yang anda tetapkan ("1 = tidak mungkin … 9 = hampir pasti"). Ini adalah rekod kuantitatif pusingan ini. Titik pemeriksaan: matriks penilaian lengkap; penanda dinyatakan sekali, digunakan secara konsisten.

Maklum balas terkawal yang membawa alasan

Kini alat tinjauan langkah tidak dapat dilakukan. Artefak maklum balas untuk Pusingan 2 adalah bukan ringkasan yang ditulis oleh fasilitator — ia adalah pokok itu sendiri: setiap kedudukan, dalam kata-kata penulisnya (atau modelnya) sendiri, dengan pengagihan penilaian yang dilampirkan. Panelis melihat dengan tepat argumen mana yang dianggap kuat oleh kumpulan, mana yang membahagikan panel, dan mana yang tenggelam — tanpa parafrasa editorial di antara. Tugas fasilitator menyusut kepada logistik: umumkan waktu, tunjukkan pada pokok.

Pusingan 2: soal siasat, cabar, mendamaikan

Pusingan 2 adalah di mana Delphi klasik mengatakan "semak semula berdasarkan maklum balas." Dengan alasan yang jelas, semakan menjadi aktif — tiga langkah terstruktur, masing-masing adalah dialog empat pusingan dengan penulis posisi.

1. 1Interogasi — Rantaian Q&A. Sebelum mengubah pendirian, fahami ia: soalan anda, jawapan penulis, susulan, jawapan — lengkap. Untuk pendirian AI, model menjawab secara automatik, jadi panel tidak pernah terhalang menunggu seorang ahli. Titik pemeriksaan: pendirian yang mengubah pendapat membawa rantaian yang menerangkan sebabnya.
2. 2Cabaran — Rantaian ulasan. Menilai satu kedudukan sebagai tidak disokong; penulis memberi maklum balas; susulan; maklum balas. N panelis mencabar satu kedudukan = N rantaian selari — yang merupakan struktur yang tepat yang diinginkan oleh Delphi: kritikan selari yang bebas, tidak pernah satu utas kumpulan untuk status masuk semula. Titik pemeriksaan: kedudukan yang dipertikaikan membawa cabaran yang telah diselesaikan.
3. 3Rekonsiliasi hampir duplikat — Rantaian kompromi. Dua pakar yang memegang hampir jawatan yang sama mengira satu pandangan dua kali dalam penilaian. Satu mencadangkan penggabungan formulasi kepada yang lain, secara rasmi. Checkpoint: tiada pasangan duplikat yang dibiarkan tidak digabungkan atau tidak dijelaskan.
4. 4Peringkat Pusingan-2. Menilai semula segala-galanya di bawah penanda yang sama. Titik pemeriksaan: matriks lengkap kedua, sedia untuk perbandingan.

Panel hibrid: menambah model tanpa menambah kepakaran

Kerana kedudukan yang ditulis oleh AI menjawab rantai mereka sendiri — dikembalikan kepada model yang menulisnya — panel hibrid manusia/AI adalah praktikal: gunakan model untuk memperluas ruang kedudukan Pusingan 1, kemudian biarkan pakar manusia memeriksa kedudukan mesin dalam Pusingan 2 dan mendapatkan jawapan substantif tanpa sesiapa yang mengendalikan sisi mesin. Jadilah tepat tentang apa yang ini beli: input yang lebih luas, bukan kepakaran tambahan. Kedudukan model adalah corak yang dinyatakan dengan baik, bukan kerjaya penilaian, dan pelabelan wujud supaya nombor konvergensi anda boleh dikira dengan dan tanpa barisan mesin. Apabila memperluas input membantu dan apabila ia hanya mencairkan adalah literaturnya sendiri — apabila orang ramai salah merangkumi mod kegagalan; sisi sebaliknya, mengapa penilaian bebas berkumpul dengan baik apabila mereka benar-benar bebas, adalah cerita Galton dan Condorcet.

Mengukur konvergensi, melaporkan ketidaksetujuan

Konvergensi adalah penyempitan pengedaran penilaian antara pusingan, dan anda mengukurnya dengan membandingkannya — secara jujur, secara manual atau eksport: tiada statistik konvergensi terbina dalam, tiada W Kendall automatik, tiada ujian kestabilan. Eksport kedua-dua matriks dan kira apa yang dijangkakan oleh bidang anda, atau laporkan pengedaran secara kualitatif ("dua belas daripada empat belas kedudukan menyempit; dua lagi terpisah lebih lanjut").

Dan laporkan ketidaksetujuan. Satu posisi di mana panel secara stabil tidak setuju di seluruh pusingan — penyebaran yang sama, kedua-dua kutub dipertahankan dalam rangkaian yang lengkap — adalah penemuan, boleh dikatakan jenis yang paling berharga: ia menandakan di mana penilaian pakar benar-benar berbeza, dengan alasan untuk kedua-dua kutub dilampirkan. Mengambil purata adalah satu dosa Delphi yang tidak dapat dimaafkan. Pokok itu menjadikan ketidaksetujuan boleh dirujuk: bantahan yang masih ada, penulisnya (atau wakil penyewa awam yang dianonimkan), dan cabaran yang telah dilaluinya.

Had yang jujur

• ✗Kemerdekaan bukanlah anonimitas — dinyatakan secara langsung dan patut diulang: hujah penyewa swasta adalah terakru. Jika anonimitas adalah penting dari segi metodologi, gunakan penyewa awam Argumentree.AI dan nyatakan dalam penulisan anda.
• ✗Tidak ada pengurus pusingan. Tiada butang tutup-Pusingan-1, tiada penghadapan keterlihatan per-pusingan. Pusingan adalah konvensi pemudahan yang anda kuatkuasakan dengan kotak masa dan arahan — nyatakan demikian, dan jangan menyiratkan automasi yang tidak ada.
• ✗Tiada statistik konvergensi terbina dalam. W Kendall, ujian kestabilan dan seumpamanya adalah untuk anda kira daripada penilaian yang dieksport.
• ✗Peringkat adalah nilai berlabel tunggal, bukan instrumen Likert dengan penanda yang disahkan. Tentukan penanda anda dalam label dan kekalkan ia tetap sepanjang pusingan.
• ✗Rantaian adalah empat pusingan, kemudian lengkap. Pertikaian pakar yang memerlukan lebih banyak mendapat panggilan — rantaian merekod apa yang telah ditanya dan dijawab.

Pelajaran praktikal

• ✓Tuliskan penanda sebelum Pusingan 1 dan tampalkan mereka ke dalam setiap pengumuman tetingkap. Separuh daripada semua data Delphi yang tidak teratur adalah pengalihan penanda.
• ✓Jendela masa yang murah hati merentasi zon waktu — 72 jam setiap pusingan berfungsi untuk panel antarabangsa; rantaian adalah asinkron secara konstruksi.
• ✓Cap Round-1 kedudukan setiap panelis (tiga sudah memadai). Delphi memberi ganjaran kepada kedudukan yang dipertimbangkan, bukan jumlah.
• ✓Bekukan pokok antara pusingan. Umumkan bahawa penghantaran di luar tingkap akan dibuang — konvensyen pusingan hanya berlaku jika fasilitator mengendalikannya.

Jawapan yang akhirnya anda boleh hantar

Kembali kepada emel panelis yang berhati-hati: "Bolehkah saya melihat alasannya? Saya ingin tahu apa yang saya setujui." Dalam versi kajian ini, jawapannya adalah pautan. Berikut adalah empat belas kedudukan; ini adalah yang penilaian penyebarannya runtuh selepas dua rangkaian Semakan gagal menembusinya; ini adalah pertukaran yang menggerakkan anda dan sebelas yang lain. Konsensus dengan alasan yang dilampirkan — yang merupakan janji kaedah sepanjang masa.