Bir Delphi Çalışması Yürütmek: Akıl Yürütmenin Turları Geçmesi

Hiç kimsenin açıklayamadığı bir noktada birleşen panel

Delphi çalışmasının 3. turu kapanır ve kolaylaştırıcı paneli e-posta ile bilgilendirir: uzlaşı sağlandı. On yıllık benimseme sorusunda medyan 6.1'den 7.8'e yükseldi; standart sapma yarıya indi; rapor kendini yazıyor. Sonra bir panelist — dikkatli olan — şu soruyla yanıt verir: "Tahminimi gözden geçirdim çünkü 2. tur özetinde grubun iyimserlik için güçlü nedenleri olduğu söylendi. O nedenleri görebilir miyim? Ne ile anlaştığımı bilmek isterim."

İyi bir cevap yok. Turlar anketlerdi. Aralarında panel, medyanları, çeyrekleri ve bir kolaylaştırıcının iki paragraflık özetini gördü. nedenler — on bir uzmanın yukarıya doğru revize edilmesine neden olan spesifik argümanlar — serbest metin kutularına yazıldı, özetin içine sıkıştırıldı ve kayboldu. Panel bir araya geldi; hangi gerekçeyle, kimse söyleyemez.

Bu, bozuk bir çalışma değil; standart araçlarla standart bir uygulamadır ve yöntemin en iyi özelliğini israf eder. Delphi, kesin bir içgörü etrafında tasarlandı: anonimlik ve bağımsızlık, yüz yüze panelleri çarpıtan egemenlik ve statü etkilerini ortadan kaldırır ve kontrollü geri bildirim, gerçek yargının sosyal baskı olmadan kaymasını sağlar. Anket yazılımı bağımsızlık sağlar ancak geri bildirimin özünü kaybeder. Bu eğitim, akıl yürütme korunarak aynı turları gerçekleştirir.

Anket temelli Delphi'nin turlar arasında kaybettiği şeyler

Bir Delphi turu iki şey üretir: bir dağılım (panelin durduğu yer) ve bir akıl yürütme (neden). Anket araçları birincisi için oluşturulmuştur. İkincisi, serbest metin alanlarına ve ardından bir kolaylaştırıcının özetine dönüştürülür — bu, uzmanlar arasında hesap verilemez bir editörün sessizce yerleştirilmesine neden olur. İkinci Tur'daki panelistler, akranlarının argümanlarına yanıt vermiyor; onlara bir yeniden ifade ile yanıt veriyorlar. Tüm epistemolojisi yapılandırılmış kolektif yargı olan bir yöntem için, kaybetmek garip bir şeydir — kolektif yöntemlerin tarihi büyük ölçüde tam olarak bu geri bildirim adımı üzerindeki çatışmaların tarihidir.

Kurulum: soru, panel — ve anonimlik kararı

Her şeyden önce, bir metodoloğun öncelikle kontrol edeceği bir karar: panelinizin gerçekten neye ihtiyaç duyduğu — bağımsızlık mı yoksa anonimlik mi — çünkü bunlar aynı şey değildir ve platform size varsayılan olarak bunlardan birini sunar.

1. 1Öneriyi kök iddia olarak çerçevele — çürütülebilir, açık uçlu değil: "X 2032 yılına kadar standart klinik uygulama olacak", "X'in geleceği nedir?" değil. Belirsiz bir kök, değerlendirilemez pozisyonlar üretir. Kontrol noktası: kök, hem lehine hem aleyhine tartışılabilir.

1. Tur: bağımsız pozisyonlar, ardından sayılar

1. 1Bağımsız sunum penceresi. Her panelist, diğerlerini görmeden, kök altında destekleyici veya karşıt pozisyonlar ekler. Bu, yöntemin gerektirdiği bağımsızlıktır ve bu bağımsızlık, kolaylaştırıcının sürecine güven yerine ortam tarafından sağlanır. Kontrol noktası: her panelistin ≥1 pozisyonu var; kimse başkasınınkini görmemiş veya düzenlememiştir.
2. 2Opsiyonel: AI panelistleri, etiketlenmiş. Birkaç modelden ek pozisyonlar oluşturun. Her argümanda köken damgalıdır, bu nedenle makine pozisyonları her zaman uzman olanlardan ayırt edilebilir. Bu, pozisyon alanını genişletir; uzmanlık eklemez — ayrım önemlidir ve raporunuzda yer almalıdır (aşağıdaki hibrit panel bölümüne bakın). Kontrol Noktası: AI pozisyonları görünür şekilde etiketlenmiş.
3. 31. Tur derecelendirmeleri. Her panelist her pozisyonu değerlendirir — bir değer artı bir etiket, belirlediğiniz referanslarla ("1 = olası değil … 9 = neredeyse kesin"). Bu, turun nicel kaydıdır. Kontrol noktası: tamamlanmış derecelendirme matris; referanslar bir kez belirtilmiş, tutarlı bir şekilde kullanılmıştır.

Akıl yürütmeyi taşıyan kontrollü geri bildirim

Artık adım anket araçları bunu yapamaz. İkinci Tur için geri bildirim aracı kolaylaştırıcının yazdığı bir özet değildir — bu ağaçtır: her pozisyon, yazarının (veya modelin) kendi sözleriyle, ekli derecelendirme dağılımıyla birlikte. Panelistler, grubun hangi argümanları güçlü bulduğunu, hangilerinin paneli böldüğünü ve hangilerinin battığını tam olarak görür — arada hiçbir editoryal yeniden ifade olmadan. Kolaylaştırıcının işi lojistikle sınırlıdır: pencereyi duyurmak, ağacı işaret etmek.

2. Tur: sorgulamak, meydan okumak, uzlaştırmak

2. tur, klasik Delphi'nin "geri bildirim ışığında gözden geçir" dediği yerdir. Gerekçenin görünür olmasıyla birlikte, revizyon aktif hale gelir — her biri bir pozisyonun yazarıyla dört turdan oluşan bir diyalog olan üç yapılandırılmış hamle:

1. 1Sorgula — Soru-Cevap zinciri. Bir pozisyona yönelik revizyon yapmadan önce, onu anlamalısın: senin sorunun, yazarın cevabı, takip sorusu, cevap — tamam. AI pozisyonları için, model otomatik olarak cevap verir, bu nedenle panel hiçbir üyenin beklemesi nedeniyle engellenmez. Kontrol Noktası: görüşü değiştiren pozisyonlar, nedenini açıklayan zincirler taşır.
2. 2Challenge — İnceleme zinciri. Bir pozisyonu desteklenmeyen olarak değerlendirin; yazar yanıt verir; takip; yanıt. N panelistin bir pozisyonu sorgulaması = N paralel zincir — bu, bir Delphi'nin istediği tam yapıdır: paralel bağımsız eleştiri, asla yeniden girmek için bir grup ipliği yok. Kontrol noktası: tartışmalı pozisyonlar tamamlanmış zorluklar taşır.
3. 3Yakın benzerleri uzlaştır — Uzlaşma zinciri. Neredeyse aynı pozisyonda olan iki uzman, değerlendirmelerde bir görüşü iki kez sayar. Biri, kayıtlara geçmek üzere diğerine birleştirilmiş formülasyonu önerir. Kontrol noktası: birleştirilmemiş veya açıklanmamış hiçbir çift kalmamalıdır.
4. 4Round-2 değerlendirmeleri. Her şeyi aynı referanslar altında yeniden değerlendirin. Kontrol noktası: karşılaştırma için hazır ikinci tam matris.

Hibrit paneller: uzmanlık eklemeden modeller eklemek

Çünkü AI tarafından yazılan pozisyonlar kendi zincirlerini yanıtlar — onları yazan modele geri yönlendirilmiş — hibrit insan/AI paneli gerçekten pratik: modelleri kullanarak 1. Tur'un pozisyon alanını genişletin, ardından insan uzmanların 2. Tur'da makine pozisyonlarını çapraz sorgulamasına izin verin ve makinenin tarafında kimse olmadan somut yanıtlar alın. Bunun ne kazandırdığına dair net olun: daha geniş girdi, ek uzmanlık değil. Bir modelin pozisyonu iyi ifade edilmiş bir kalıptır, bir yargı kariyeri değil ve etiketleme, yakınsama sayılarınızın makine satırlarıyla ve makine satırları olmadan hesaplanabilmesi için vardır. Girdiyi genişletmenin ne zaman yardımcı olduğu ve ne zaman sadece seyreltildiği kendi literatürüdür — kalabalıklar yanlış gittiğinde başarısızlık modlarını kapsar; bağımsız yargıların gerçekten bağımsız olduklarında neden bu kadar iyi toplandığı ise Galton ve Condorcet hikayesidir.

Yakınsamanın ölçülmesi, muhalefetin raporlanması

Yakınsama, turlar arasındaki puan dağılımlarının daralmasıdır ve bunu karşılaştırarak ölçersiniz — dürüstçe, elle veya dışa aktararak: yerleşik bir yakınsama istatistiği yoktur, otomatik bir Kendall'ın W'si yoktur, stabilite testi yoktur. İki matris dışa aktarın ve alanınızın beklediği şeyi hesaplayın veya dağılımları niteliksel olarak rapor edin ("on dört pozisyondan on ikisi daraldı; ikisi daha da bölündü").

Ve muhalefeti rapor et. Panelin istikrarlı bir şekilde anlaşmazlık gösterdiği bir durum — aynı yayılma, tamamlanmış zincirlerde her iki kutbun da savunulması — bir bulgudur, tartışmasız en değerli tür: uzman yargısının gerçekten bölündüğü yeri işaret eder, her iki kutbun gerekçesi eklenmiştir. Bunu ortalamak, affedilemez Delphi günahıdır. Ağaç, muhalefeti alıntı yapılabilir hale getirir: hayatta kalan itiraz, yazarının (veya anonim kamu kiracısı vekilinin) ve hayatta kaldığı zorluklar.

Dürüst sınırlamalar

• ✗Bağımsızlık anonimlik değildir — açıkça ifade edilmiştir ve tekrar edilmesi değerlidir: özel kiracı argümanları atfedilir. Eğer anonimlik metodolojik olarak zorunluysa, Argumentree.AI kamu kiracısını kullanın ve bunu yazınızda belirtin.
• ✗Hiçbir tur yöneticisi yoktur. Yakın-Tur-1 butonu yok, her tur için görünürlük engellemesi yok. Turlar, zaman kutuları ve talimatlarla uyguladığınız bir kolaylaştırma konvansiyonudur — bunu belirtin ve mevcut olmayan otomasyonu ima etmeyin.
• ✗Yerleşik bir yakınsama istatistiği yok. Kendall'ın W'si, stabilite testleri ve benzeri istatistikleri dışa aktarılan derecelendirmelerden hesaplayabilirsiniz.
• ✗Değerlendirmeler tek etiketli bir değerdir, doğrulanmış referans noktaları olan bir Likert aracı değildir. Referans noktalarınızı etiket içinde tanımlayın ve turlar boyunca sabit tutun.
• ✗Bir zincir dört dönüş, sonra tamamdır. Daha fazlasını gerektiren bir uzman tartışması bir çağrı alır — zincir, daha önce sorulan ve yanıtlananları kaydeder.

Pratik dersler

• ✓1. Turdan önce bağlantıları yazın ve bunları her pencere duyurusuna yapıştırın. Tüm dağınık Delphi verilerinin yarısı bağlantı kaymasıdır.
• ✓Zaman dilimleri boyunca cömertçe zaman kutuları — uluslararası paneller için her turda 72 saat uygundur; zincirler yapısı gereği asenkron.
• ✓Cap Round-1 panelist başına pozisyonlar (üç yeterlidir). Delphi, dikkate alınan pozisyonları, hacmi değil ödüllendirir.
• ✓Ağaçları turlar arasında dondurun. Pencerelerin dışındaki gönderimlerin kaldırılacağını duyurun — tur kuralı yalnızca kolaylaştırıcı bunu sürdürdüğünde geçerlidir.

Sonunda gönderebileceğiniz yanıt

Dikkatli panelistin e-postasına geri dönelim: "Nedenleri görebilir miyim? Ne ile anlaştığımı bilmek istiyorum." Bu çalışmanın versiyonunda cevap bir bağlantıdır. İşte on dört pozisyon; işte iki İnceleme zincirinin onu etkilemediği için derecelendirme aralığının çöktüğü pozisyon; işte sizi ve on bir diğerini etkileyen değişim. Ekli gerekçelerle birlikte bir uzlaşma — bu, yöntemin her zaman vaat ettiği şeydi.