ラウンドを経ても推論が生き残るデルファイ研究の実施

誰も説明できない何かに収束したパネル

デルファイ研究のラウンド3が終了し、ファシリテーターがパネルにメールを送信します：合意に達しました。10年の採用に関する質問で中央値は6.1から7.8に移動し、標準偏差は半分になりました；報告書は自動的に作成されます。すると、一人のパネリスト — 慎重な人 — がそれを解きほぐす質問で返信します："ラウンド2の要約にグループが楽観的である強い理由があると書かれていたので、私の推定を修正しました。その理由を見せてもらえますか？私が何に同意したのか知りたいです。"

良い答えはありません。ラウンドは調査でした。その間、パネルは中央値、四分位数、そしてファシリテーターの2段落の要約を見ました。理由 — 11人の専門家が上方修正するように動かされた具体的な議論は、自由記述ボックスに入力され、要約に圧縮され、失われました。パネルは収束しましたが、どのような理由でそうなったのかは誰にも言えません。

これは壊れた研究ではなく、標準的なツールを用いた標準的な実践であり、その方法の最良の特性を無駄にしています。デルファイ法は、次のような正確な洞察に基づいて設計されました：匿名性と独立性は、対面パネルを歪める支配や地位の影響を取り除き、制御されたフィードバックは社会的圧力なしに真の判断を変化させることを可能にします。調査ソフトウェアは独立性を提供しますが、フィードバックの本質を失います。このチュートリアルは、理由を保持したまま同じラウンドを実行します。

ラウンド間で調査ベースのデルファイが失うもの

デルファイラウンドは二つのものを生み出します：分布（パネルの立場）と理由の体系（なぜ）。調査ツールは前者のために作られています。後者は自由記述フィールドに平坦化され、その後ファシリテーターの要約に変換されます — これにより、専門家同士の間に説明責任のない編集者が静かに挿入されます。ラウンド2のパネリストは、同僚の議論に対して反応しているのではなく、それらの言い換えに反応しています。全体の認識論が構造化された集団判断である方法にとって、これは失うには奇妙なことです — 集団的方法の歴史は、主にこのフィードバックステップに関する争いの歴史です。

設定：質問、パネル — そして匿名性の決定

何よりもまず、方法論者が最初に確認するべき決定は：あなたのパネルが実際に必要とするもの — 独立性か匿名性か — それは同じものではなく、プラットフォームはデフォルトでそのうちの一つを提供します。

1. 1提案を根本的な主張として枠付ける — 反証可能であり、オープンエンドではない: "Xは2032年までに標準的な臨床実践となる"、ではなく "Xの未来はどうなるか？"。曖昧な根本は評価できない立場を生み出す。チェックポイント: 根本は賛成と反対の両方で議論できる。

ラウンド1：独立したポジション、その後に数字

1. 1独立した提出ウィンドウ。 各パネリストは、他の人が提出するまで見ることなく、根の下に支持または反対の立場を追加します。これは、ファシリテーターのプロセスへの信頼ではなく、メディアによって強制される方法が要求する独立性です。 チェックポイント：すべてのパネリストは≥1の立場を持っている; 誰も他の誰かのものを見たり編集したりしていない。
2. 2オプション: AIパネリスト、ラベル付き。 いくつかのモデルから追加のポジションを生成します。すべての議論には出所がスタンプされているため、機械のポジションは常に専門家のものと区別できます。これによりポジションの空間が広がりますが、専門知識は追加されません — この区別は重要であり、あなたの報告書に含めるべきです（下記のハイブリッドパネルセクションを参照）。 チェックポイント: AIポジションが明示的にラベル付けされています。
3. 3ラウンド1の評価。 各パネリストはすべてのポジションを評価します — 1つの値とラベル、あなたが定義したアンカーを使用して（「1 = 信じがたい … 9 = ほぼ確実」）。これがラウンドの定量的記録です。 チェックポイント：評価マトリックスの完成；アンカーは一度述べられ、一貫して使用される。

理由を伴う制御されたフィードバック

現在、ステップ調査ツールではできないことがあります。ラウンド2のフィードバックアーティファクトはファシリテーターが書いた要約ではありません — それは木そのものであり、すべてのポジションがその著者（またはモデル）の言葉で表現され、評価分布が添付されています。パネリストは、グループがどの主張を強いと見なしたか、どの主張がパネルを分裂させ、どの主張が沈んだのかを正確に確認できます — その間に編集された言い回しはありません。ファシリテーターの仕事は物流に縮小されます：ウィンドウを発表し、木を指し示すことです。

ラウンド2：尋問する、挑戦する、和解する

ラウンド2は、クラシックなデルファイが「フィードバックを考慮して修正する」と言うところです。理由が明示されることで、修正は能動的になります — それぞれがポジションの著者との4ターンの対話で構成された3つの構造化された動きです。

1. 1尋問 — Q&Aチェーン。 立場を修正する前に、それを理解する：あなたの質問、著者の回答、フォローアップ、回答 — 完全です。AIの立場では、モデルが自動的に回答するため、パネルは一人のメンバーを待ってブロックされることはありません。チェックポイント：意見が変わった立場は、その理由を説明するチェーンを持っています。
2. 2チャレンジ — レビューの連鎖。 立場を支持されていないと評価する; 著者が応答する; フォローアップ; 応答。 N人のパネリストが1つの立場に挑戦する = Nの平行な連鎖 — これはまさにデルファイが求める構造です：平行した独立した批評、決して1つのグループスレッドでステータスを再度入れることはありません。 チェックポイント：争点となる立場は完了したチャレンジを伴います。
3. 3近似重複を調整する — 妥協チェーン。 ほぼ同じ立場を持つ二人の専門家が、評価の中で一つの見解を二重にカウントします。一人が記録に残して、もう一人に統合された定式を提案します。チェックポイント：未統合または未説明の重複ペアは残さない。
4. 4ラウンド2の評価。 同じアンカーの下ですべてを再評価します。チェックポイント：2回目の完全なマトリックス、比較の準備が整いました。

ハイブリッドパネル：専門知識を追加せずにモデルを追加する

AIが作成したポジションは自らのチェーンに応答するため、モデルに戻されるため、ハイブリッドな人間/AIパネルは実際に実用的です。モデルを使用してラウンド1のポジションスペースを広げ、その後人間の専門家がラウンド2で機械のポジションを交差検証し、誰も機械の側に配置されることなく実質的な回答を得ることができます。これが何をもたらすのかを正確に理解してください：広い入力、追加の専門知識ではない。モデルのポジションは、よく表現されたパターンであり、判断のキャリアではなく、ラベリングは機械の行を含む場合と含まない場合で収束数を計算できるように存在します。入力を広げることが役立つ場合と単に希薄化する場合は独自の文献であり、群衆が間違うときは失敗モードをカバーしています。独立した判断が本当に独立しているときにうまく集約される理由は、ガルトンとコンコルデの物語です。

収束の測定、異議の報告

収束とは、ラウンド間の評価分布の狭まりであり、それを測定するには比較します — 正直に言えば、手作業またはエクスポートによって：組み込みの収束統計はなく、自動的なケンドールのWもなく、安定性テストもありません。2つの行列をエクスポートし、あなたの分野が期待するものを計算するか、分布を定性的に報告します（「14のポジションのうち12が狭まり、2つはさらに分かれた」）。

そして異議を報告します。パネルがラウンドを通じて安定して意見が分かれる位置 — 同じスプレッド、両極が完了したチェーンで守られている — は、発見であり、議論の余地がある最も価値のある種類です：それは専門家の判断が真に分かれる場所を示し、両極の理由が添えられています。それを平均化することは、デルファイの許されざる罪の一つです。ツリーは異議を引用可能にします：生き残った異議、その著者（または匿名の公的テナントの代理）、そしてそれが生き残った挑戦です。

正直な限界

• ✗独立は匿名ではない — これは明言されており、再度言う価値があります：プライベートテナントの議論は帰属されます。匿名性が方法論的に不可欠である場合は、Argumentree.AIのパブリックテナントを使用し、その旨をあなたの執筆に明記してください。
• ✗ラウンドマネージャーはいません。 クローズ・ラウンド1ボタンも、ラウンドごとの可視性制限もありません。ラウンドは、タイムボックスと指示で強制するファシリテーションの慣習です — そう言って、存在しない自動化を暗示しないでください。
• ✗組み込みの収束統計はありません。 ケンドールのW、安定性テストなどは、エクスポートされた評価から計算してください。
• ✗評価は単一のラベル付き値であり、検証されたアンカーを持つリッカート尺度ではありません。ラベル内でアンカーを定義し、ラウンド間で一定に保ってください。
• ✗チェーンは4回転してから完了します。 さらに必要な専門家の争いには電話がかかります — チェーンはすでに尋ねられたことと答えられたことを記録します。

実践的なレッスン

• ✓ラウンド1の前にアンカーを書き、それをすべてのウィンドウアナウンスに貼り付けてください。すべての乱雑なデルファイデータの半分はアンカードリフトです。
• ✓タイムボックスウィンドウを時間帯を超えて寛大に設定 — 国際パネルにはラウンドごとに72時間が適しており、チェーンは構造上非同期です。
• ✓パネルごとのキャップラウンド-1ポジション（3つで十分です）。デルファイは考慮されたポジションを報酬としており、ボリュームではありません。
• ✓ラウンドの合間に木を凍結させる。 ウィンドウ外の提出物は削除されることを発表する — ラウンドの慣習はファシリテーターがそれを保持する場合にのみ有効です。

ついに送信できる返信

慎重なパネリストのメールに戻ります："理由を見せてもらえますか？私が何に同意したのか知りたいです。" このバージョンの研究では、答えはリンクです。ここに十四のポジションがあります；ここには、二つのレビューのチェーンが影響を与えられなかった後に評価の広がりが崩れたものがあります；ここには、あなたと他の十一人を動かしたやり取りがあります。理由が添付された合意 — それがこの方法の約束でした。