라운드를 거치면서 추론이 살아남는 델파이 연구 진행하기

아무도 설명할 수 없는 것으로 수렴한 패널

델파이 연구의 3라운드가 종료되고 진행자가 패널에게 이메일을 보냅니다: 합의에 도달했습니다. 10년 채택 질문에서 중앙값이 6.1에서 7.8로 이동했으며, 표준 편차는 절반으로 줄어들었습니다; 보고서는 스스로 작성됩니다. 그러자 한 패널리스트 — 신중한 패널리스트 — 가 그것을 풀어내는 질문으로 답변합니다: "2라운드 요약에서 그룹이 낙관적인 이유가 강하다고 했기 때문에 제 추정치를 수정했습니다. 그 이유를 볼 수 있을까요? 제가 동의한 내용을 알고 싶습니다."

좋은 답변은 없다. 라운드는 설문조사였다. 그들 사이에서 패널은 중앙값, 사분위수 및 진행자의 두 단락 요약을 보았다. 이유 — 열한 명의 전문가들이 상향 조정하도록 만든 구체적인 주장은 무엇이든 — 자유 텍스트 상자에 입력되어 요약으로 압축되었고 사라졌다. 패널은 수렴했다; 어떤 논리에 기반했는지는 아무도 말할 수 없다.

이것은 잘못된 연구가 아니라 표준 도구를 사용한 표준 관행이며, 이 방법의 가장 좋은 특성을 낭비합니다. 델파이는 다음과 같은 정확한 통찰을 바탕으로 설계되었습니다: 익명성과 독립성은 대면 패널에서 왜곡되는 지배 및 지위 효과를 제거하고, 통제된 피드백은 사회적 압력 없이 진정한 판단이 변화할 수 있게 합니다. 설문 조사 소프트웨어는 독립성을 제공하지만 피드백의 본질을 잃습니다. 이 튜토리얼은 같은 논리를 유지하며 동일한 라운드를 진행합니다.

조사 기반 델파이가 라운드 간에 잃는 것

델파이 라운드는 두 가지를 생성합니다: 분포(패널의 입장)와 논리적 근거(이유). 조사 도구는 첫 번째를 위해 만들어집니다. 두 번째는 자유 텍스트 필드로 평평해지고, 그 다음에는 진행자의 요약으로 이어지며 — 이는 전문가들 사이에 책임을 지지 않는 편집자를 조용히 삽입합니다. 2라운드의 패널리스트들은 동료들의 주장을 반박하는 것이 아니라, 그 주장의 패러프레이즈에 반응하고 있습니다. 구조화된 집단 판단이라는 전체 인식론을 가진 방법에서, 이것을 잃는 것은 이상한 일입니다 — 집단 방법의 역사는 주로 바로 이 피드백 단계에 대한 싸움의 역사입니다.

설정: 질문, 패널 — 그리고 익명성 결정

무엇보다 먼저, 방법론자가 가장 먼저 확인할 결정 사항: 패널이 실제로 요구하는 것 — 독립성 또는 익명성 — 왜냐하면 이 두 가지는 동일하지 않으며, 플랫폼은 기본적으로 그 중 하나를 제공합니다.

1. 1주장을 근본 주장으로 구성하라 — 반증 가능하고, 개방적이지 않음: "X는 2032년까지 표준 임상 관행이 될 것이다", "X의 미래는 무엇인가?"가 아님. 모호한 근본은 평가할 수 없는 입장을 만들어낸다. 체크포인트: 근본은 찬반 논의가 가능해야 한다.

1라운드: 독립적인 위치, 그 다음 숫자

1. 1독립 제출 창. 각 패널리스트는 제출하기 전까지 다른 사람의 의견을 보지 않고 근본 아래에 지지 또는 반대 입장을 추가합니다. 이것이 방법이 요구하는 독립성이며, 이는 진행자의 과정에 대한 신뢰가 아니라 매체에 의해 강제됩니다. 체크포인트: 모든 패널리스트는 ≥1개의 입장을 가지고 있으며, 누구도 다른 사람의 의견을 보거나 수정하지 않았습니다.
2. 2선택 사항: AI 패널리스트, 라벨이 붙어 있습니다. 여러 모델에서 추가 포지션을 시드합니다. 모든 주장은 출처가 명시되어 있어 기계적 포지션과 전문가 포지션을 항상 구별할 수 있습니다. 이는 포지션 공간을 넓히며, 전문성을 추가하지 않습니다 — 이 구별은 중요하며 귀하의 보고서에 포함되어야 합니다 (아래 하이브리드 패널 섹션 참조). 체크포인트: AI 포지션이 명확하게 라벨이 붙어 있습니다.
3. 31차 평가. 모든 패널리스트가 모든 포지션을 평가합니다 — 하나의 값과 레이블, 당신이 정의한 앵커와 함께 ("1 = 불가능 … 9 = 거의 확실함"). 이것이 라운드의 정량적 기록입니다. 체크포인트: 완전한 평가 매트릭스; 앵커는 한 번 명시되고 일관되게 사용됨.

이유를 전달하는 통제된 피드백

이제 단계 조사 도구가 할 수 없는 일입니다. 2라운드 피드백 아티팩트는 진행자가 작성한 요약이 아닙니다 — 그것은 나무 자체입니다: 모든 위치가 저자(또는 모델)의 고유한 언어로 표현되어 있으며, 그에 따른 평가 분포가 첨부되어 있습니다. 패널리스트들은 그룹이 강하게 평가한 주장이 무엇인지, 패널이 나뉜 주장이 무엇인지, 그리고 어떤 주장이 실패했는지를 정확히 확인할 수 있습니다 — 중간에 편집된 패러프레이즈 없이. 진행자의 역할은 물류로 축소됩니다: 시간대를 발표하고, 나무를 가리킵니다.

2라운드: 심문하다, 도전하다, 화해하다

2라운드는 고전적인 델파이가 "피드백을 반영하여 수정하라"고 말하는 곳입니다. 추론이 가시화되면 수정이 활성화됩니다 — 세 가지 구조화된 움직임, 각기 네 번의 대화로 구성된 저자와의 대화입니다:

1. 1심문 — Q&A 체인. 입장을 수정하기 전에 그것을 이해하라: 당신의 질문, 저자의 답변, 후속 질문, 답변 — 완전하다. AI 입장의 경우, 모델이 자동으로 답변하므로 패널은 한 구성원을 기다리느라 차단되지 않는다. 체크포인트: 의견이 바뀐 입장은 그 이유를 설명하는 체인을 포함한다.
2. 2도전 — 검토 체인. 지지를 받지 않는 입장을 평가합니다; 저자가 응답합니다; 후속 조치; 응답. N명의 패널리스트가 하나의 입장에 도전 = N개의 평행 체인 — 이것이 바로 델파이가 원하는 구조입니다: 평행한 독립 비판, 결코 상태를 다시 들어갈 수 있는 하나의 그룹 스레드가 아닙니다. 체크포인트: 논란이 있는 입장은 완료된 도전을 수반합니다.
3. 3유사 중복 조정 — 타협 체인. 거의 동일한 입장을 가진 두 전문가가 평가에서 하나의 관점을 이중으로 계산합니다. 한 명이 다른 전문가에게 기록으로 병합된 공식안을 제안합니다. 체크포인트: 병합되지 않거나 설명되지 않은 중복 쌍이 남지 않도록.
4. 42차 평가. 동일한 기준에 따라 모든 것을 재평가합니다. 체크포인트: 두 번째 완전 매트릭스, 비교 준비 완료.

하이브리드 패널: 전문 지식 없이 모델 추가하기

AI가 작성한 포지션은 자신의 체인을 스스로 답변하기 때문에 — 그것들을 작성한 모델로 다시 라우팅되기 때문에 — 하이브리드 인간/AI 패널은 실제로 실용적입니다: 모델을 사용하여 1라운드의 포지션 공간을 넓히고, 그런 다음 인간 전문가들이 2라운드에서 기계 포지션을 교차 심문하여 기계 측에 인력이 없이도 실질적인 답변을 얻도록 합니다. 이것이 무엇을 가져오는지 정확히 이해해야 합니다: 넓은 입력, 추가 전문성이 아님. 모델의 포지션은 잘 표현된 패턴이지 판단의 경력이 아니며, 라벨링은 기계 행이 포함되거나 포함되지 않은 상태에서 수렴 수치를 계산할 수 있도록 존재합니다. 입력을 넓히는 것이 도움이 되는 경우와 단순히 희석되는 경우는 자체 문헌이 있으며 — 군중이 잘못될 때는 실패 모드를 다루고; 독립적인 판단이 진정으로 독립적일 때 왜 잘 집계되는지는 갈톤과 콩도르세 이야기입니다.

수렴 측정, 이견 보고

수렴은 라운드 간 평가 분포의 좁아짐이며, 이를 측정하려면 비교해야 합니다 — 솔직히 수작업으로 또는 내보내기를 통해: 내장된 수렴 통계는 없고, 자동 켄달의 W도 없으며, 안정성 테스트도 없습니다. 두 행렬을 내보내고 귀하의 분야에서 기대하는 것을 계산하거나 분포를 정성적으로 보고하십시오 ("14개 위치 중 12개가 좁아졌고; 2개는 더 나뉘었습니다").

그리고 이견을 보고하십시오. 패널이 라운드 전반에 걸쳐 안정적으로 이견을 보이는 위치 — 동일한 분포, 완료된 체인에서 두 극이 모두 방어됨 — 는 발견이며, 아마도 가장 가치 있는 종류입니다: 이는 전문가의 판단이 진정으로 나뉘는 지점을 표시하며, 두 극에 대한 이유가 첨부되어 있습니다. 이를 평균화하는 것은 델파이의 용서할 수 없는 죄입니다. 나무는 이견을 인용 가능하게 만듭니다: 살아남은 이의, 그 저자(또는 익명화된 공공 임차인 대리인), 그리고 그것이 살아남은 도전들.

정직한 한계

• ✗독립은 익명이 아니다 — 처음에 명시되었고 다시 강조할 가치가 있다: 개인 세입자 주장은 귀속된다. 익명이 방법론적으로 필수적이라면, Argumentree.AI 공개 세입자를 사용하고 당신의 글에서 그렇게 말하라.
• ✗라운드 관리자가 없습니다. 가까운 라운드 1 버튼도 없고, 라운드별 가시성 제한도 없습니다. 라운드는 시간 제한과 지침으로 시행하는 조정 관행입니다 — 그렇게 말하고, 존재하지 않는 자동화를 암시하지 마십시오.
• ✗내장된 수렴 통계가 없습니다. 켄달의 W, 안정성 테스트 등은 내보낸 평가에서 계산하실 수 있습니다.
• ✗평가는 단일 레이블 값이며, 검증된 앵커가 있는 리커트 도구가 아닙니다. 레이블에서 앵커를 정의하고 라운드 간에 일관되게 유지하세요.
• ✗체인은 네 번 돌고 나서 완료됩니다. 더 많은 것이 필요한 전문가의 논쟁은 전화를 받습니다 — 체인은 이미 질문하고 답변한 내용을 기록합니다.

실용적인 수업

• ✓라운드 1 전에 앵커를 작성하고 모든 창 공지에 붙여넣으세요. 모든 엉망인 델파이 데이터의 절반은 앵커 드리프트입니다.
• ✓시간대에 걸쳐 관대하게 시간 박스 창 설정 — 국제 패널에는 라운드당 72시간이 적합하며, 체인은 구조적으로 비동기입니다.
• ✓패널리스트당 Cap Round-1 포지션 (세 개면 충분합니다). 델파이는 고려된 포지션을 보상하며, 볼륨이 아닙니다.
• ✓라운드 사이에 나무를 동결하세요. 제출물이 시간 외에 이루어지면 제거될 것이라고 공지하세요 — 라운드 규칙은 진행자가 이를 유지할 때만 적용됩니다.

마침내 보낼 수 있는 답장

신중한 패널리스트의 이메일로 돌아가면: "이유를 볼 수 있을까요? 제가 동의한 내용을 알고 싶습니다." 이 연구의 버전에서는 답이 링크입니다. 여기 열네 개의 포지션이 있습니다; 여기 두 개의 리뷰 체인이 영향을 미치지 않은 후 평가가 무너진 포지션이 있습니다; 여기 당신과 열한 명의 다른 사람들을 감동시킨 교환이 있습니다. 이유가 첨부된 합의 — 이것이 방법의 약속이었습니다.