Проведение исследования Delphi, в котором аргументация сохраняется на всех этапах

Панель, которая сошлась на ничем, что кто-либо мог бы объяснить.

Закрывается третий раунд исследования Delphi, и модератор отправляет панелистам электронное письмо: достигнут консенсус. Медиана изменилась с 6.1 на 7.8 по вопросу о десятигодичном принятии; стандартное отклонение сократилось вдвое; отчет пишет сам себя. Затем один из панелистов — осторожный — отвечает вопросом, который все разрушает: "Я пересмотрел свою оценку, потому что в сводке второго раунда говорилось, что у группы есть серьезные основания для оптимизма. Могу ли я увидеть эти основания? Мне хотелось бы знать, с чем я согласился."

Нет хорошего ответа. Раунды были опросами. Между ними панель увидела медианы, квартиль и двухабзацное резюме модератора. Причины — какие бы конкретные аргументы ни заставили одиннадцать экспертов пересмотреть свои оценки вверх — были напечатаны в текстовых полях, сжаты в резюме и утеряны. Панель пришла к согласию; на каком основании, никто не может сказать.

Это не сломанное исследование; это стандартная практика с использованием стандартных инструментов, и она расходует лучшее свойство метода. Delphi была разработана на основе точного понимания: анонимность и независимость устраняют эффекты доминирования и статуса, которые искажают очные панели, а контролируемая обратная связь позволяет искреннему суждению меняться без социального давления. Программное обеспечение для опросов обеспечивает независимость, но теряет суть обратной связи. Этот учебник проходит те же этапы, сохраняя рассуждения.

Что теряет опросный метод Дельфи между раундами

Раунд Делфи производит две вещи: распределение (где находится панель) и обоснование (почему). Инструменты опроса созданы для первого. Второе сводится к полям свободного текста, а затем к резюме фасилитатора — что тихо вставляет неучтенного редактора между экспертами и друг другом. Участники Раунда 2 не реагируют на аргументы своих коллег; они реагируют на их перефразировку. Для метода, вся эпистемология которого основана на структурированном коллективном суждении, это странная вещь — потерять историю коллективных методов, которая в значительной степени является историей споров именно по этому этапу обратной связи.

Настройка: вопрос, панель — и решение о анонимности

Прежде всего, одно решение, которое методолог проверит в первую очередь: что на самом деле требуется вашей панели — независимость или анонимность — потому что это не одно и то же, и платформа по умолчанию предоставляет вам одно из них.

1. 1Сформулируйте предложение как основное утверждение — опровержимое, а не открытое: "X станет стандартной клинической практикой к 2032 году", а не "какова будущность X?". Неясное основное утверждение приводит к неоценимым позициям. Контрольная точка: основное утверждение может быть оспорено как в поддержку, так и против.

Раунд 1: независимые позиции, затем числа

1. 1Независимое окно подачи. Каждый участник добавляет поддерживающие или противоположные позиции под корнем — не видя других до подачи. Это независимость, требуемая методом, обеспечиваемая средой, а не доверием к процессу фасилитатора. Контрольная точка: у каждого участника есть ≥1 позиция; никто не видел и не редактировал позиции других.
2. 2Дополнительно: панелисты ИИ, помеченные. Добавьте дополнительные позиции из нескольких моделей. Происхождение отмечено на каждом аргументе, поэтому позиции машин всегда отличимы от экспертных. Это расширяет пространство позиций; это не добавляет экспертизы — различие имеет значение и должно быть в вашем отчете (см. раздел о гибридной панели ниже). Контрольная точка: позиции ИИ явно помечены.
3. 3Оценки раунда-1. Каждый участник оценивает каждую позицию — одно значение плюс метка, с якорями, которые вы определили ("1 = маловероятно … 9 = почти наверняка"). Это количественная запись раунда. Контрольная точка: завершенная матрица оценок; якоря указаны один раз, используются последовательно.

Контролируемая обратная связь, которая несет в себе рассуждение

Теперь инструменты опроса шагов не могут этого сделать. Артефакт обратной связи для Раунда 2 — это не резюме, написанное модератором — это само дерево: каждая позиция, в словах её автора (или модели), с прикреплённым распределением оценок. Участники панели видят точно, какие аргументы группа сочла сильными, какие разделили панель, а какие провалились — без редакторских перефразировок. Работа модератора сводится к логистике: объявить окно, указать на дерево.

Раунд 2: допросить, оспорить, примирить

Раунд 2 — это то место, где классический Delphi говорит: "пересмотрите с учетом обратной связи." С видимой аргументацией пересмотр становится активным — три структурированных шага, каждый из которых представляет собой четырехходовой диалог с автором позиции:

1. 1Допрос — цепочка вопросов и ответов. Прежде чем пересматривать позицию, поймите её: ваш вопрос, ответ автора, последующий вопрос, ответ — полный. Для позиций ИИ модель отвечает автоматически, поэтому панель никогда не блокируется в ожидании одного участника. Контрольная точка: позиции, которые изменили мнение, имеют цепочки, объясняющие почему.
2. 2Вызов — Цепочка обзоров. Оцените позицию как неподдерживаемую; автор отвечает; последующие действия; ответ. N панелистов оспаривают одну позицию = N параллельных цепочек — что именно и является структурой, которую хочет Delphi: параллельная независимая критика, никогда не одна группа для повторного входа. Контрольная точка: оспариваемые позиции несут завершенные вызовы.
3. 3Согласовать почти дубликаты — Цепочка компромиссов. Два эксперта, занимающие почти одинаковую позицию, дважды учитывают одно мнение в рейтингах. Один предлагает объединённую формулировку другому, на запись. Контрольная точка: ни одна дублирующая пара не осталась без объединения или объяснения.
4. 4Рейтинги раунда-2. Переоцените все по тем же якорям. Контрольная точка: вторая полная матрица, готовая для сравнения.

Гибридные панели: добавление моделей без увеличения экспертизы

Поскольку позиции, созданные ИИ, отвечают на свои собственные цепочки — возвращаясь к модели, которая их написала — гибридная панель из людей и ИИ действительно практична: используйте модели для расширения пространства позиций первого раунда, а затем позвольте человеческим экспертам перекрестно допросить машинные позиции во втором раунде и получить содержательные ответы без участия кого-либо со стороны машины. Будьте точны в том, что это дает: широкий ввод, а не добавленную экспертизу. Позиция модели — это хорошо сформулированный шаблон, а не карьера суждений, и маркировка существует, чтобы ваши числа сходимости могли быть рассчитаны с учетом и без строк машины. Когда расширение ввода помогает, а когда оно просто разбавляет — это отдельная литература — когда толпы ошибаются охватывает режимы сбоев; обратная сторона, почему независимые суждения так хорошо агрегируются, когда они действительно независимы, — это история Галтона и Конкорде.

Измерение конвергенции, сообщение о разногласиях

Сходимость — это сужение распределений оценок между раундами, и вы измеряете её, сравнивая их — честно, вручную или с помощью экспорта: нет встроенной статистики сходимости, нет автоматического W Кендалла, нет теста на стабильность. Экспортируйте две матрицы и вычислите то, что ожидает ваша область, или сообщите о распределениях качественно ("двенадцать из четырнадцати позиций сужены; две разделены дальше").

И сообщите о разногласиях. Позиция, в которой панель стабильно не согласна на протяжении раундов — одинаковый разброс, обе позиции защищены в завершенных цепочках — является находкой, возможно, самой ценной: она указывает на то, где экспертное мнение действительно разделяется, с обоснованием для обеих позиций. Усреднение этого — единственный непростительный грех Делфи. Дерево делает разногласия цитируемыми: сохранившееся возражение, его автор (или его анонимный представитель) и вызовы, которые оно пережило.

Честные ограничения

• ✗Независимость — это не анонимность — заявлено прямо и стоит повторить: аргументы частных арендаторов имеют авторство. Если анонимность методологически важна, используйте публичного арендатора Argumentree.AI и укажите это в вашем тексте.
• ✗Нет менеджера раунда. Нет кнопки закрытия раунда 1, нет ограничения видимости по раундам. Раунды — это соглашение о содействии, которое вы обеспечиваете с помощью временных рамок и инструкций — скажите об этом и не подразумевайте автоматизацию, которой нет.
• ✗Нет встроенной статистики сходимости. W Кендалла, тесты стабильности и подобные показатели вы можете вычислить из экспортированных оценок.
• ✗Рейтинги представляют собой одно помеченное значение, а не инструмент Лайкерта с валидированными якорями. Определите свои якоря в метке и сохраняйте их постоянными на протяжении раундов.
• ✗Цепочка состоит из четырех оборотов, затем завершается. Экспертный спор, который требует большего, получает звонок — цепочка фиксирует то, что уже было задано и на что уже ответили.

Практические занятия

• ✓Напишите якоря перед Раундом 1 и вставьте их в каждое объявление окна. Половина всех неаккуратных данных Delphi — это дрейф якорей.
• ✓Временные окна щедро по временным зонам — 72 часа на раунд подходят для международных панелей; цепочки по своей конструкции асинхронны.
• ✓Круглый кап - 1 позиции по каждому панелисту (трех достаточно). Delphi учитывает рассматриваемые позиции, а не объем.
• ✓Заморозьте дерево между раундами. Объявите, что заявки вне окон будут удалены — конвенция раунда действует только если ее проводит модератор.

Ответ, который вы наконец можете отправить

Вернемся к электронному письму осторожного участника панели: "Могу я увидеть причины? Мне хотелось бы знать, с чем я согласился." В этой версии исследования ответ — это ссылка. Вот четырнадцать позиций; вот та, чья оценка рухнула после того, как две цепочки рецензирования не смогли ее затронуть; вот обмен, который тронул вас и еще одиннадцать человек. Консенсус с приложенными обоснованиями — что и было обещанием метода с самого начала.