Обмен мнениями ничего не изменил: что исследование науки показало о структурированном обсуждении

Пятерым незнакомцам был задан спорный вопрос. Должна ли Национальная служба здравоохранения быть приватизирована? Должен ли возраст для голосования снизиться до 16 лет? Каждый из них в частном порядке, своими словами и в разумном объеме, изложил свою честную позицию. Затем они прочитали, что написали остальные четверо. Их заявленные позиции были измерены до и после.

Ничто не изменилось. Ни немного, ни в неправильном направлении, ни на величину, слишком малую, чтобы иметь значение. Измеренное изменение в согласии группы составило минус 0.005, с p-значением 0.64, что близко к буквальному нулю, который может сообщить эксперимент.

Это было контрольное условие в исследовании, опубликованном в Science 18 октября 2024 года. Сравнимые группы, получившие одни и те же вопросы и одинаковое количество времени, чьи письменные мнения были синтезированы в заявление кандидатской группы, оценены, подвергнуты критике и переработаны, сблизились примерно на восемь процентных пунктов. Доля групп, достигнувших единогласия, возросла с 22,8% до 38,6%. Исследование обычно представляется как история о том, как ИИ обошел человеческих посредников. Гораздо более полезный результат — это тот, который не попал в заголовки: обмен мнениями не приводит к общему мнению. Их структурирование приводит.

Что на самом деле сделало исследование

Статья Искусственный интеллект может помочь людям найти общие интересы в демократических обсуждениях написана Майклом Генри Тесслером, Михиелом Баккером и коллегами из Google DeepMind, Оксфорда и Гарварда. В ней сообщается о семи экспериментах, проведенных с января по август 2023 года с участием 5,734 участников из Великобритании. Размеры выборок, критерии исключения и основные анализы были предварительно зарегистрированы до сбора данных, а код был опубликован в открытом доступе. Это сочетание предварительной регистрации, подлинного контрольного условия, публикации в Science и открытого кода достаточно редко в этой области, чтобы это стоило сказать прямо.

Участники работали в группах по пять человек и обсуждали три вопроса примерно за час. Для каждого вопроса процедура была фиксированной. Сначала каждый написал свою позицию наедине, от 10 до 200 слов, в среднем около 65. Эти написанные мнения были переданы в систему, которую авторы назвали Машина Хабермаса, в честь философа, который утверждал, что согласие возникает, когда люди рассуждают вместе в справедливых условиях. Система составила несколько кандидатных заявлений о общем мнении группы. Участники оценили их, и победитель был выбран на выборах с ранжированным голосованием, в которых голос каждого участника учитывался одинаково. Победившее заявление вернулось в группу, каждый человек приватно написал критику этого заявления, и система создала переработанный проект на основе этих критик. Участники снова оценили и в конечном итоге выбрали между оригинальной и переработанной версиями.

Стоит обратить внимание на две детали. Участникам сообщили, что утверждения были сгенерированы машиной, поэтому обмана не было. А сами вопросы были намеренно спорными, касающимися иммиграции, пенсионного возраста, числа заключенных, Брекзита, климатических целей и минимальной заработной платы. Это не были разогревочные темы, выбранные для облегчения согласия.

Четыре вещи, которые сделала процедура

Уберите машинное обучение, и процедура состоит из четырех шагов. Каждый из них доступен любой группе с общим документом и некоторой дисциплиной.

Почему контрольное условие является важным результатом

Разумное возражение против любого подобного исследования заключается в том, что люди сходятся во мнении просто потому, что наконец услышали, что думают все остальные. Авторы предвидели это и провели тест. Дополнительная группа из 372 участников в 75 группах выполнила идентичное упражнение, за исключением того, что вместо оценки составленного группового заявления они оценивали индивидуальные мнения друг друга. Полное знакомство с каждой точкой зрения в группе, без синтеза.

Согласие группы в этом условии не изменилось (b = -0.005, t(230) = -0.46, P = 0.64), и разница между двумя условиями была статистически значимой (P = 0.0058). Это контролируемый, предварительно зарегистрированный результат, опубликованный в Science, показывающий, что обсуждение мнений всех не приводит группу к согласию. Это самое близкое к прямому тесту комментариев в литературе, и комментарии не прошли этот тест.

Вторая половина механизма была протестирована так же тщательно. Переработанные утверждения могли быть предпочтительнее просто потому, что люди видели их вторыми, потратив немного больше усилий. Поэтому авторы провели еще одну группу из 245 участников, которые написали критические замечания, а затем им показали переработки, которые либо действительно учитывали их замечания, либо нет. Версии, действительно основанные на критике, все равно победили (P = 0.0039). Раунд возражений действительно имеет значение.

Структура не сгладила меньшинство. Она его усилила.

Очевидный страх по поводу любого процесса поиска консенсуса заключается в том, что он превращается в правило большинства с лучшими манерами. Авторы измерили это, а не утверждали, встраивая каждое мнение и каждое заявление в векторное пространство и располагая их вдоль оси, проходящей от согласия к несогласию по каждому вопросу.

В примерно 77% раундов группа изначально была действительно разделена. Первоначальные заявления группы оценивали мнения меньшинства на уровне 0.29, при истинной средней доле меньшинства 0.29, что почти точно соответствует пропорциональному представительству. Пересмотренные заявления, написанные после раунда критики, оценивали их на уровне 0.36. Меньшинство было чрезмерно представлено относительно своего размера, и группа все равно предпочла эти пересмотренные заявления. Девяносто шесть процентов заявлений группы находились в диапазоне, фактически охватываемом собственными мнениями группы, так что система не выдумывала позиции, которых никто не занимал.

Поддержка действительно сместилась в сторону большинства в целом, и авторы это отмечают. Большинство увеличилось с 29% до 32% раундов, а меньшинства — с 20% до 26%. Но когда они проверили, перемещались ли люди к большинству лишь потому, что им показывали утверждения, склоняющиеся к большинству, они не обнаружили никакой связи (P = 0.37). То, что влияло на людей, было содержанием аргумента, а не повторным его изложением.

Это обошло человеческих посредников, и это имеет наименьшее значение.

Заголовочный результат заключался в сравнении с людьми. В 75 группах один участник был назначен медиатором, обученным составлять групповые заявления и получающим бонус до 50% от своей базовой зарплаты за каждое заявление, которое группа предпочитала. В этих раундах заявления машины предпочитались 56% времени по сравнению с 44% у людей и оценивались выше как по поддержке, так и по качеству. Отдельная группа из 155 независимых оценщиков признала их более ясными, более информативными, менее нелогичными и менее склонными к внедрению мнения автора.

Это вывод, который был распространен, и на него стоит опираться меньше всего. Авторы сами осторожны в этом вопросе: они называют реальную возможность не сверхчеловеческим посредничеством, а обсуждением, которое является эффективным по времени, справедливым и масштабируемым. Система выдавала заявления за секунды, в то время как людям требовались минуты. А в исследовательском анализе авторы обнаружили похожую конвергенцию среди человеческих посредников в тех раундах, где победили люди, что предполагает, что эффект может исходить от структурированного посредничества как процесса, а не от чего-то специфического для ИИ. Если это толкование верно, то оно делает исследование более полезным, а не менее, потому что выгода тогда доступна любой группе, готовой принять эту процедуру, с моделью или без нее.

Это воспроизвелось с репрезентативной выборкой, и это не сработало на всем.

Основные когорты были набраны по удобству через платформу краудсорсинга, что является справедливым поводом для скепсиса. Поэтому авторы сотрудничали с Фондом жребия, который проводит настоящие собрания граждан, чтобы набрать 200 участников, стратифицированных для представления Великобритании по возрасту, гендерной идентичности, этнической принадлежности, социоэкономическому статусу и региону. Они обсуждали в течение трех еженедельных часовых сессий в апреле и мае 2023 года девять вопросов. Уровни одобрения и увеличение согласия в группе были воспроизведены.

Интересная часть заключается в том, что это не сработало. По девяти вопросам позиции сошлись на пяти. Поддержка сокращения численности заключенных выросла с 60% до 75%, а поддержка упрощения въезда для соискателей убежища — с 39% до 51%. По вопросу Brexit не было никаких изменений. По вопросу универсального бесплатного детского ухода мнение изменилось в противоположную сторону, с ростом оппозиции с 33% до 41%. Процесс, который привел к согласию по каждому вопросу, независимо от темы, был бы свидетельством того, что что-то пошло не так. Этот процесс оставил укоренившиеся позиции укоренившимися, что примерно соответствует тому, что должно происходить в честном обсуждении.

Границы, изложенные ясно

Любое утверждение, основанное на одном исследовании, должно учитывать оговорки этого исследования, и у этого есть реальные. Авторы сами перечисляют большинство из них.

Где критики правы

Статья привлекла серьезную критику со стороны ученых в области делиберативной демократии, и часть из нее обоснована. Самая резкая критика исходит от Альваро Олеарта и Николаса Палома Эрнандеса в Journal of Deliberative Democracy, которые указывают на то, что в этой процедуре участники никогда не спорят друг с другом. Они пишут в частном порядке, а затем оценивают результаты работы машины. Нет опровержений, нет обмена аргументами между людьми, нет момента, когда аргумент одного человека напрямую меняет мнение другого. Они называют это делиберацией без граждан и отмечают иронию названия: Хабермас рассматривал согласие как предварительное условие подлинного дискурса, а не как цель, к которой следует стремиться.

Бет Симон Новек выдвигает другое возражение: консенсус не является сложной частью управления. Группы чаще не могут согласиться на том, в чем заключается проблема, чем на том, что с ней делать, и машина, которая отлично справляется с производством согласия по хорошо сформулированному вопросу, не помогает с плохо сформулированным. Исследователи Института первой поправки Кнайта добавляют проблему надзора, которая заключается в том, что, как только синтез сделан на основе тысячи мнений, ни один человек не может проверить, что он верно их представляет.

Мы считаем, что первая критика является самой важной, и мы с ней согласны. Оптимизация процесса для достижения согласия не равнозначна помощи людям в совместном рассуждении, и система, которая достигает консенсуса, обходя человеческие споры, устранила то, что изначально делало обсуждение ценным. Вывод, который следует вынести, не в том, чтобы позволить модели написать позицию вашей группы. Он более узкий и долговечный: позиции должны быть явными, структура важнее циркуляции, а формальный раунд возражений изменяет результат. Эти принципы действуют независимо от того, выполняется ли синтез моделью, фасилитатором или самой группой.

Что делать с этим в понедельник

Ни один из четырех механизмов не требует ИИ, и все четыре — это вещи, которые большинство встреч делает неправильно. Соберите письменные позиции до обсуждения, а не во время него. Участники исследования написали примерно по 65 слов с обоснованием, что занимает около пяти минут работы и является самым дешевым изменением. Синтезируйте, а не распространяйте. Пересылка комментариев всех участников — это именно то условие, которое не привело ни к какому движению; кто-то должен составить то, что группа действительно считает общим, и представить это на исправление. Принимайте решение по равновесному ранжированию, а не по тому, кто все еще говорит в конце. И запланируйте раунд возражений, чтобы несогласие стало задачей, которую выполняет каждый, а не социальным риском, который кто-то должен взять на себя.

Если вы проводите онлайн-дискуссии, результат контроля заслуживает особого внимания, потому что доска обсуждений или ветка комментариев является условием контроля. Она циркулирует мнения и ничего не синтезирует. Это структурный случай, изложенный в альтернативах доски обсуждений, и теперь у него есть зарегистрированный эксперимент. Четырехфазная структура в как структурировать дебаты принуждает к тем же действиям вручную, а различие между согласием и просто отсутствием возражений рассматривается в согласие против консенсуса.

Что это говорит и не говорит о Argumentree

Мы должны быть точными в этом, потому что искушение преувеличить очевидно. Машина Хабермаса — это не то, что мы построили. Она генерирует кандидатные консенсусные заявления, используя персонализированную модель вознаграждения, которая предсказывает, как каждый участник оценит каждый проект, и выбирает между ними с помощью смоделированных выборов. Argumentree этого не делает, и это исследование не тестирует наш продукт.

Что тестируется, так это механизм, на котором основан наш продукт. Позиции записываются явно, с обоснованием, до того, как обсуждение сойдется. Аргументы структурируются в общий артефакт, а не циркулируют в виде стека сообщений. Возражение является первоклассным действием с местом для прикрепления, а не прерыванием. Меньшинственные позиции остаются видимыми и атрибутируемыми, а не растворяются в мнении большинства. Это четыре вещи, которые исследование выделило, и это четыре вещи, которые структурированная карта аргументов делает по умолчанию. Разница в том, что наша синтез остается проверяемой: каждое утверждение сохраняет своего автора, свои возражения и свою поддержку, так что никому не нужно доверять резюме, которое они не могут проверить, что и является именно той проблемой надзора, которую поднимают критики.

Результат, который стоит запомнить

Уберите модель, собрание граждан и спор о том, должно ли ИИ быть где-либо рядом с политическим процессом, и останется только одно число. Пять человек, полный доступ к письменным аргументам друг друга по вопросу, который их интересовал, измеренный до и после: P = 0.64. Наиболее распространенный способ, которым группы пытаются достичь согласия, заключающийся в том, чтобы представить все мнения всем и позволить людям читать, теперь был протестирован по сравнению с контролем и не дал измеримого эффекта.

Условие, которое сработало, не добавило новой информации. Каждый участник уже имел свое мнение. Изменилось то, что мнения получили форму, были оценены с равным весом и подвергнуты одному формальному раунду возражений. Это процедурное открытие, а не технологическое, и оно доступно любому, кто готов вести свои обсуждения иначе.