The Condorcet Jury Theorem: The 240-Year-Old Math Behind Better Decisions

Маркиз, который занимался математикой демократии

Мари Жан Антуан Николя де Карита, маркиз де Кондорсе (1743–1794), был самым преданным сторонником идеи, что человеческие дела можно рассматривать с такой же строгостью, как и физику. Являясь блестящим математиком, избранным в Академию наук в свои двадцать, он также был — необычно для своего века и своего класса — ранним и активным сторонником бесплатного общественного образования, избирательного права женщин и отмены рабства. В то время как его современники обсуждали, должны ли обычные люди управлять, Кондорсе задал более странный и продуктивный вопрос: при каких условиях их коллективное суждение действительно может быть правильным?

Его ответ появился в 1785 году в Essai sur l’application de l’analyse à la probabilité des décisions rendues à la pluralité des voix — "Эссе о применении анализа к вероятности большинства решений." Погребенный в его плотных расчетах вероятности находится результат поразительной простоты и силы, ныне известный как теорема жюри Кондорсе.

История человека заканчивается мрачно. Кондорсе поддержал Революцию, разработал конституцию, а затем попал в бедственное положение во время Террора. Объявленный вне закона в 1793 году, он скрывался в парижском пансионате и — столкнувшись со смертью — написал свое самое оптимистичное произведение, Эскиз исторической картины прогресса человеческого разума. Арестованный в марте 1794 года после побега из своего укрытия, он был найден мертвым в своей камере в Бург-ла-Рен два дня спустя. Математик коллективной мудрости был убит коллективом, который перестал слушать доводы — ирония, которую не упускает ни один историк того периода.

Теорема, на простом языке

Уберите восемнадцатый век и теорема говорит следующее:

Возьмите вопрос да/нет, на который есть правильный ответ. Если каждый человек в группе более вероятно, чем случайность, получает его правильно, и каждый судит независимо, то вероятность того, что большинство получит его правильно, возрастает с размером группы — и приближается к уверенности по мере увеличения группы.

Интуиция заключается в отмене ошибок. Каждый избиратель — это сигнал плюс шум. Поскольку каждый прав чаще, чем неправ, сигнал указывает в одном направлении для всех, в то время как шум рассеивается случайным образом. Индивидуальные ошибки — это некоррелированные подбрасывания монеты; общее зерно правды накапливается. Голосование большинства — это просто машина, позволяющая шуму отменяться, а сигналу накапливаться — та же арифметика, стоящая за мудростью толпы, которая позже позволила 787 участникам ярмарки коллективно оценить экспертов по скоту в эксперименте с быком Гальтона, примененному к голосам вместо оценок.

Числа: как быстро большинство становится умным

Силу теоремы легче почувствовать на конкретных числах. Предположим, что каждый человек независимо отвечает на бинарный вопрос правильно 60% времени — неплохо, но далеко не эксперт. Вероятность того, что большинство группы ответит правильно:

Читать колонку 60% вниз: трое людей едва улучшают результат одного; одиннадцать людей значительно лучше; сто один правы 97.9% времени; пятьсот один практически непогрешимы. Даже малейшая индивидуальная компетентность — колонка 51% — неуклонно накапливается с масштабом: около 58% для группы из 101, примерно 74% при тысяче избирателей и около 98% при десяти тысячах. Посредственное индивидуальное суждение, правильно агрегированное, производит отличное коллективное суждение. Это оптимистичное лицо теоремы.

Темный двойник: когда p падает ниже половины

Теперь прочитайте колонку 45%. Та же математика, которая делает компетентные толпы почти непогрешимыми, делает некомпетентные толпы почти непогрешимо неправыми. Если каждый индивидуум прав только 45% времени — систематически введенный в заблуждение по этому конкретному вопросу — большинство из 101 правы только 15.6% времени, а большинство из 501 примерно 1.2% времени. Агрегация не очищает плохое суждение; она концентрирует его. Большая группа, которая разделяет систематическое заблуждение, будет более уверенно неправой, чем любой из ее членов.

Это та часть теоремы, которая редко попадает в празднования мудрости толпы, и у нее есть резкий практический аспект. Является ли масштаб группы активом или бременем, зависит полностью от того, на какой стороне линии 50% находятся ее члены по рассматриваемому вопросу — именно поэтому дезинформация и медиа-среда, формирующая индивидуальную точность, не являются побочным вопросом для коллективного принятия решений, а центральным. Масштаб усиливает все, что вы ему подаете.

Предположения — и что ломается, когда они ломаются

Теорема является условным утверждением, и все интересное в ее применении живет в "если". Четыре предположения несут результат:

Две с половиной века исследований проверяли каждое предположение. "Тринадцать теорем в поисках истины" Грофмана, Оуэна и Фельда (Theory and Decision, 1983) показали, что результат сохраняется при гетерогенной компетентности — избиратели не должны иметь одинаковую точность; при разумных распределительных условиях средняя точность выше половины достаточна. Кришна Ладха (1992) занимался корреляцией и обнаружил, что коррелированные голоса ослабляют гарантию, не всегда уничтожая ее: эффективный размер коррелированной толпы меньше ее численности, потому что скопированные голоса добавляют шум, а не новую информацию.

На практике независимость — это предположение, которое ломается первым и сильнее всего. Когда ранние мнения видны, поздние избиратели рационально игнорируют свою информацию и следуют за ними — информационный каскад — и когда все опираются на одни и те же несколько источников, голоса коррелируют даже без копирования. Миллион избирателей, читающих одну и ту же ленту, могут нести примерно тот же информационный вес, что и горстка независимых. Теорема не терпит неудачи грациозно; она терпит неудачу молча, в то время как группа все еще чувствует себя большой, уверенной большинством.

Циклы: парадокс, который также обнаружил Кондорсе

Тот же 1785 год Essai содержит второе, более тревожное открытие. С тремя или более вариантами предпочтения большинства могут циклически изменяться: группа может предпочитать A B, B C, а C A, даже если предпочтения каждого индивидуума совершенно последовательны. Этот парадокс Кондорсе означает, что "воля большинства" может просто не существовать как согласованный рейтинг — какой вариант победит, может зависеть от порядка, в котором принимаются голоса.

Этот трещина в правлении большинства стала основой целого поля. В 1951 году Кеннет Арроу обобщил это в свою теорему невозможности: ни одна система голосования на основе рангов не может одновременно удовлетворить короткий список разумных условий справедливости. Теория социального выбора — как системы голосования агрегируют предпочтения, в отличие от того, как жюри агрегируют суждения и рынки агрегируют убеждения — это тема, к которой мы вернемся отдельно. На данный момент практическая мораль: теорема жюри сияет на фактических вопросах с правильными ответами; в тот момент, когда решение касается конкурирующих ценностей, а не конкурирующих фактов, применяются другие механизмы (и другая математика).

240 лет применения

Для кусочка восемнадцатой века вероятность теорема удивительно хорошо сохранилась:

Применение в машинном обучении заслуживает второго взгляда, потому что оно показывает, как теорема работает как инженерный чертеж, а не как метафора. Случайный лес намеренно обучает каждое дерево на случайной подсэмпле данных и признаков — не для того, чтобы сделать любое отдельное дерево лучше (это делает их хуже), а чтобы сделать их ошибки менее коррелированными. Принятие более слабых индивидуумов для достижения независимости — это именно та сделка, которую рекомендует теорема жюри, а точность ансамбля является вознаграждением. Команды, проектирующие механизмы управления DAO, сталкиваются с той же проблемой проектирования в обратном направлении: голосование с учетом токенов концентрирует влияние, а публично видимые текущие подсчеты приглашают к стадному поведению — оба из которых уменьшают эффективное жюри.

Что теорема не может сделать — и что должно произойти перед голосованием

Теорема жюри управляет одним моментом в жизни решения: этапом агрегирования, когда индивидуальные суждения становятся коллективным вердиктом. Она молчит обо всем, что происходит до этого — как был сформулирован вопрос, какие варианты попали в бюллетень, какую информацию видели избиратели — и обо всем, что происходит после. Идеально агрегированный голос на плохо сформулированный вопрос дает отличный ответ на неправильную проблему.

Она также, по замыслу, отбрасывает причины. Голосование фиксирует что сорок человек предпочли вариант A, но никогда почему — так что сильнейшее возражение меньшинства исчезает, рассуждения большинства не могут быть проверены позже, и группа не учится ничему, что можно было бы перенести на следующее решение. Вот где структурированное обсуждение дополняет агрегирование, а не конкурирует с ним. В коллективном принятии решений, выполненном хорошо, группа сначала независимо выдвигает аргументы — сохраняя независимость, необходимую теореме — затем оценивает их открыто, и только потом сходится.

Argumentree построен именно вокруг этой последовательности. Участники вносят аргументы за и против независимо и асинхронно, прежде чем кто-либо закрепит комнату — защищая нагрузочное предположение теоремы. Каждый аргумент затем оценивается по явным параметрам (полезность, ясность, точность, полнота), и оценки агрегируются в консенсусные баллы: арифметика Кондорсе по отмене ошибок, примененная к качеству причин, а не просто к количеству голосов. И в отличие от избирательной урны, полное дерево аргументов и следы аудита сохраняют, почему группа приняла решение — так что решение можно объяснить, пересмотреть и извлечь из него уроки. Маркиз предоставил математику для доверия к большинству; через двести сорок лет оставшаяся работа заключается в том, чтобы убедиться, что суждение большинства является независимым, информированным и зафиксированным.