같은 종, 반대 결과
영국 플리머스, 1906년: 프랜시스 골턴은 카운티 박람회 관중으로부터 소의 도축된 무게에 대한 787개의 추측을 수집하고, 진실의 1% 이내에 있는 중간 추정치를 발견한다 — 군중의 지혜의 기초가 되는 시연. 한 세기 후, 훨씬 더 나은 정보 기술을 가진 군중들은 2008년 주택 거품 합의, 밈 주식 열풍, 그리고 이 시리즈의 1부에서 자신 있게 잘못된 집단적 의견을 만들어냈다. 같은 종, 같은 통계적 기계가 사용 가능했지만 — 결과는 정반대였다.
역설의 해결은 군중의 지혜는 결코 군중의 속성이 아니다는 것이다. 그것은 조건의 속성이며, 그 조건은 구체적이고, 알려져 있으며, 취약하다. 조건이 유지될 때 집합은 초능력이다; 조건이 깨질 때 같은 집합은 숫자의 확신으로 오류를 증폭시킨다. 이 글은 세 가지 조건에 관한 것이며, 현대의 토론 플랫폼이 조건을 깨는 기계라는 불편한 사실에 관한 것이다.
세 가지 조건
연구의 흐름은 콩도르세의 1785년 배심원 정리 — 우연보다 나은, 독립적인 유권자들의 다수가 증가함에 따라 확실성에 접근하는 — 에서 갈톤의 시연을 거쳐 수로위키의 현대적 종합에 이릅니다. 세 가지 요구 사항이 반복됩니다:
- 1독립성. 각 판단은 다른 사람의 판단을 보기 전에 형성된다. 이것이 오류를 상관없게 만드는 이유이다 — 한 사람의 실수가 모든 사람의 실수가 되지 않는다. 갈튼의 공정한 참가자들은 봉인된 추측을 작성했다; 그들은 리더보드에 의존할 수 없었다. 독립성은 모든 것이 의존하는 조건이며, 플랫폼이 파괴하는 첫 번째 조건이다.
- 2다양성. 다양한 정보 출처, 배경 및 모델 — 그래서 오류는 다른 방향을 가리키고 집합적으로 상쇄됩니다. 같은 관점의 천 개 복사본은 자신감 있는 하나의 관점입니다; 다양성이 능력을 이긴다는 것은 바로 오류 상쇄 능력을 구매할 수 없기 때문입니다.
- 3적절한 집계. 실제로 정보를 결합하는 메커니즘: 중앙값, 시장, 구조화된 점수. 집계는 중립적이지 않다 — 초기의, 큰 소리로, 또는 감정적으로 공감되는 기여를 가중하는 메커니즘은 정보를 집계하는 것이 아니라; 모멘텀을 증폭시키고 있다.
플랫폼이 세 가지를 동시에 깨는 방법
소셜 플랫폼은 종종 군중의 지혜를 활용한다고 설명됩니다. 기계적으로, 그들은 반대의 일을 합니다 — 각 핵심 기능은 하나의 조건을 공격합니다:
- ✗가시적인 수치는 독립성을 해친다. 모든 좋아요, 추천 및 점수 총계는 당신이 판단하기 전에 표시되는 사회적 증거입니다 — 군중을 떼로 만드는 고정 및 연쇄 기계 입니다. 판단은 상관관계가 있으며, 오류는 상쇄되지 않고 누적됩니다.
- ✗피드는 다양성을 죽입니다. 참여 최적화 순위는 당신이 반응한 내용을 더 많이 보여줍니다 — 각 개인의 정보 소비를 좁히고 군중의 입력을 동질화합니다. 오류를 상쇄해야 할 다양성이 알고리즘에 의해 선택적으로 제외됩니다.
- ✗투표 정렬은 부적절한 집계입니다. 1부에서 보여준 것처럼, 찬성 투표 총계는 동의, 타이밍 및 오락을 혼합합니다. 그 숫자로 정렬하는 것은 군중의 정보를 결합하지 않으며, 감정적으로 가장 빠르게 움직인 것을 왕관으로 삼습니다.
'군중이 말하는' 숫자를 신뢰하기 전에 세 가지 질문을 하십시오: 판단이 독립적으로 형성되었습니까? 서로 다른 정보를 바탕으로 했습니까? 집계 메커니즘이 정보를 결합합니까, 아니면 모멘텀을 증폭합니까? 세 가지 모두 '예'라고 답하는 경우는 드물며, 그보다 적은 경우는 군중의 지혜가 아니라 군중의 양입니다.
반전: 작은 구조화된 토론이 대규모 군중을 이길 수 있다
수십 년 동안 실용적인 조언은 '어떤 대가를 치르더라도 독립성을 보호하라'는 것이었다. 토론은 오류와 상관관계가 있기 때문에 의심스러웠다. 그러던 중 상황을 명확히 하는 발견이 있었다. 나바하스와 동료들은 5,180명의 참가자를 대상으로 한 연구에서 사람들이 일반 상식 질문에 개별적으로 답한 후, 다섯 명의 소그룹으로 나누어 토론하고 합의된 답변을 도출하도록 했다. 평균적으로 그 소그룹의 합의된 답변 네 개가 수천 명의 독립적인 개인의 집합보다 더 나은 성과를 냈다.
교훈은 독립성이 잘못되었다는 것이 아니라, 구조화된 경우 심의가 평균으로는 도달할 수 없는 정보를 추가한다는 것이다. 그룹 내에서 사람들은 이유를 교환했다: 명백한 오류는 잡혔고, 그럴듯하지 않은 추정은 도전받았으며, 합의는 단순히 입장만이 아니라 논증의 질을 인코딩했다. 비구조적인 바이럴성은 이유를 교환하지 않고 오류를 상관관계 지으며, 구조화된 심의는 (잘 운영될 경우) 오류를 상관관계 지우지 않고 이유를 교환한다. 중요한 변수는 사람들이 상호작용하는지 여부가 아니라 상호작용이 어떤 구조를 가지는지이다.
정직한 반론: 어떤 심의도 오염이 아닌가?
순수주의자의 철강인: 사람들이 이야기하기 시작하면 오류가 상관관계를 형성합니다 — 연쇄, 동조, 그리고 고정은 바로 실패 문헌에서 문서화된 것이므로, 진지한 집합체는 조용하고 독립적으로, 예측 시장 스타일을 유지해야 하지 않을까요?
증거가 지지하는 답변: 독립성은 추정 단계에 적합한 규칙이지 전체 과정에는 적합하지 않다. 실패 사례는 개인이 판단을 내리기 전에 오류가 상관관계를 가진다 — 가시적인 수치, 실시간 토론, 기준점. 성공 사례(나바하스의 그룹, 일반적인 구조적 심의)는 독립적인 입장을 먼저 수집한 다음, 이유가 구조 아래에서 충돌하도록 하고, 그 후 집계한다. 순서와 구조, 침묵이 아니라, 그것이 군중을 보호하는 요소이다. 이것은 설계 사양이며 — 구축 가능하다.
Argumentree가 세 가지 조건을 어떻게 구현하는지
인수 트리는 기계적으로 세 가지 조건이 소프트웨어로 변환된 것입니다:
독립성: 비동기식 서면 입력
포지션과 평가는 개별적으로 형성됩니다 — 기여는 먼저 분위기를 파악할 필요가 없으며, 평가는 각 주제에 대해 사용자별로 이루어지며, 가시적인 모멘텀 숫자를 따르지 않습니다.
다양성: 찬성과 반대는 구조적이다
나무는 지지하는 가지와 공격하는 가지를 나란히 보여주므로, 다양한 관점이 단순히 허용되는 것이 아니라 그 부재가 눈에 띈다. 비어 있는 공격 가지는 경고일 뿐, 승리가 아니다.
집계: 재귀적 장점 점수 매기기
주장의 총합은 자신의 평가와 지지하는 자식들의 총합에서 공격하는 자식들의 총합을 뺀 값으로 구성됩니다. 따라서 점수는 각 주장이 검토를 통과한 정도를 나무 위로 전파하는 방식을 인코딩합니다. 실패한 반박은 그들이 공격한 것을 강화합니다. 이는 주장의 질이 집계되는 것이지 박수가 아닙니다.
심의: 구조적, 바이럴이 아님
도전은 특정 주장에 부착된 제한된 교환으로 실행됩니다 — 나바하스 성분(충돌하는 이유) 없이 캐스케이드 성분(모멘텀에 의해 투표를 모집하는 것).