의견 공유는 아무것도 바꾸지 않았다: 구조화된 심의에 대한 과학 연구가 발견한 것

다섯 명의 낯선 사람들이 논란이 되는 질문을 받았다. 국민 건강 서비스는 민영화되어야 할까? 투표 연령은 16세로 낮춰야 할까? 그들 각각은 자신의 솔직한 입장을 개인적으로, 자신의 말로, 적당한 길이로 작성했다. 그런 다음 그들은 다른 네 사람이 쓴 내용을 읽었다. 그들의 입장은 처음과 나중에 측정되었다.

아무것도 움직이지 않았다. 조금도, 잘못된 방향으로도, 중요하지 않을 정도로 작은 양으로도. 집단 동의의 측정된 변화는 -0.005였고, p-값은 0.64로, 실험이 보고할 수 있는 것 중에서 문자 그대로 아무것도 아닌 것에 가장 가까웠다.

이것은 2024년 10월 18일 Science에 발표된 연구의 통제 조건이었습니다. 동일한 질문과 동일한 시간 동안 주어진 비교 가능한 그룹들은 그들의 서면 의견이 대신 후보 그룹 성명으로 종합되고, 순위가 매겨지고, 비판받고, 수정되는 방식으로 약 8% 포인트 수렴했습니다. 만장일치에 도달한 그룹의 비율은 22.8%에서 38.6%로 증가했습니다. 이 연구는 일반적으로 AI가 인간 중재자를 이긴 이야기로 보도됩니다. 훨씬 더 유용한 결과는 헤드라인에 오르지 않은 것입니다: 의견을 교환하는 것은 공통의 기반을 생성하지 않습니다. 그것들을 구조화하는 것이 생성합니다.

연구가 실제로 한 것

이 논문은 AI가 민주적 토론에서 인간이 공통점을 찾는 데 도움을 줄 수 있다는 제목으로 Michael Henry Tessler, Michiel Bakker 및 Google DeepMind, 옥스포드, 하버드의 동료들이 작성했습니다. 이 논문은 2023년 1월부터 8월 사이에 진행된 7개의 실험을 보고하며, 총 5,734명의 영국 참가자가 포함되었습니다. 샘플 크기, 제외 기준 및 주요 분석은 데이터 수집 전에 사전 등록되었으며, 코드는 공개되었습니다. 사전 등록, 진정한 통제 조건, Science에의 게재 및 공개 코드의 조합은 이 분야에서 충분히 드물기 때문에 명확히 언급할 가치가 있습니다.

참가자들은 약 5명씩 그룹을 이루어 약 한 시간 동안 세 가지 질문에 대해 논의했습니다. 각 질문에 대한 절차는 고정되어 있었습니다. 모든 참가자는 먼저 자신의 입장을 개인적으로 작성했으며, 글자 수는 10에서 200자 사이로 평균 약 65자였습니다. 작성된 의견은 저자들이 하버마스 기계라고 명명한 시스템으로 전달되었습니다. 이 시스템은 공정한 조건에서 사람들이 함께 추론할 때 합의가 나타난다고 주장한 철학자의 이름을 따온 것입니다. 시스템은 그룹의 공통된 입장을 나타내는 여러 후보 진술을 초안했습니다. 참가자들은 이를 순위 매겼고, 승자는 모든 참가자의 투표가 동등하게 반영되는 순위 선택 선거를 통해 결정되었습니다. 승리한 진술은 다시 그룹으로 돌아갔고, 각 참가자는 그에 대한 비평을 개인적으로 작성했습니다. 이후 시스템은 이러한 비평을 바탕으로 수정된 초안을 작성했습니다. 참가자들은 다시 순위를 매기고 최종적으로 원본과 수정된 버전 중에서 선택했습니다.

두 가지 세부사항은 기억할 가치가 있다. 참가자들은 진술이 기계 생성된 것이라고 들었으므로 속임수는 없었다. 그리고 질문 자체는 이민, 은퇴 연령, 수감자 수, 브렉시트, 기후 목표 및 최저 임금을 다루는 의도적으로 논란이 되는 주제였다. 이들은 합의를 쉽게 만들기 위해 선택된 준비 주제가 아니었다.

절차가 수행한 네 가지 사항

기계 학습을 제외하면 절차는 네 가지 단계로 구성됩니다. 각 단계는 공유 문서와 약간의 규율이 있는 모든 그룹에서 사용할 수 있습니다.

왜 통제 조건이 중요한 결과인지

이와 같은 연구에 대한 합리적인 반론은 사람들이 결국 다른 사람들이 생각하는 것을 들었기 때문에 의견이 수렴한다는 것이다. 저자들은 이를 예상하고 실험을 진행했다. 75개 그룹의 372명 참가자로 구성된 추가 집단이 동일한 연습을 수행했는데, 이들은 초안으로 작성된 그룹 성명을 평가하는 대신 서로의 개별 의견을 평가했다. 그룹 내 모든 의견에 완전히 노출되었고, 종합은 없었다.

그 조건에서 그룹의 합의는 변하지 않았습니다 (b = -0.005, t(230) = -0.46, P = 0.64), 그리고 두 조건 간의 차이는 통계적으로 유의미했습니다 (P = 0.0058). 이는 Science에 발표된 통제된 사전 등록 결과로, 모든 사람의 의견을 순환시키는 것이 그룹을 합의로 이끌지 않는다는 것을 보여줍니다. 이는 문헌에서 댓글 스레드에 대한 직접적인 테스트에 가장 가까운 것이며, 댓글 스레드는 이를 통과하지 못했습니다.

메커니즘의 다른 절반도 똑같이 신중하게 테스트되었습니다. 수정된 진술은 사람들이 약간 더 많은 노력을 투자한 후 두 번째로 보았기 때문에 선호될 수 있습니다. 그래서 저자들은 245명의 참가자로 구성된 추가 집단을 운영하여 비평을 작성하게 한 후, 그 비평을 실제로 반영한 초안과 반영하지 않은 초안을 보여주었습니다. 진정으로 비평에 기반한 버전이 여전히 승리했습니다 (P = 0.0039). 반대 의견 단계는 실제로 중요한 역할을 합니다.

구조는 소수를 평평하게 만들지 않았다. 오히려 그것을 증폭시켰다.

합의 추구 과정에 대한 명백한 두려움은 그것이 더 나은 매너로 다수결이 되는 것이라는 점이다. 저자들은 이를 주장하기보다는 측정하였으며, 모든 의견과 모든 진술을 벡터 공간에 포함시켜 각 질문에 대한 동의에서 불일치까지의 축을 따라 위치시켰다.

대략 77%의 경우 그룹은 진정으로 나뉘어 시작했습니다. 초기 그룹 진술은 소수 의견을 0.29로 가중치 부여했으며, 이는 실제 평균 소수 점유율 0.29와 거의 정확히 비례하는 수치입니다. 비판 라운드 이후 작성된 수정된 진술은 이들을 0.36으로 가중치 부여했습니다. 소수 의견은 그 크기에 비해 과대표현되었고, 그룹은 어쨌든 그 수정된 진술을 선호했습니다. 그룹 진술의 96%는 그룹의 자체 의견이 실제로 포함된 범위 내에 있었으므로, 시스템은 아무도 가지고 있지 않은 입장을 만들어내지 않았습니다.

지원은 여전히 전반적으로 다수의 입장으로 이동했으며, 저자들은 그렇게 말합니다. 다수는 29%에서 32%의 라운드에서 증가했고, 소수는 20%에서 26%로 증가했습니다. 그러나 사람들이 단순히 다수 지향적인 발언을 보여주었기 때문에 다수 쪽으로 이동했는지를 테스트했을 때, 전혀 관계가 없음을 발견했습니다(P = 0.37). 사람들을 움직인 것은 주장의 내용이었지, 그것에 대한 반복적인 노출이 아니었습니다.

그것은 인간 중재자들을 이겼고, 그것이 가장 중요하지 않다.

헤드라인 결과는 사람들과의 직접 대결이었습니다. 75개 그룹에서 한 명의 구성원이 중재자로 지정되어 그룹 성명을 작성하도록 훈련받았으며, 그룹이 선호하는 각 성명에 대해 기본 급여의 최대 50%의 보너스를 제공받았습니다. 이러한 라운드에서 기계의 성명은 56%의 비율로 인간의 44%보다 선호되었으며, 지지와 품질 모두에서 더 높은 평가를 받았습니다. 155명의 독립 평가자로 구성된 별도의 패널은 이 성명들이 더 명확하고, 더 유익하며, 덜 비논리적이고, 작가의 개인 의견이 포함될 가능성이 적다고 판단했습니다.

이것은 이동한 발견이며, 가장 덜 의존해야 할 것입니다. 저자들 스스로도 여기서 조심스럽습니다: 그들은 진정한 기회를 초인적인 중재가 아니라 시간 효율적이고 공정하며 확장 가능한 심의라고 부릅니다. 이 시스템은 인간이 몇 분이 걸리는 동안 몇 초 만에 진술을 생성했습니다. 그리고 탐색적 분석에서 저자들은 인간이 이긴 라운드에서 인간 중재자들 간의 유사한 수렴을 발견했으며, 이는 그 효과가 AI에 특정한 것에서 오는 것이 아니라 중재된 구조가 과정으로서 오는 것일 수 있음을 시사합니다. 만약 이 해석이 맞다면, 연구는 덜 유용하기보다는 더 유용해지며, 그 혜택은 절차를 채택할 의향이 있는 모든 그룹이 이용할 수 있게 됩니다. 모델이 있든 없든 말입니다.

대표 샘플로 복제되었고, 모든 것에 대해 작동하지 않았습니다.

주요 집단은 편의에 의해 크라우드소싱 플랫폼을 통해 모집되었으며, 이는 의심할 만한 점이 있습니다. 그래서 저자들은 실제 시민 회의를 운영하는 Sortition Foundation과 협력하여 연령, 성 정체성, 인종, 사회경제적 지위 및 지역을 대표하도록 계층화된 200명의 참가자를 모집했습니다. 그들은 2023년 4월과 5월에 걸쳐 9개의 질문에 대해 주 1회 1시간씩 총 3회의 토론을 진행했습니다. 지지 수준과 집단 합의의 증가는 모두 재현되었습니다.

흥미로운 부분은 작동하지 않았던 곳입니다. 아홉 개 질문 중 다섯 개에서 입장이 수렴되었습니다. 교도소 인구 감소에 대한 지지는 60%에서 75%로 증가했고, 망명 입국 완화에 대한 지지는 39%에서 51%로 증가했습니다. 브렉시트에 대해서는 전혀 변화가 없었습니다. 보편적인 무료 육아 지원에 대해서는 반대가 33%에서 41%로 증가하며 반대 방향으로 의견이 이동했습니다. 주제에 관계없이 모든 질문에 대한 합의를 이끌어내는 과정은 뭔가 잘못되고 있다는 증거가 될 것입니다. 이 과정은 고착된 입장을 고착시켰으며, 이는 솔직한 심의가 해야 할 대략적인 일입니다.

한정 사항, 명확하게 진술됨

단일 연구에 기반한 모든 주장은 해당 연구의 주의사항을 포함해야 하며, 이 연구에는 실제 주의사항이 있습니다. 저자들이 대부분의 주의사항을 스스로 나열하고 있습니다.

비평가들이 일리가 있는 부분

이 논문은 심의 민주주의 학자들로부터 심각한 비판을 받았으며, 그 중 일부는 타당하다. 가장 날카로운 비판은 Journal of Deliberative Democracy의 알바로 올레아르트와 니콜라스 팔로모 에르난데스에게서 나오며, 이 절차에서 참여자들이 실제로 서로 논쟁하지 않는다고 지적한다. 그들은 개인적으로 글을 쓰고, 기계 출력에 순위를 매긴다. 반박이 없고, 사람들 간의 이유 교환이 없으며, 한 사람의 주장이 다른 사람의 마음을 직접 바꾸는 순간이 없다. 그들은 이를 시민 없는 심의라고 부르며, 이름의 아이러니를 지적한다: 하버마스는 합의를 진정한 담론의 전제조건으로 간주했지, 최적화할 목표로 보지 않았다.

베스 시몬 노벡은 다른 반론을 제기합니다: 합의는 거버넌스의 어려운 부분이 아닙니다. 그룹은 문제에 대한 합의보다 문제를 해결하는 방법에 대한 합의에 더 자주 실패합니다. 잘 정의된 질문에 대한 합의를 잘 만들어내는 기계는 잘못 정의된 질문에 대해서는 도움이 되지 않습니다. 나이트 제1 수정헌법 연구소의 연구자들은 감독 문제를 추가하는데, 이는 천 개의 의견에서 종합이 도출되면, 어떤 인간도 그것이 충실하게 대표하고 있는지를 검증할 수 없다는 것입니다.

우리는 첫 번째 비판이 가장 중요하다고 생각하며, 이에 동의합니다. 합의에 맞춰 프로세스를 최적화하는 것은 사람들이 함께 추론하는 것을 돕는 것과 같지 않으며, 인간의 논쟁을 우회하여 합의를 생성하는 시스템은 처음에 심의가 가치 있었던 것을 제거했습니다. 앞으로 나아가야 할 발견은 모델이 당신 그룹의 입장을 작성하게 하라가 아닙니다. 그것은 더 좁고 더 지속적입니다: 입장은 명확해야 하며, 구조가 순환을 이깁니다, 그리고 공식적인 반대의 한 차례가 결과를 변화시킵니다. 이러한 사항은 합성이 모델, 진행자 또는 그룹 자체에 의해 이루어지든 관계없이 적용됩니다.

월요일에 이걸 어떻게 할까요?

네 가지 메커니즘 중 어느 것도 AI를 필요로 하지 않으며, 네 가지 모두 대부분의 회의에서 잘못되는 사항입니다. 토론 중이 아니라 토론 전에 서면 입장을 수집하세요. 연구 참가자들은 각자 약 65단어의 이유를 첨부하여 작성했으며, 이는 약 5분의 작업으로 가장 저렴한 변화입니다. 순환하기보다는 종합하세요. 모든 사람의 의견을 전달하는 것은 전혀 진전을 이루지 못하게 하는 조건입니다; 누군가는 그룹이 실제로 공통적으로 가지고 있는 내용을 초안으로 작성하고 수정할 수 있도록 해야 합니다. 마지막에 누가 여전히 이야기하고 있는지에 따라 결정하지 말고 동등한 가중치 순위로 결정하세요. 그리고 반대 의견을 제시하는 시간을 정하세요, 그래서 이견을 제시하는 것이 누군가가 감수해야 할 사회적 위험이 아니라 모든 사람이 수행하는 작업이 되도록 합니다.

온라인 토론을 진행한다면, 통제 결과는 특히 주목할 만합니다. 왜냐하면 토론 게시판이나 댓글 스레드는 통제 조건이기 때문입니다. 이는 의견을 순환시키고 아무것도 종합하지 않습니다. 이것이 토론 게시판 대안에서 제시된 구조적 사례이며, 이제 그 뒤에는 사전 등록된 실험이 있습니다. 토론 구조화 방법의 네 단계 구조는 동일한 절차를 수동으로 강제하며, 동의와 단순히 반대하지 않는 것의 구분은 동의 대 합의에서 다루어집니다.

이것이 Argumentree에 대해 말하는 것과 말하지 않는 것

우리는 이 점에 대해 정확해야 합니다. 과도한 주장을 할 유혹이 분명하기 때문입니다. 하버마스 기계는 우리가 만든 것이 아닙니다. 그것은 개인화된 보상 모델을 사용하여 각 참가자가 각 초안을 어떻게 평가할지를 예측하고, 그들 사이에서 모의 선거를 통해 선택하여 후보 합의 문장을 생성합니다. 아규먼트리(Argumentree)는 그렇게 하지 않으며, 이 연구는 우리의 제품을 테스트하지 않습니다.

우리가 테스트하는 것은 우리 제품이 기반하고 있는 메커니즘입니다. 논의가 수렴되기 전에 포지션이 그 이유와 함께 명시적으로 기록됩니다. 주장은 게시물의 스택으로 순환되는 것이 아니라 공유 아티팩트로 구조화됩니다. 이의 제기는 중단이 아니라 부착할 수 있는 첫 번째 클래스의 행동입니다. 소수의 입장은 다수의 견해로 녹아들기보다는 가시적이고 귀속될 수 있습니다. 이것이 연구에서 분리된 네 가지이며, 구조화된 논증 맵이 기본적으로 수행하는 네 가지입니다. 차이점은 우리의 합성이 검토 가능하다는 것입니다: 모든 주장은 저자, 이의 제기 및 지지를 유지하므로, 아무도 확인할 수 없는 요약을 신뢰할 필요가 없으며, 이는 비평가들이 제기하는 정확한 감독 문제입니다.

기억할 가치가 있는 결과

모델, 시민 회의 및 AI가 정치 과정에 가까이 있어야 하는지에 대한 주장을 제거하면, 하나의 숫자가 모든 것을 남깁니다. 다섯 명이 서로의 관심 있는 질문에 대한 서면 추론을 완전히 접근할 수 있었고, 측정 전후: P = 0.64. 그룹이 합의에 도달하려고 시도하는 가장 일반적인 방법인 모든 의견을 모두에게 제시하고 사람들이 읽도록 하는 방식은 이제 대조군과 비교하여 테스트되었고 측정 가능한 효과를 내지 못했습니다.

작동한 조건은 새로운 정보를 추가하지 않았다. 모든 참가자는 이미 모든 의견을 가지고 있었다. 변화한 것은 의견이 형태를 부여받고, 동등한 비중으로 순위가 매겨지며, 하나의 공식적인 반대 절차를 거쳤다는 것이다. 이는 기술적인 발견이 아니라 절차적인 발견이며, 토론을 다르게 진행할 의지가 있는 누구에게나 적용될 수 있다.