Chia Sẻ Ý Kiến Không Thay Đổi Gì: Nghiên Cứu Khoa Học Phát Hiện Gì Về Thảo Luận Có Cấu Trúc

Năm người lạ được đưa ra một câu hỏi gây tranh cãi. Dịch vụ Y tế Quốc gia có nên được tư nhân hóa không? Độ tuổi bỏ phiếu có nên giảm xuống 16 không? Mỗi người trong số họ đã viết quan điểm chân thành của mình một cách riêng tư, bằng lời của chính họ, với độ dài hợp lý. Sau đó, họ đọc những gì bốn người còn lại đã viết. Các quan điểm của họ được đo lường trước và sau đó.

Không có gì chuyển động. Không một chút nào, không theo hướng sai, không với một lượng quá nhỏ để có ý nghĩa. Sự thay đổi được đo lường trong sự đồng thuận của nhóm là âm 0.005, với giá trị p là 0.64, gần như là không có gì theo nghĩa đen mà một thí nghiệm có thể báo cáo.

Điều này là điều kiện kiểm soát trong một nghiên cứu được công bố trong Khoa học vào ngày 18 tháng 10 năm 2024. Các nhóm tương đương, được đưa ra cùng một câu hỏi và cùng một khoảng thời gian, mà ý kiến viết của họ được synthesised into a candidate group statement, ranked, critiqued and redrafted, đã hội tụ khoảng tám điểm phần trăm. Tỷ lệ các nhóm đạt được sự đồng thuận tăng từ 22,8% lên 38,6%. Nghiên cứu thường được báo cáo như một câu chuyện về một AI đánh bại các nhà hòa giải con người. Kết quả hữu ích hơn nhiều là kết quả không được đưa tin: exchanging views does not produce common ground. Structuring them does.

Nghiên cứu thực sự đã làm gì

Bài báo là AI có thể giúp con người tìm ra điểm chung trong thảo luận dân chủ của Michael Henry Tessler, Michiel Bakker và các đồng nghiệp tại Google DeepMind, Oxford và Harvard. Nó báo cáo bảy thí nghiệm được thực hiện từ tháng 1 đến tháng 8 năm 2023 với tổng cộng 5,734 người tham gia từ Vương quốc Anh. Kích thước mẫu, tiêu chí loại trừ và phân tích chính đã được đăng ký trước trước khi thu thập dữ liệu, và mã đã được công bố công khai. Sự kết hợp của việc đăng ký trước, một điều kiện kiểm soát thực sự, xuất bản trong Science và mã mở là đủ hiếm trong lĩnh vực này để đáng được nêu rõ.

Người tham gia làm việc theo nhóm khoảng năm người và thảo luận ba câu hỏi trong khoảng một giờ. Đối với mỗi câu hỏi, quy trình được cố định. Mỗi người đều viết quan điểm của mình một cách riêng tư trước, từ 10 đến 200 từ, trung bình khoảng 65 từ. Những ý kiến viết đó được chuyển đến một hệ thống mà các tác giả gọi là Máy Habermas, theo tên của triết gia đã lập luận rằng sự đồng thuận xuất hiện khi mọi người lý luận cùng nhau dưới những điều kiện công bằng. Hệ thống đã soạn thảo một số tuyên bố ứng cử viên về điểm chung của nhóm. Người tham gia đã xếp hạng chúng, và tuyên bố chiến thắng được chọn qua một cuộc bầu cử theo hình thức xếp hạng, trong đó mỗi phiếu bầu của người tham gia đều có giá trị như nhau. Tuyên bố chiến thắng quay trở lại nhóm, mỗi người viết riêng một bài phê bình về nó, và hệ thống đã sản xuất một bản nháp sửa đổi từ những bài phê bình đó. Người tham gia lại xếp hạng và cuối cùng chọn giữa phiên bản gốc và phiên bản đã sửa đổi.

Có hai chi tiết đáng lưu ý. Người tham gia được thông báo rằng các tuyên bố là do máy móc tạo ra, vì vậy không có sự lừa dối nào liên quan. Và chính các câu hỏi đã được chọn một cách có chủ ý để gây tranh cãi, bao gồm di cư, độ tuổi nghỉ hưu, số lượng tù nhân, Brexit, mục tiêu khí hậu và mức lương tối thiểu. Đây không phải là những chủ đề khởi động được chọn để dễ dàng đạt được sự đồng thuận.

Bốn điều mà quy trình đã thực hiện

Loại bỏ máy học và quy trình bao gồm bốn bước. Mỗi bước trong số đó đều có sẵn cho bất kỳ nhóm nào có tài liệu chung và một chút kỷ luật.

Tại sao điều kiện kiểm soát lại là kết quả quan trọng

Một phản biện hợp lý đối với bất kỳ nghiên cứu nào như thế này là mọi người đồng thuận chỉ vì họ cuối cùng đã nghe được những gì mọi người khác nghĩ. Các tác giả đã dự đoán điều này và tiến hành thử nghiệm. Một nhóm bổ sung gồm 372 người tham gia trong 75 nhóm đã thực hiện bài tập giống hệt, ngoại trừ việc thay vì đánh giá một tuyên bố nhóm đã được soạn thảo, họ đánh giá ý kiến cá nhân của nhau. Hoàn toàn tiếp xúc với mọi quan điểm trong nhóm, không có sự tổng hợp.

Sự đồng thuận của nhóm trong điều kiện đó không thay đổi (b = -0.005, t(230) = -0.46, P = 0.64), và sự khác biệt giữa hai điều kiện là có ý nghĩa thống kê (P = 0.0058). Đây là một kết quả được kiểm soát, đã được đăng ký trước, được công bố trong Science, cho thấy rằng việc lưu thông ý kiến của mọi người không đưa nhóm đến sự đồng thuận. Đây là điều gần nhất mà tài liệu có được để kiểm tra trực tiếp về chuỗi bình luận, và chuỗi bình luận đã không vượt qua thử nghiệm này.

Một nửa còn lại của cơ chế đã được thử nghiệm một cách cẩn thận. Các tuyên bố đã được sửa đổi có thể được ưa chuộng chỉ vì mọi người thấy chúng sau, sau khi đã đầu tư thêm một chút nỗ lực. Vì vậy, các tác giả đã tiến hành một nhóm tham gia khác gồm 245 người tham gia đã viết các bài phê bình và sau đó được cho xem các bản sửa đổi mà thực sự có hoặc không có sự tiếp thu ý kiến của họ. Các phiên bản thực sự được thông tin từ phê bình vẫn thắng (P = 0.0039). Vòng phản đối thực sự có tác dụng.

Cấu trúc không làm phẳng thiểu số. Nó đã khuếch đại nó.

Nỗi sợ rõ ràng về bất kỳ quy trình tìm kiếm sự đồng thuận nào là nó trở thành quy tắc của số đông với cách cư xử tốt hơn. Các tác giả đã đo lường điều này thay vì khẳng định, bằng cách nhúng mọi ý kiến và mọi tuyên bố vào một không gian vector và xác định vị trí của chúng dọc theo trục từ sự đồng ý đến sự không đồng ý trên mỗi câu hỏi.

Trong khoảng 77% các vòng, nhóm bắt đầu thực sự chia rẽ. Các tuyên bố ban đầu của nhóm đã đánh giá quan điểm thiểu số ở mức 0.29, so với tỷ lệ thiểu số trung bình thực tế là 0.29, điều này gần như là đại diện tỷ lệ chính xác. Các tuyên bố đã sửa đổi, được viết sau vòng phê bình, đã đánh giá chúng ở mức 0.36. Thiểu số đã được đại diện quá mức so với kích thước của nó, và nhóm vẫn thích những tuyên bố đã sửa đổi đó. Chín mươi sáu phần trăm các tuyên bố của nhóm nằm trong khoảng thực tế được bao phủ bởi chính ý kiến của nhóm, vì vậy hệ thống không tạo ra các vị trí mà không ai nắm giữ.

Sự ủng hộ vẫn chuyển hướng về các vị trí đa số nói chung, và các tác giả đã nói như vậy. Các đa số tăng từ 29% đến 32% trong các vòng và các thiểu số tăng từ 20% đến 26%. Nhưng khi họ kiểm tra xem liệu mọi người có chuyển hướng về phía đa số chỉ vì họ đã được trình bày các tuyên bố nghiêng về đa số hay không, họ không tìm thấy mối quan hệ nào cả (P = 0.37). Bất cứ điều gì khiến mọi người thay đổi là nội dung của lập luận, chứ không phải là sự tiếp xúc lặp đi lặp lại với nó.

Nó đã vượt qua các nhà hòa giải con người, và điều đó không quan trọng nhất.

Kết quả nổi bật là một cuộc so sánh trực tiếp giữa con người. Trong 75 nhóm, một thành viên được chỉ định làm người hòa giải, được đào tạo để viết các tuyên bố của nhóm và được thưởng lên đến 50% lương cơ bản cho mỗi tuyên bố mà nhóm ưa thích. Trong các vòng đó, các tuyên bố của máy được ưa thích 56% thời gian so với 44% của con người, và được đánh giá cao hơn về cả sự ủng hộ và chất lượng. Một hội đồng độc lập gồm 155 người đánh giá cho rằng chúng rõ ràng hơn, cung cấp thông tin nhiều hơn, ít phi logic hơn và ít có khả năng đưa ý kiến cá nhân của người viết vào.

Đây là phát hiện đã được lan truyền, và đây là điều mà chúng ta nên dựa vào ít nhất. Các tác giả tự mình cẩn thận ở đây: họ gọi cơ hội thực sự không phải là sự trung gian siêu nhân mà là sự thảo luận hiệu quả về thời gian, công bằng và có thể mở rộng. Hệ thống đã tạo ra các tuyên bố trong vài giây trong khi con người mất vài phút. Và trong một phân tích khám phá, các tác giả đã phát hiện sự hội tụ tương tự từ các nhà trung gian con người trong các vòng mà con người đã thắng, điều này gợi ý rằng hiệu ứng có thể đến từ cấu trúc trung gian như một quá trình hơn là từ bất cứ điều gì cụ thể với AI. Nếu cách hiểu đó là đúng, nó làm cho nghiên cứu trở nên hữu ích hơn chứ không phải ít hơn, vì lợi ích sau đó có sẵn cho bất kỳ nhóm nào sẵn sàng áp dụng quy trình, có hoặc không có mô hình trong vòng.

Nó đã được sao chép với một mẫu đại diện, và nó không hoạt động trên mọi thứ.

Các nhóm chính được tuyển chọn một cách thuận tiện thông qua một nền tảng crowdsourcing, điều này là một điều hợp lý để hoài nghi. Vì vậy, các tác giả đã hợp tác với Quỹ Sortition, tổ chức các hội đồng công dân thực sự, để tuyển chọn 200 người tham gia được phân tầng để đại diện cho Vương quốc Anh về độ tuổi, bản dạng giới, dân tộc, tình trạng kinh tế xã hội và khu vực. Họ đã thảo luận trong ba phiên một giờ hàng tuần vào tháng 4 và tháng 5 năm 2023, về chín câu hỏi. Mức độ ủng hộ và sự gia tăng sự đồng thuận trong nhóm đều được tái hiện.

Điều thú vị là nơi mà nó không hoạt động. Qua chín câu hỏi, các quan điểm đã hội tụ vào năm. Sự ủng hộ cho việc giảm dân số trong tù đã tăng từ 60% lên 75%, và cho việc nới lỏng việc nhập cư tị nạn từ 39% lên 51%. Về Brexit không có sự chuyển động nào. Về việc chăm sóc trẻ em miễn phí toàn cầu, ý kiến đã chuyển theo hướng ngược lại, với sự phản đối tăng từ 33% lên 41%. Một quá trình tạo ra sự đồng thuận về mọi câu hỏi bất kể chủ đề sẽ là bằng chứng cho thấy có điều gì đó không ổn. Cái này đã để lại các quan điểm đã được củng cố, điều này gần như là những gì một cuộc thảo luận trung thực nên làm.

Các giới hạn, được nêu rõ ràng

Bất kỳ tuyên bố nào dựa trên một nghiên cứu đơn lẻ đều nên mang theo những lưu ý của nghiên cứu đó, và nghiên cứu này có những lưu ý thực sự. Các tác giả đã liệt kê hầu hết chúng.

Nơi mà các nhà phê bình có lý.

Bài báo đã thu hút sự chỉ trích nghiêm túc từ các học giả về dân chủ thảo luận, và một số ý kiến trong đó là có cơ sở. Ý kiến sắc bén nhất đến từ Alvaro Oleart và Nicolás Palomo Hernández trong Journal of Deliberative Democracy, những người chỉ ra rằng trong quy trình này các tham gia viên không thực sự tranh luận với nhau. Họ viết trong riêng tư, sau đó xếp hạng đầu ra của máy. Không có phản biện, không có sự trao đổi lý do giữa mọi người, không có khoảnh khắc nào mà lập luận của một người thay đổi quan điểm của người khác một cách trực tiếp. Họ gọi đó là thảo luận không có công dân, và họ lưu ý đến sự mỉa mai của cái tên: Habermas coi sự đồng thuận là điều kiện tiên quyết của diễn ngôn chân chính, chứ không phải là mục tiêu để tối ưu hóa.

Beth Simone Noveck đưa ra một phản đối khác: sự đồng thuận không phải là phần khó trong quản trị. Các nhóm thường thất bại trong việc đồng ý về vấn đề hơn là về cách giải quyết nó, và một cỗ máy xuất sắc trong việc tạo ra sự đồng thuận về một câu hỏi được đặt ra rõ ràng không giúp ích gì cho một câu hỏi được đặt ra kém. Các nhà nghiên cứu tại Viện Tu chính án Đầu tiên Knight bổ sung vấn đề giám sát, đó là một khi một sự tổng hợp được rút ra từ một nghìn ý kiến, không ai có thể xác minh rằng nó đại diện cho họ một cách trung thực.

Chúng tôi nghĩ rằng chỉ trích đầu tiên là quan trọng nhất, và chúng tôi đồng ý với điều đó. Tối ưu hóa một quy trình hướng tới sự đồng thuận không giống như giúp mọi người lý luận cùng nhau, và một hệ thống tạo ra sự đồng thuận bằng cách tránh né tranh luận của con người đã loại bỏ điều làm cho sự thảo luận trở nên có giá trị ngay từ đầu. Phát hiện cần được tiếp tục là không phải để một mô hình viết vị trí của nhóm bạn. Nó hẹp hơn và bền vững hơn: các vị trí phải rõ ràng, cấu trúc quan trọng hơn lưu thông, và một vòng phản đối chính thức thay đổi kết quả. Những điều này vẫn đúng cho dù sự tổng hợp được thực hiện bởi một mô hình, một người điều phối, hay chính nhóm đó.

Làm gì với cái này vào thứ Hai

Không có cơ chế nào trong bốn cơ chế này yêu cầu một AI, và cả bốn đều là những điều mà hầu hết các cuộc họp thường mắc sai lầm. Thu thập các quan điểm bằng văn bản trước khi thảo luận, không phải trong quá trình thảo luận. Những người tham gia nghiên cứu đã viết khoảng 65 từ mỗi người kèm theo lý do của họ, điều này tương đương với khoảng năm phút làm việc và là sự thay đổi rẻ nhất có thể. Tổng hợp thay vì phát tán. Việc chuyển tiếp ý kiến của mọi người chính là điều kiện đã không tạo ra bất kỳ sự chuyển động nào; ai đó phải soạn thảo những gì mà nhóm thực sự có chung và đưa ra để sửa đổi. Quyết định bằng cách xếp hạng có trọng số bằng nhau thay vì dựa vào ai còn nói ở cuối. Và lên lịch cho vòng phản đối, để việc không đồng ý trở thành một nhiệm vụ mà mọi người đều thực hiện thay vì là một rủi ro xã hội mà ai đó phải chấp nhận.

Nếu bạn tổ chức các cuộc thảo luận trực tuyến, kết quả kiểm soát xứng đáng được chú ý đặc biệt, vì một diễn đàn thảo luận hoặc chuỗi bình luận là điều kiện kiểm soát. Nó lưu thông ý kiến và không tổng hợp gì cả. Đó là trường hợp cấu trúc được trình bày trong các lựa chọn thay thế cho diễn đàn thảo luận, và hiện tại có một thí nghiệm đã được đăng ký trước đứng sau nó. Cấu trúc bốn giai đoạn trong cách cấu trúc một cuộc tranh luận thực thi những bước đi tương tự bằng tay, và sự phân biệt giữa việc đồng ý và chỉ đơn giản là không phản đối được đề cập trong sự đồng ý so với sự đồng thuận.

Điều này nói và không nói gì về Argumentree

Chúng ta nên rõ ràng về điều này, vì cám dỗ để tuyên bố quá mức là rõ ràng. Máy Habermas không phải là những gì chúng tôi đã xây dựng. Nó tạo ra các tuyên bố đồng thuận ứng cử viên bằng cách sử dụng một mô hình thưởng cá nhân hóa dự đoán cách mỗi người tham gia sẽ xếp hạng từng bản nháp, và nó chọn giữa chúng bằng một cuộc bầu cử mô phỏng. Argumentree không làm như vậy, và nghiên cứu này không kiểm tra sản phẩm của chúng tôi.

Điều mà nó kiểm tra là cơ chế mà sản phẩm của chúng tôi được xây dựng trên. Các vị trí được ghi lại một cách rõ ràng, với lý do của chúng, trước khi cuộc thảo luận hội tụ. Các lập luận được cấu trúc thành một tài liệu chung thay vì được lưu hành như một chồng bài viết. Sự phản đối là một hành động hàng đầu với một nơi để gắn kết, thay vì là một sự gián đoạn. Các vị trí thiểu số vẫn được nhìn thấy và có thể quy trách nhiệm thay vì tan biến vào quan điểm đa số. Đó là bốn điều mà nghiên cứu đã tách biệt, và chúng là bốn điều mà một bản đồ lập luận có cấu trúc thực hiện theo mặc định. Sự khác biệt là tổng hợp của chúng tôi vẫn có thể được kiểm tra: mỗi tuyên bố giữ lại tác giả của nó, các phản đối và sự hỗ trợ của nó, vì vậy không ai phải tin vào một bản tóm tắt mà họ không thể kiểm tra, điều này chính xác là vấn đề giám sát mà các nhà phê bình nêu ra.

Kết quả đáng nhớ

Bỏ qua mô hình, hội đồng công dân và tranh luận về việc liệu một AI có nên tham gia vào quá trình chính trị hay không, chỉ còn lại một con số. Năm người, có quyền truy cập đầy đủ vào lý do viết của nhau về một câu hỏi mà họ quan tâm, được đo trước và sau: P = 0.64. Cách phổ biến nhất mà các nhóm cố gắng đạt được sự đồng thuận, đó là đưa tất cả các quan điểm ra trước mọi người và để mọi người đọc, giờ đây đã được thử nghiệm so với một nhóm đối chứng và không tạo ra hiệu ứng đo lường được.

Điều kiện đã hoạt động không thêm thông tin mới. Mỗi người tham gia đã có mọi ý kiến. Điều thay đổi là các ý kiến được định hình, xếp hạng với trọng số bằng nhau, và trải qua một vòng phản đối chính thức. Đó là một phát hiện quy trình hơn là công nghệ, và nó có sẵn cho bất kỳ ai sẵn sàng tổ chức các cuộc thảo luận của họ theo cách khác.