Cách Argumentree Chuyển Một Biên Bản Thành Cây Lập Luận | Argumentree

Tóm tắt ngắn gọn

Việc trích xuất là phần dễ dàng. Phần khó khăn là cấu trúc — quyết định điểm chính là gì, cái gì chỉ là bằng chứng cho nó, và cái gì thực sự phản bác lại nó.

Các lập luận được nhóm thành các danh mục một từ — Chi phí, Rủi ro, Thời gian, Pháp lý — và chính xác một lập luận cho mỗi danh mục trở thành tuyên bố chính của danh mục đó.
Yêu cầu chính không phải là yêu cầu mà mô hình tự tin nhất. Các biện pháp tự tin đo lường độ chắc chắn của việc trích xuất, không phải tầm quan trọng.
Các tuyên bố chính là chung; bằng chứng là cụ thể. Một lập luận mang theo một tỷ lệ phần trăm hoặc một nghiên cứu được nêu tên được coi là hỗ trợ cho một tuyên bố, chứ không phải là tuyên bố.
Mọi lập luận phải trích dẫn nguồn một cách chính xác từng từ. Bất cứ điều gì không thể tìm thấy trong văn bản gốc sẽ bị loại bỏ trước khi bạn thấy nó.
Kết quả là một bản nháp. Mọi người chỉnh sửa, làm lại và đánh giá nó — máy móc xây dựng cấu trúc, nhóm giữ vai trò phán xét.

Câu trả lời tự tin nhất lại là câu sai.

Cho một cuộc họp ngân sách kéo dài chín mươi phút vào một công cụ trích xuất và hỏi nó lập luận nào quan trọng nhất, và nó thường sẽ đưa cho bạn một thống kê. Một cái gì đó như "mô hình tài chính dự đoán giảm 20% chi tiêu hoạt động" — chính xác, có bằng chứng rõ ràng, và mô hình rất tự tin về điều đó.

Đó cũng là câu trả lời sai. Câu đó không phải là lập luận. Nó là bằng chứng cho một lập luận mà ai đó đã đưa ra cách đây bốn mươi phút và được diễn đạt một cách lỏng lẻo hơn: chúng ta nên hợp nhất hai đội vì điều đó sẽ tiết kiệm tiền. Câu mơ hồ là tuyên bố. Câu chính xác là cái giữ nó lại.

Sự phân biệt này là toàn bộ vấn đề của việc biến một cuộc trò chuyện thành một cấu trúc, và đáng để ghi nhớ vào lần tới khi bạn đọc lại ghi chú cuộc họp của mình. Những câu trông có vẻ dễ trích dẫn nhất thường là những câu ít thực hiện công việc lập luận nhất.

Những gì Extraction cần phải làm đúng

Khai thác lập luận — lĩnh vực nghiên cứu đứng sau điều này, được khảo sát bởi John Lawrence và Chris Reed vào năm 2019 — thường được chia thành bốn công việc, và chúng trở nên khó hơn khi bạn tiến xa hơn.

Tìm các phần lập luận. Hầu hết các câu trong một cuộc họp thực tế là về logistics, lời chào, hoặc sự nhắc lại. Chỉ một số ít mang theo một tuyên bố hoặc một lý do.
Ghi nhãn từng phần là gì. Một tuyên bố là một vị trí. Một tiền đề là lý do cho nó. Bằng chứng là dữ liệu đứng sau lý do. Cùng một câu có thể là một tuyên bố trong một tài liệu và là một tiền đề trong tài liệu khác.
Xác định cái gì phản hồi với cái gì. Một lý do gắn liền với một tuyên bố cụ thể; một phản đối gắn liền với một lý do cụ thể. Đây là điều biến một danh sách thành một cây.
Quyết định hỗ trợ hoặc tấn công. Đối với mỗi liên kết: điều này có làm mạnh thêm cái mà nó gắn vào, hay làm yếu đi?

Hai vấn đề đầu tiên đã được giải quyết phần lớn. Hai vấn đề cuối cùng thì chưa, và các chỉ số đã công bố cho thấy rõ ràng khoảng cách: trên tập hợp bài luận thuyết phục mà Christian Stab và Iryna Gurevych đã chú thích, phát hiện thành phần đạt khoảng 73% F1 trong khi phát hiện quan hệ chỉ đạt gần 48%. Trên tập hợp CDCP mà Joonsuk Park và Claire Cardie xây dựng, phát hiện quan hệ giảm xuống còn khoảng 34%.

Vì vậy, những quyết định thiết kế thú vị không nằm ở việc tìm kiếm. Chúng nằm ở việc cấu trúc — và đó là nơi các danh mục xuất hiện.

Tại sao các lập luận được phân loại thành các danh mục

Một cuộc thảo luận thực sự không chỉ xoay quanh một vấn đề. Quyết định hợp nhất hai đội đồng thời liên quan đến chi phí, tinh thần, rủi ro pháp lý và thời gian thực hiện. Đó là những cuộc tranh luận khác nhau diễn ra trong cùng một không gian, và việc gộp chúng thành một danh sách duy nhất sẽ tạo ra điều gì đó mà không ai có thể hiểu được.

Vì vậy, mỗi lập luận được trích xuất đều được gán với một thể loại một từ — Chi phí, Rủi ro, Thời gian, Pháp lý, An ninh, Phạm vi. Một từ, có chủ ý. Ngay khi các thể loại trở thành cụm từ, cùng một chủ đề phân mảnh thành các bản sao gần giống nhau: Ảnh hưởng ngân sách và Các yếu tố chi phí và Rủi ro tài chính là một cuộc tranh luận mang ba chiếc mũ, và cái cây phân nhánh thành những nhánh lẽ ra nên là một.

Ràng buộc được thực thi thay vì được yêu cầu. Các danh mục được chuẩn hóa thành một hình thức chuẩn duy nhất, và một danh mục là một thuộc tính của đỉnh của một nhánh — mọi thứ dưới một tuyên bố chính đều thừa hưởng danh mục của tuyên bố chính đó. Một lập luận chi phí không có được một nhánh con trong danh mục Rủi ro; nếu nhánh con thực sự liên quan đến rủi ro, nó thuộc về tuyên bố chính Rủi ro thay vào đó.

Một Lập Luận Chính Mỗi Danh Mục

Trong mỗi danh mục, chính xác một lập luận được nâng lên thành khẳng định chính — vị trí trung tâm mà mọi thứ khác trong danh mục đó hỗ trợ hoặc tấn công. Mọi thứ khác trong danh mục trở thành con của nó, trực tiếp hoặc gián tiếp.

Đây là sự lựa chọn quan trọng nhất trong toàn bộ quá trình. Nếu làm đúng, nhánh sẽ giống như một lập luận: đây là quan điểm về chi phí, đây là ba lý do cho nó, đây là phản biện đối với lý do thứ hai. Nếu làm sai, bạn sẽ nhận được sự đảo ngược từ đầu bài viết này — một thống kê nằm ở đầu nhánh với tuyên bố mà nó đáng lẽ phải hỗ trợ treo lơ lửng bên dưới như thể đó chỉ là một chi tiết.

Cách tiếp cận rõ ràng không hiệu quả.

Câu trả lời trực quan là thúc đẩy lập luận mà mô hình tự tin nhất. Điều này không hiệu quả, vì một lý do đáng để hiểu.

Độ tin cậy đo lường mức độ chắc chắn của việc trích xuất rằng nó đã tìm thấy một lập luận thực sự. Nó không đo lường mức độ trung tâm của lập luận đó trong cuộc tranh luận. Một thống kê được diễn đạt rõ ràng với một nguồn được nêu tên là một trích xuất dễ dàng, có độ tin cậy cao. Một câu mơ hồ, không chắc chắn mà tình cờ là luận điểm thực tế lại là một trích xuất khó khăn, có độ tin cậy thấp. Xếp hạng theo độ tin cậy một cách hệ thống thúc đẩy bằng chứng và hạ thấp tuyên bố.

Có một vấn đề thứ hai nằm dưới vấn đề đầu tiên. Công trình của Saurav Kadavath và các đồng nghiệp tại Anthropic cho thấy sự tự tin được diễn đạt của các mô hình ngôn ngữ được hiệu chỉnh tốt hơn so với xác suất token thô — nhưng các đánh giá sau đó đã nhiều lần chỉ ra rằng nó vẫn chưa được hiệu chỉnh tốt về mặt tuyệt đối. Đây là một tín hiệu có thể sử dụng. Nó không phải là một thứ hạng đáng tin cậy.

Điều gì thực sự chọn lựa yêu cầu chính

Thay vì một tín hiệu, nhiều tín hiệu được kết hợp lại — và tín hiệu mạnh nhất trong số đó là cấu trúc chứ không phải ngôn ngữ.

Trung tâm. Có bao nhiêu lập luận khác gắn liền với lập luận này? Khẳng định mà mọi thứ khác phản hồi gần như luôn là khẳng định trung tâm. Đây là điều gần nhất với một tín hiệu đáng tin cậy, vì nó là một thuộc tính của vị trí của lập luận trong cuộc tranh luận chứ không phải của cách diễn đạt của nó.
Trừu tượng. Các tuyên bố chính là tổng quát; bằng chứng là cụ thể. Điều này hoàn toàn theo Toulmin: trong tài liệu của ông năm 1958, tuyên bố là kết luận và lý do là những sự thật cụ thể nằm dưới nó.
Ngôn ngữ lập luận. Các dấu hiệu diễn ngôn — do đó, vấn đề chính là, tôi sẽ lập luận — cho thấy rằng người nói đang nêu ra một quan điểm thay vì cung cấp một chi tiết.
Sự ngắn gọn. Các tuyên bố chính thường ngắn gọn. Một câu dài thường chứa các điều kiện, điều mà tài liệu hỗ trợ thực hiện.
Vị trí. Một tín hiệu yếu, nhưng là tín hiệu thật: các luận án thường xuất hiện sớm.

Tính trừu tượng được đo bằng cách tìm kiếm dấu vân tay của tính cụ thể. Một tỷ lệ phần trăm, một số tiền, một thực thể được định lượng, một cụm từ trích dẫn, một tổ chức được nêu tên — mỗi cái trong số đó làm cho một lập luận ít có khả năng là tuyên bố chính, vì mỗi cái là dấu hiệu của cơ sở chứ không phải của một kết luận. Làm việc từ xa cải thiện năng suất là một tuyên bố. Một cuộc khảo sát 500 công nhân cho thấy 78% hài lòng là điều bạn nói khi ai đó hỏi bạn tại sao.

Kết hợp nhiều tín hiệu yếu sẽ tốt hơn là tin tưởng vào một tín hiệu mạnh mẽ — đó cũng là lý do mà một nhóm có nhiều quan điểm khác nhau lại vượt trội hơn một cá nhân tự tin, một mô hình đã được khám phá trong tại sao sự đa dạng vượt trội hơn khả năng.

Hãy thử điều này trong cuộc họp cuối cùng của bạn.

Hãy lấy quyết định cuối cùng mà nhóm bạn đã đưa ra. Bạn có thể nêu ra lập luận mạnh mẽ nhất chống lại nó không — và bạn có thể cho biết ai đã đưa ra lập luận đó không? Nếu bạn không thể, đó không phải là vấn đề về trí nhớ. Đó là vấn đề về cấu trúc: hồ sơ của bạn đã ghi lại những gì đã được quyết định nhưng không ghi lại những gì đã được tranh luận, điều này chính là khoảng trống mà việc trích xuất đang cố gắng lấp đầy.

Không có gì tồn tại nếu không có trong nguồn.

Một lập luận nghe có vẻ hợp lý nhưng chưa bao giờ được đưa ra thực sự tệ hơn một lập luận bị thiếu — đó là một bản ghi sai về những gì nhóm của bạn đã nói. Vì vậy, mỗi lập luận được trích xuất đều mang theo cách diễn đạt chính xác từ nguồn gốc của nó, và bất kỳ lập luận nào mà bằng chứng được trích dẫn không thể được tìm thấy trong tài liệu nguồn sẽ bị loại bỏ trước khi cây lập luận được trình bày cho bất kỳ ai.

Điều này không hấp dẫn và đây là phần làm cho phần còn lại có thể sử dụng được. Một cái cây mà bạn không thể truy ngược lại bản sao là một bản tóm tắt với các bước bổ sung.

Nhưng đây chẳng phải chỉ là tóm tắt với thêm vài bước sao?

Đó là phản đối rõ ràng, và câu trả lời nằm ở những gì mỗi người vứt bỏ.

Một bản tóm tắt là sự nén lại. Nó cho bạn biết đại khái cuộc họp đã đề cập đến điều gì và, nếu tốt, những gì đã được quyết định. Điều mà nó không thể bảo tồn là hình dạng của sự bất đồng — rằng sự phản đối cụ thể này đã được nêu ra chống lại lý do cụ thể đó, rằng nó đã được trả lời, và rằng một sự phản đối thứ hai thì không bao giờ được đưa ra. Các bản tóm tắt mất đi chính phần quan trọng khi quyết định được xem xét lại sau tám tháng và không ai có thể nhớ tại sao lựa chọn rõ ràng lại bị từ chối.

Sự phân biệt này cũng tách biệt việc khai thác lập luận khỏi phân tích cảm xúc, cái mà đo lường thái độ thay vì lý luận. Một câu có thể được diễn đạt theo cách tiêu cực trong khi vẫn ủng hộ quan điểm mà nó gắn liền — "áp lực thời gian làm tăng rủi ro" củng cố một tuyên bố rằng dự án là rủi ro. Nếu đánh giá điều đó theo tông điệu, bạn sẽ luôn nhận được kết quả ngược lại.

Đầu ra là một bản nháp, và đó chính là điều quan trọng.

Điều xuất phát từ việc trích xuất là một đề xuất: đây là những gì chúng tôi nghĩ đã được lập luận, đây là cách chúng tôi nghĩ nó liên kết với nhau. Sau đó, mọi người sẽ chỉnh sửa nó — điều chỉnh một lập luận đã gắn với một tuyên bố sai, tách ra một lập luận đã kết hợp hai điểm, thúc đẩy một điều mà việc chấm điểm đã sai, và đánh giá những gì họ thấy thuyết phục.

Sự phân chia đó là có chủ đích. Việc xây dựng cấu trúc bằng tay là công việc tẻ nhạt khiến các nhóm không thể thực hiện được. Đánh giá xem một lập luận có tốt hay không — liệu bằng chứng có hợp lý, liệu giả định không được nêu ra có chấp nhận được hay không — thì không tẻ nhạt. Đó là suy nghĩ thực sự, và nó gắn liền với nhóm.

Điều này có nghĩa gì nếu bạn đang đọc hồ sơ cuộc họp của chính mình

Câu nói đáng trích dẫn thường không phải là tuyên bố. Những câu chính xác, có nguồn gốc rõ ràng thường là bằng chứng. Tuyên bố mà chúng hỗ trợ thường mơ hồ hơn và dễ bị bỏ qua.
Đếm những gì gắn liền với những gì. Điểm mà mọi người khác phản hồi là điểm quan trọng, bất kể ai nói nó một cách tự tin nhất.
Đặt tên cho các danh mục. Nếu bạn không thể nói hai hoặc ba chủ đề mà một quyết định liên quan đến, cuộc thảo luận chưa được cấu trúc — nó đã được ghi chép lại.
Tìm kiếm sự phản đối mà không ai trả lời. Đây là điều hữu ích nhất trong bất kỳ hồ sơ tranh luận nào, và là điều đầu tiên mà một bản tóm tắt phẳng phá hủy.

Câu mơ hồ là lập luận.

Thống kê không bao giờ là vấn đề chính. Nó là câu trả lời cho một câu hỏi mà ai đó đã đặt ra về một tuyên bố đã được đưa ra — một cách lỏng lẻo, sớm, và trong kiểu câu mà không bao giờ được ghi vào biên bản.

Cấu trúc một cuộc thảo luận có nghĩa là đặt câu đó trở lại vị trí đầu nhánh nơi nó thuộc về, với bằng chứng của nó ở dưới và các phản biện gắn liền với những lý do cụ thể mà họ tranh cãi. Đó là mục đích của một cái cây. Và đó là lý do tại sao câu trả lời tự tin nhất thường là câu trả lời sai.

Chuỗi khai thác lập luận

Bài viết này đề cập đến cách chúng tôi áp dụng khai thác lập luận. Phần còn lại của loạt bài sẽ đề cập đến nguồn gốc của lĩnh vực này và lý do tại sao các vấn đề khó của nó lại khó khăn.

Từ Toulmin đến Transformers

Cách một cuốn sách triết học năm 1958 bị các nhà logic học từ chối đã trở thành đặc tả cho một nhiệm vụ học máy.

Dạy máy móc đọc lập luận

Thập kỷ của các tập hợp dữ liệu được chú thích bằng tay đã biến việc khai thác lập luận từ một ý tưởng thành một nhiệm vụ có thể đo lường.

Tại sao việc phát hiện tấn công lại khó khăn đến vậy

Sự bất đồng là hiếm trong dữ liệu và phụ thuộc vào ngữ cảnh mà câu không chứa.

Khi LLM gặp Khai thác lập luận

Mô hình zero-shot đã loại bỏ nút thắt của tập hợp dữ liệu và để lại các vấn đề cấu trúc đúng vị trí của chúng.

Nguồn & Tài liệu tham khảo thêm

Lawrence, J., & Reed, C. (2019). Khai thác lập luận: Một khảo sát. Ngôn ngữ học tính toán, 45(4), 765–818.

Khảo sát tiêu chuẩn về lĩnh vực — định nghĩa nhiệm vụ, phương pháp và các vấn đề còn bỏ ngỏ.

Stab, C., & Gurevych, I. (2014). Ghi chú các thành phần và mối quan hệ lập luận trong các bài luận thuyết phục. Kỷ yếu của COLING 2014.

Tập hợp chú thích đã biến việc khai thác lập luận thành một nhiệm vụ có thể đo lường, và là nguồn của các số liệu F1 về thành phần/mối quan hệ được trích dẫn ở đây.

Toulmin, S. E. (1958). Các ứng dụng của lập luận. Nhà xuất bản Đại học Cambridge.

Mô hình yêu cầu/cơ sở/giấy phép — nguồn gốc của nguyên tắc rằng các yêu cầu là chung và các cơ sở là cụ thể.

Park, J., & Cardie, C. (2018). Một tập hợp các bình luận của người dùng eRulemaking để đo lường khả năng đánh giá của các lập luận. Kỷ yếu của LREC 2018.

Tập hợp CDCP, trên đó điểm phát hiện quan hệ khoảng 34% F1 — phần khó hơn của phạm vi đã công bố.

Kadavath, S., et al. (2022). Các Mô Hình Ngôn Ngữ (Chủ Yếu) Biết Những Gì Chúng Biết. arXiv:2207.05221.

Về độ tin cậy của mô hình được diễn đạt bằng lời - tốt hơn so với xác suất thô, nhưng vẫn không phải là tín hiệu xếp hạng đáng tin cậy.

Câu hỏi thường gặp

Argumentree làm thế nào để chuyển một bản sao thành một cây lập luận?

Nó áp dụng khai thác lập luận: tìm các đoạn văn bản mang các tuyên bố hoặc lý do, gán nhãn cho từng cái, xác định lý do nào gắn liền với tuyên bố nào, và quyết định xem mỗi liên kết hỗ trợ hay phản bác điểm ở trên. Kết quả là một cây thuận và nghịch mà mọi người sau đó xem xét và chỉnh sửa.

Các loại lập luận là gì và tại sao lại là những từ đơn?

Các danh mục nhóm một cuộc thảo luận thành các tranh luận riêng biệt — Chi phí, Rủi ro, Thời gian, Pháp lý. Chúng bị giới hạn ở các từ đơn vì các danh mục dài hơn sẽ bị phân mảnh: Tác động ngân sách, Cân nhắc chi phí và Rủi ro tài chính là một cuộc tranh luận mang ba chiếc mũ, và cái cây phân nhánh thành những nhánh lẽ ra nên là một.

Một lập luận chính cho mỗi danh mục có nghĩa là gì?

Trong mỗi danh mục, chính xác một lập luận được nâng lên thành tuyên bố trung tâm, và mọi thứ khác trong danh mục đó gắn liền với nó. Đây là điều làm cho một nhánh có thể đọc được như một lập luận — một quan điểm, lý do cho nó, và các phản biện đối với những lý do đó — thay vì chỉ là một danh sách phẳng các câu liên quan.

Tại sao lập luận chính không chỉ là lập luận có độ tin cậy cao nhất?

Bởi vì độ tin cậy đo lường mức độ chắc chắn của việc trích xuất, chứ không phải mức độ trung tâm của lập luận. Một thống kê được diễn đạt rõ ràng là một trích xuất dễ dàng, có độ tin cậy cao; câu mơ hồ mà thực sự là luận điểm lại là một trích xuất khó khăn. Xếp hạng theo độ tin cậy một cách hệ thống thúc đẩy bằng chứng và hạ thấp các tuyên bố.

Điều này khác gì so với tóm tắt cuộc họp?

Một bản tóm tắt nén lại và cho bạn biết những gì đã được đề cập. Nó không thể giữ nguyên hình thức của sự bất đồng — rằng sự phản đối này được đưa ra chống lại lý do đó, rằng nó đã được trả lời, và rằng một lý do khác thì không. Các bản tóm tắt mất đi chính phần quan trọng khi một quyết định được xem xét lại sau này.

Điều gì ngăn cản AI sáng tạo ra những lập luận mà không ai đưa ra?

Mỗi lập luận được trích xuất mang theo đúng ngôn từ mà nó xuất phát, và bất kỳ lập luận nào mà bằng chứng được trích dẫn không thể được tìm thấy trong tài liệu nguồn sẽ bị loại bỏ trước khi cây được hiển thị. Một lập luận nghe có vẻ hợp lý nhưng chưa bao giờ được đưa ra còn tệ hơn một lập luận bị thiếu.

Tôi có thể thay đổi những gì mà quá trình trích xuất đã tạo ra không?

Vâng — đó là quy trình dự kiến. Đầu ra là một bản nháp. Mọi người thay đổi cha mẹ của các lập luận gắn liền với tuyên bố sai, tách các điểm đã gộp lại, thăng cấp những gì mà điểm số đã sai, và đánh giá những gì họ thấy thuyết phục. Cỗ máy xây dựng cấu trúc; nhóm giữ lại sự phán xét.

Argumentree Team

Decision Science

The Argumentree team explores the science of better decisions—from ancient philosophy to modern AI.

Xem nó trên bảng điểm của bạn.

Dán một biên bản cuộc họp và nhận một cây ưu và nhược điểm có cấu trúc mà bạn có thể chỉnh sửa, đánh giá và phát triển.

Khai thác lập luận là gì?

Lĩnh vực phía sau điều này — nó là gì, nó đến từ đâu, và tại sao mối quan hệ lại là phần khó khăn.

Lập bản đồ lập luận là gì?

Bản đối chiếu thủ công: trình bày các yêu cầu và lý do bằng tay.

Trí tuệ cuộc họp AI

Ghi lại lý do tại sao một quyết định được đưa ra, chứ không chỉ là những gì đã được nói.

Biến cuộc họp tiếp theo của bạn thành một cây lập luận

Cấu trúc lý lẽ, không chỉ là hồ sơ — để phản đối mà không ai trả lời vẫn có thể nhìn thấy sau sáu tháng.

Bắt đầu miễn phí

How Argumentree Turns a Transcript Into an Argument Tree