Lớp học quan trọng nhất là lớp học có ít nhất.

Trong các tập dữ liệu mà các hệ thống khai thác lập luận được đào tạo và đo lường, sự bất đồng là hiếm. Phần lớn các mối quan hệ được chú thích là hỗ trợ: lý do này ủng hộ tuyên bố đó. Các mối quan hệ tấn công — phản biện này làm suy yếu lý do đó — là một thiểu số nhỏ, trong một số tập dữ liệu dưới một phần mười các liên kết được gán nhãn.

Sự thật đơn lẻ đó tạo ra chế độ thất bại cứng đầu nhất trong lĩnh vực này. Một hệ thống chỉ đơn giản dự đoán hỗ trợ mỗi lần đều đúng phần lớn thời gian, và bất kỳ mô hình nào học từ phân phối đó đều hấp thụ cùng một thiên lệch. Nó trở nên dễ chịu.

Điều này hoàn toàn ngược lại với lý do bạn sẽ triển khai một cái. Không ai quay lại một quyết định sau sáu tháng để tự hỏi mọi người đã đồng ý điều gì. Họ muốn biết sự phản đối — và sự phản đối là lớp mà mô hình ít tự tin nhất và ít có khả năng dự đoán nhất.

Tại sao sự mất cân bằng lại tồi tệ hơn ở đây so với nơi khác

Mất cân bằng lớp là một vấn đề thông thường trong học máy với các biện pháp khắc phục thông thường — điều chỉnh trọng số của hàm mất mát, tăng cường mẫu cho lớp hiếm, báo cáo điểm trung bình theo macro thay vì độ chính xác. Tất cả những điều đó là thực hành tiêu chuẩn, và tất cả đều giúp ích phần nào.

Điều làm cho việc khai thác lập luận trở nên khó khăn hơn là sự mất cân bằng không phải là một hiện tượng lấy mẫu mà bạn có thể khắc phục bằng cách thu thập thêm dữ liệu. Nó phản ánh cách mà mọi người viết. Trong một bài luận thuyết phục, tác giả đang xây dựng một lập luận, vì vậy hầu hết các câu đều hỗ trợ luận điểm theo thiết kế. Mở rộng tập hợp dữ liệu cũng sẽ mở rộng sự mất cân bằng đi kèm với nó.

Đây là lý do tại sao các báo cáo thực địa macro-F1 và các điểm số riêng biệt theo từng lớp thay vì độ chính xác thô. Một mô hình không bao giờ dự đoán tấn công có thể đưa ra một con số tổng thể trông có vẻ đáng nể trong khi lại vô dụng cho mục đích bạn muốn. Việc chỉ đọc con số tiêu đề hoàn toàn che giấu sự thất bại.

Giọng điệu không chỉ không hữu ích — nó còn gây hiểu lầm một cách chủ động.

Cách tiếp cận trực quan là nhìn vào ngôn ngữ. Những từ tiêu cực, sự do dự, cách diễn đạt đối kháng — chắc chắn những điều đó báo hiệu một cuộc tấn công.

Chúng không, và các ví dụ phản chứng không phải là các trường hợp biên. Hãy xem xét một tuyên bố rằng một dự án là rủi ro. Câu áp lực thời gian làm tăng rủi ro được diễn đạt theo cách tiêu cực và hỗ trợ tuyên bố đó — nó cung cấp một lý do khác cho thấy dự án là rủi ro. Bây giờ hãy xem xét tiết kiệm lâu dài sẽ bù đắp cho khoản đầu tư ban đầu, gắn liền với một tuyên bố rằng chi phí là quá cao. Từ ngữ tích cực xuyên suốt, và nó tấn công tuyên bố đó.

Dù một cái gì đó hỗ trợ hay tấn công là thuộc tính của mối quan hệ, chứ không phải của câu. Cùng một câu gắn với một cha khác sẽ đảo ngược nhãn của nó. Đó là lý do tại sao phân tích cảm xúc, mặc dù rất giỏi trong những gì nó làm, lại là công cụ sai: nó đọc câu, và câu trả lời không nằm trong câu.

Sự phản đối đối với một bước chưa bao giờ được ghi lại

Lý do thứ ba là sâu sắc nhất, và nó trở lại với Toulmin. Nhiều phản đối thực sự không tranh cãi về các sự kiện chút nào. Họ tranh cãi về <em>suy diễn</em> — nguyên tắc không được nêu ra kết nối bằng chứng với kết luận.

Ai đó trích dẫn một nghiên cứu cho thấy sự cải thiện năng suất 13% và kết luận rằng chính sách này nên được áp dụng. Sự phản đối là nhóm nghiên cứu không giống như tổ chức này. Không có sự thật nào bị thách thức. Điều bị thách thức là lý do: rằng một kết quả ở đó có thể chuyển giao đến đây. Nguyên tắc đó không xuất hiện ở đâu trong biên bản, vì không ai từng nói điều đó.

Như bài viết đầu tiên trong loạt bài này đã đề cập, việc tái cấu trúc lý do là hiểu biết trung tâm của Toulmin và vẫn là vấn đề ít được giải quyết nhất trong lĩnh vực này. Một hệ thống được yêu cầu phân loại một mối quan hệ đôi khi phải tái cấu trúc một đề xuất không có trong đầu vào của nó, và sau đó quyết định xem phản biện nhắm vào đề xuất đó, bằng chứng, hay kết luận.

Nhưng chắc chắn một mô hình lớn hơn sẽ khắc phục điều này?

Đây là kỳ vọng hợp lý, và nó đã sai một phần đủ lâu để trở nên thú vị.

Scale giúp với kiến thức và sự lưu loát, và nó thực sự đã cải thiện việc khai thác lập luận — câu chuyện đó là bài viết tiếp theo trong chuỗi này. Nhưng không có vấn đề nào trong ba vấn đề trên là vấn đề về kiến thức. Sự mất cân bằng là một đặc tính của cách mọi người viết. Sự phụ thuộc vào ngữ cảnh là một đặc tính của định nghĩa nhiệm vụ. Sự thiếu hụt lý do là một đặc tính của văn bản.

Một mô hình lớn hơn đọc cùng một bản sao vẫn không tìm thấy câu nào nêu rõ nguyên tắc mà nó cần, vẫn chủ yếu thấy sự đồng thuận trong bất cứ điều gì mà nó đã được điều chỉnh, và vẫn phải quyết định mục tiêu nào trong ba mục tiêu khả thi mà một phản đối được nhắm đến. Năng lực tăng lên; cấu trúc của vấn đề không thay đổi.

Điều gì thực sự giúp đỡ

• Chấm điểm các lớp riêng biệt. Một số liệu tiêu đề duy nhất cho phép một mô hình không bao giờ dự đoán sự không đồng thuận trông có vẻ có năng lực. F1 theo lớp làm cho sự thất bại trở nên rõ ràng ngay lập tức.
• Hãy hỏi về cha mẹ, đừng bao giờ hỏi về chủ đề. Câu hỏi duy nhất mang lại nhãn chính xác là điều mà đóng góp này làm với thứ ngay phía trên nó.
• Rõ ràng lý do trước khi đưa ra phán quyết. Yêu cầu một lý do bằng văn bản về mối quan hệ trước khi cam kết ủng hộ hoặc tấn công sẽ làm nổi bật lỗi trong khi nó vẫn có thể được phát hiện.
• Giữ một người trong quy trình cho lớp hiếm. Sự bất đồng là nơi mà các mô hình yếu nhất và cũng là nơi có giá trị cao nhất — chính xác là nơi cần tập trung vào việc xem xét.

Lớp học hữu ích là lớp hiếm có.

Mọi thứ về dữ liệu đều đẩy một hệ thống hướng tới sự đồng thuận. Sự phân phối thưởng cho nó, cách diễn đạt dẫn dắt sai lệch về nó, và bước kết nối quan trọng thường hoàn toàn vắng mặt trong văn bản.

Và điều duy nhất bạn thực sự cần là sự phản đối mà không ai trả lời. Đó là lý do tại sao đây là vấn đề khó nhất trong việc khai thác lập luận, và tại sao nó xứng đáng với nỗ lực: lớp hiếm là lớp hữu ích.

Chuỗi khai thác lập luận

Năm bài viết về cách mà máy móc học để đọc lập luận — lĩnh vực này bắt nguồn từ đâu, tại sao những vấn đề khó của nó lại khó, và chúng ta áp dụng nó như thế nào.