Ràng buộc đã định nghĩa lĩnh vực đơn giản ngừng áp dụng.

Trong hai mươi năm, câu trả lời cho liệu chúng ta có thể thực hiện khai thác lập luận trên dữ liệu của mình không? là một câu hỏi khác: bạn sẵn sàng có bao nhiêu nghìn tài liệu được chú thích bằng tay trước, và ai sẽ viết hướng dẫn?

Đó không phải là một chi tiết kỹ thuật. Đó là lý do mà khai thác lập luận vẫn ở trong các phòng thí nghiệm nghiên cứu trong khi phân tích cảm xúc được đưa vào mọi sản phẩm. Yêu cầu chú thích khiến mỗi miền mới trở thành một dự án thay vì một cấu hình, và như bài viết thứ hai trong loạt bài này đã mô tả, các hướng dẫn tự chúng cũng đã bị tranh cãi ngay cả giữa các chuyên gia.

Sau đó, các mô hình ngôn ngữ đa năng xuất hiện và câu hỏi không còn được đặt ra nữa. Bây giờ bạn có thể chỉ định một mô hình vào biên bản cuộc họp trong một lĩnh vực mà chưa ai từng chú thích và nhận được một bản phác thảo có thể sử dụng. Nếu bạn từng tự hỏi tại sao khả năng này lại xuất hiện trong các sản phẩm một cách đột ngột chứ không phải từ từ, đó chính là lý do.

Zero-Shot là toàn bộ câu chuyện

Điều cụ thể đã thay đổi là việc loại bỏ sự giám sát theo miền cụ thể. Một mô hình được kích hoạt mang lại khả năng tổng quát với ngôn ngữ và có thể được chỉ ra điều gì là một tuyên bố và điều gì là một tiền đề, trong lời nhắc, vào thời điểm suy diễn.

Công trình đã công bố về khai thác lập luận dựa trên mối quan hệ đã tìm thấy các mô hình đa mục đích với việc gợi ý ít mẫu cạnh tranh với các chuẩn mực mã hóa đã được tinh chỉnh trên nhiều tập dữ liệu — và trong một số trường hợp còn vượt trội hơn chúng. Đối với một lĩnh vực mà toàn bộ hệ thống đánh giá của nó được xây dựng dựa trên đào tạo có giám sát với các tập hợp đã được chú thích, đó là một sự gián đoạn thực sự.

Ba hệ quả thực tiễn xảy ra. Việc thích ứng miền trở thành chuyển đổi nhắc nhở thay vì đào tạo lại. Các tài liệu dài trở nên khả thi, vì các cửa sổ ngữ cảnh đã mở rộng. Và lĩnh vực chứng cứ có thể mang theo một lời giải thích, vì mô hình có thể được yêu cầu biện minh cho chính nó trong cùng một cuộc gọi — điều này hóa ra quan trọng hơn những gì nghe có vẻ.

Ba Vấn Đề Không Di Chuyển

Mọi thứ trong bài viết trước vẫn áp dụng, và điều đáng nói là cần phải chính xác về lý do tại sao quy mô không giải quyết được bất kỳ điều gì trong số đó.

• Mất cân bằng lớp là một đặc tính của việc viết, không phải của việc đào tạo. Những người xây dựng một lập luận chủ yếu viết các câu hỗ trợ. Một mô hình đã đọc toàn bộ internet chủ yếu cũng đã đọc sự đồng thuận.
• Sự phụ thuộc vào ngữ cảnh là một thuộc tính của nhiệm vụ. Hỗ trợ và tấn công là các mối quan hệ, không phải thuộc tính của câu. Cùng một câu dưới một bậc cha khác nhau có nhãn khác nhau, và không có lượng kiến thức thế giới nào có thể thay đổi điều đó.
• Giấy ủy quyền không được nêu rõ là một thuộc tính của văn bản. Nếu nguyên tắc liên kết bằng chứng với kết luận chưa bao giờ được ghi lại, nó sẽ không có trong đầu vào. Một mô hình lớn hơn đọc cùng một câu vắng mặt.

Có một cái thứ tư, tinh tế hơn. Một mô hình lưu loát tạo ra đầu ra lưu loát, vì vậy các lỗi của nó xuất hiện được diễn đạt tốt và nhất quán bên trong. Một nhãn quan hệ sai từ một bộ mã hóa trông giống như tiếng ồn. Một nhãn quan hệ sai từ một mô hình ngôn ngữ trông giống như một lập luận.

Giúp: Nói Tại Sao Trước tiên

Cải tiến đáng tin cậy nhất có sẵn với những mô hình này gần như đơn giản đến mức đáng xấu hổ. Hãy yêu cầu lý do trước khi đưa ra nhãn.

Yêu cầu một mô hình viết ra những gì một đóng góp làm cho cha mẹ của nó — điều này củng cố phản đối ở trên, vì nó cung cấp một lý do khác cho việc phản đối đó tồn tại — trước khi cam kết vào một phán quyết hỗ trợ hoặc tấn công thì có thể cải thiện đáng kể phán quyết. Bước viết ra buộc mối quan hệ cha mẹ vào bối cảnh làm việc của mô hình, điều này chính xác là thông tin mà cách diễn đạt của câu không cung cấp.

Đây là phiên bản máy móc của một kỹ thuật hoàn toàn mang tính con người. Đó là lý do tại sao steelmanning hoạt động: việc diễn đạt những gì một lập luận thực sự đang làm, trước khi đánh giá nó, sẽ thay đổi sự đánh giá.

Vậy thì Khai thác lập luận đã được giải quyết chưa?

Không, và hình dạng của những gì còn lại bây giờ rõ ràng hơn bao giờ hết.

Điều được giải quyết, nói một cách thực tiễn, là khả năng truy cập. Bất kỳ tổ chức nào cũng có thể thực hiện khai thác lập luận trên văn bản của chính mình ngày nay mà không cần chương trình chú thích, điều này là không thể tưởng tượng được vài năm trước. Đó là một sự thay đổi thực sự và lớn.

Điều chưa được giải quyết là cấu trúc: đóng góp nào phản hồi cho đóng góp nào, và theo hướng nào, khi nguyên tắc kết nối không được nêu rõ và dữ liệu đã huấn luyện mọi người — cả con người và máy móc — để mong đợi sự đồng thuận. Vị trí trung thực là việc trích xuất hiện nay tạo ra một bản nháp tốt trong bất kỳ lĩnh vực nào, và một người vẫn phải kiểm tra các sự bất đồng. Điều này là một sự phân chia lao động tốt hơn nhiều so với trường hợp không ai xây dựng cấu trúc cả.

Cách Sử Dụng Cái Này Tốt

• Đừng xếp hạng theo độ tin cậy. Nó đo lường độ chắc chắn của việc trích xuất, không phải tầm quan trọng, và nó hệ thống hóa việc thúc đẩy bằng chứng hơn là các tuyên bố.
• Hãy hỏi về mối quan hệ, không phải cảm xúc. Câu hỏi hữu ích là điều này ảnh hưởng đến cha mẹ của nó như thế nào — chứ không phải cảm giác của nó về chủ đề.
• Hãy làm cho nó hợp lý với nhãn trước khi đưa ra. Lý do được viết là điều đặt mối quan hệ với cha mẹ vào bối cảnh, và đó là nơi bạn phát hiện ra lỗi.
• Dành thời gian xem xét của bạn vào những điểm không đồng ý. Đó là nơi các mô hình yếu nhất và nơi giá trị quyết định được tập trung.

Một Bản Nháp Tốt Hơn, Không Phải Là Bản Án

Rào cản đã giữ cho việc khai thác lập luận chỉ ở trong phòng thí nghiệm đã biến mất, và nó sẽ không quay trở lại. Điều này đáng để nhận thức rõ: đó là sự khác biệt giữa một kỹ thuật nghiên cứu và một cái gì đó bạn có thể chỉ vào các cuộc họp của chính mình.

Nhưng những vấn đề khó khăn vào năm 1958 vẫn khó khăn bây giờ. Lệnh vẫn chưa được viết ra, sự bất đồng vẫn hiếm hoi, và nhãn vẫn phụ thuộc vào cha mẹ hơn là cách diễn đạt. Điều thay đổi là ai được phép có vấn đề — điều này, đối với một lĩnh vực đã mất hai mươi năm chờ đợi những người chú thích, là sự thay đổi đủ lớn.

Chuỗi khai thác lập luận

Năm bài viết về cách mà máy móc học để đọc lập luận — lĩnh vực này bắt nguồn từ đâu, tại sao những vấn đề khó của nó lại khó, và chúng ta áp dụng nó như thế nào.