Kelas yang paling penting adalah yang paling sedikit.

Dalam korpora yang sistem penggalian hujah dilatih dan diukur, ketidaksetujuan adalah jarang. Majoriti besar hubungan yang dianotasi adalah sokongan: alasan ini menyokong tuntutan itu. Hubungan serangan — bantahan ini melemahkan alasan itu — adalah minoriti kecil, dalam beberapa set data kurang daripada satu per sepuluh pautan yang dilabel.

Fakta tunggal itu menghasilkan mod kegagalan yang paling degil dalam bidang ini. Sistem yang hanya meramalkan sokongan setiap kali adalah betul kebanyakan masa, dan mana-mana model yang belajar dari pengagihan itu menyerap bias yang sama. Ia menjadi bersetuju.

Yang sebenarnya bertentangan dengan alasan mengapa anda akan melaksanakannya. Tiada siapa yang mengulangi keputusan enam bulan kemudian bertanya tentang apa yang dipersetujui oleh semua orang. Mereka mahu bantahan — dan bantahan adalah kelas yang model paling kurang yakin dan paling tidak mungkin untuk diramalkan.

Mengapa Ketidakseimbangan Lebih Teruk Di Sini Daripada Di Tempat Lain

Ketidakseimbangan kelas adalah masalah biasa dalam pembelajaran mesin dengan penyelesaian pembelajaran mesin yang biasa — menimbang semula kerugian, mengambil sampel berlebihan untuk kelas yang jarang, melaporkan skor purata makro daripada ketepatan. Semua itu adalah amalan standard, dan semuanya membantu sedikit sebanyak.

Apa yang menjadikan perlombongan hujah lebih sukar adalah ketidakseimbangan itu bukanlah artefak pengambilan sampel yang boleh anda betulkan dengan mengumpul lebih banyak data. Ia mencerminkan cara orang menulis. Dalam esei persuasif, penulis sedang membina kes, jadi kebanyakan ayat menyokong tesis secara sengaja. Mengembangkan korpus akan mengembangkan ketidakseimbangan bersamanya.

Inilah sebabnya laporan lapangan macro-F1 dan skor per kelas yang berasingan lebih penting daripada ketepatan mentah. Model yang tidak pernah meramalkan serangan boleh menunjukkan angka keseluruhan yang kelihatan baik tetapi tidak berguna untuk tujuan yang anda inginkan. Membaca hanya angka utama menyembunyikan kegagalan sepenuhnya.

Nada Bukan Sekadar Tidak Membantu — Ia Secara Aktif Menyesatkan

Pendekatan intuitif adalah untuk melihat bahasa. Kata-kata negatif, penghindaran, frasa yang bersifat menentang — pasti itu menandakan serangan.

Mereka tidak, dan contoh-contoh yang bertentangan bukan kes tepi. Pertimbangkan satu tuntutan bahawa projek itu berisiko. Ayat tekanan garis masa menambah risiko dinyatakan secara negatif dan menyokong tuntutan itu — ia memberikan satu lagi alasan bahawa projek itu berisiko. Sekarang pertimbangkan penjimatan jangka panjang akan mengimbangi pelaburan awal, yang dilampirkan kepada tuntutan bahawa kosnya adalah terlalu tinggi. Kata-kata positif di sepanjangnya, dan ia menyerang tuntutan itu.

Sama ada sesuatu menyokong atau menyerang adalah sifat hubungan, bukan ayat itu. Ayat yang sama yang dilampirkan kepada ibu yang berbeza mengubah labelnya. Inilah sebabnya analisis sentimen, yang sangat baik dalam apa yang dilakukannya, adalah alat yang salah: ia membaca ayat itu, dan jawapannya tidak terdapat dalam ayat itu.

Bantahan terhadap Langkah yang Tidak Pernah Ditulis

Sebab ketiga adalah yang paling mendalam, dan ia kembali kepada Toulmin. Banyak bantahan sebenar tidak mempertikaikan fakta sama sekali. Mereka mempertikaikan <em>inferens</em> — prinsip yang tidak dinyatakan yang menghubungkan bukti kepada kesimpulan.

Seseorang memetik satu kajian yang menunjukkan peningkatan produktiviti sebanyak 13% dan menyimpulkan bahawa dasar itu harus diterima pakai. Bantahan adalah bahawa populasi kajian tidak sama sekali seperti organisasi ini. Tiada fakta yang dicabar. Apa yang dicabar adalah waran: bahawa hasil di sana boleh dipindahkan ke sini. Prinsip itu tidak muncul di mana-mana dalam transkrip, kerana tiada siapa yang pernah mengatakannya.

Seperti yang dibincangkan dalam pos pertama dalam siri ini, pembinaan semula waran adalah pandangan utama Toulmin dan kekal sebagai masalah yang paling sukar diselesaikan dalam bidang ini. Sebuah sistem yang diminta untuk mengklasifikasikan suatu hubungan kadang-kadang mesti membina semula suatu proposisi yang tidak terdapat dalam inputnya, dan kemudian memutuskan sama ada bantahan itu menyasarkan proposisi tersebut, bukti, atau kesimpulan.

Tetapi pasti model yang lebih besar menyelesaikan ini?

Ini adalah jangkaan yang munasabah, dan ia telah salah sebahagiannya untuk tempoh yang cukup lama untuk menjadi menarik.

Skala membantu dengan pengetahuan dan kelancaran, dan ia benar-benar telah meningkatkan perlombongan hujah — cerita itu adalah pos seterusnya dalam siri ini. Tetapi tiada satu pun daripada tiga masalah di atas adalah masalah pengetahuan. Ketidakseimbangan adalah sifat cara orang menulis. Kebergantungan konteks adalah sifat definisi tugas. Waran yang hilang adalah sifat teks.

Model yang lebih besar yang membaca transkrip yang sama masih tidak menemui sebarang ayat yang menyatakan prinsip yang diperlukan, masih melihat kebanyakan persetujuan dalam apa jua yang telah disesuaikan, dan masih perlu memutuskan yang mana antara tiga sasaran yang mungkin menjadi tujuan bantahan. Keupayaan meningkat; struktur masalah tidak berubah.

Apa yang Sebenarnya Membantu

• Skor kelas secara berasingan. Nombor tajuk tunggal membolehkan model yang tidak pernah meramalkan ketidaksetujuan kelihatan kompeten. F1 per kelas menjadikan kegagalan itu jelas serta-merta.
• Tanya tentang ibu bapa, jangan tentang topik. Satu-satunya soalan yang menghasilkan label yang betul adalah apa sumbangan ini lakukan kepada perkara yang berada tepat di atasnya.
• Buatkan alasan itu jelas sebelum keputusan. Memaksa justifikasi bertulis tentang hubungan sebelum berkomitmen untuk menyokong atau menyerang menonjolkan kesilapan sementara ia masih boleh ditangkap.
• Pastikan ada manusia dalam proses untuk kelas yang jarang. Ketidaksetujuan adalah di mana model paling lemah dan di mana nilai paling tinggi — tepat di tempat untuk memberi perhatian dalam semakan.

Kelas yang Berguna adalah yang Jarang

Segala-galanya tentang data mendorong sistem ke arah persetujuan. Pengagihan memberi ganjaran kepadanya, frasa menyesatkan ke arahnya, dan langkah penghubung yang penting sering kali tidak terdapat dalam teks sama sekali.

Dan satu perkara yang sebenarnya anda perlukan adalah bantahan yang tiada siapa menjawab. Itulah sebabnya ini adalah masalah yang paling sukar dalam perlombongan hujah, dan mengapa ia berbaloi untuk usaha: kelas yang jarang adalah kelas yang berguna.

Siri perlombongan hujah

Lima pos tentang bagaimana mesin belajar membaca hujah — dari mana bidang ini berasal, mengapa masalah sukar adalah sukar, dan bagaimana kami mengaplikasikannya.