Mengapa Deteksi Serangan Adalah Masalah Terberat dalam Penambangan Argumen | Argumentree
Dalam penambangan argumen, mengidentifikasi kalimat mana yang merupakan klaim sebagian besar telah terpecahkan, sementara memutuskan apakah satu argumen mendukung atau menyerang argumen lain belum. Tiga alasan struktural menjelaskan kesenjangan ini. Pertama, ketidakseimbangan kelas: dalam korpus yang dianotasi, mayoritas besar hubungan adalah dukungan, dan hubungan serangan adalah minoritas kecil — dalam beberapa dataset kurang dari sepersepuluh dari hubungan yang diberi label. Sebuah sistem yang menebak dukungan benar sebagian besar waktu, sehingga sinyal pelatihan secara aktif mendorong untuk tidak memprediksi ketidaksetujuan. Kedua, ketergantungan konteks: apakah sebuah pernyataan menyerang sesuatu tergantung pada apa yang dilampirkan padanya daripada pada bagaimana pernyataan itu diungkapkan. Kalimat yang diungkapkan secara negatif sering kali mendukung klaim di atasnya, dan kalimat yang diungkapkan secara positif sering kali menyerangnya. Ketiga, jaminan yang tidak dinyatakan: sebuah keberatan sering kali membantah langkah inferensial antara dasar dan klaim, dan langkah itu tidak dituliskan di mana pun dalam teks. Tolok ukur yang diterbitkan menunjukkan efek ini secara konsisten — deteksi komponen mendekati 73% F1 dibandingkan deteksi hubungan mendekati 48% pada korpus esai persuasif yang sama, dan sekitar 34% pada data komentar publik yang lebih berantakan. Ini penting dalam praktik karena kelas yang jarang adalah yang berguna: keberatan terkuat yang tidak dijawab oleh siapa pun adalah tepat hal yang perlu dipertahankan dalam catatan keputusan.
Kelas yang langka adalah yang berguna. Ketidaksetujuan adalah minoritas kecil dari data, yang merupakan alasan mengapa model sering meremehkannya — dan tepatnya mengapa hal itu paling penting.
- Hubungan serangan adalah minoritas kecil dalam korpora yang dianotasi. Dukungan tebak biasanya benar, sehingga model belajar untuk meremehkan ketidaksetujuan.
- Apakah sesuatu menyerang tergantung pada apa yang dilampirkan, bukan pada bagaimana itu diungkapkan. Nada adalah sinyal yang secara aktif menyesatkan.
- Banyak keberatan memperdebatkan langkah inferensial daripada fakta-fakta — dan langkah itu tidak pernah dituliskan.
- Benchmark yang dipublikasikan: ~73% F1 menemukan komponen dibandingkan ~48% mengklasifikasikan hubungan pada korpus yang sama; ~34% pada data yang lebih berantakan.
- Kelas langka adalah kelas di mana keputusan ditentukan. Sebuah keberatan yang tidak terjawab adalah hal yang paling berharga dalam catatan argumen mana pun.
Kelas yang Paling Penting Adalah Kelas yang Paling Sedikit Terdapat
Dalam korpora yang digunakan untuk melatih dan mengukur sistem penambangan argumen, ketidaksepakatan jarang terjadi. Mayoritas besar hubungan yang dianotasi adalah dukungan: alasan ini mendukung klaim itu. Hubungan serangan — keberatan ini melemahkan alasan itu — adalah minoritas kecil, di beberapa dataset kurang dari sepersepuluh dari tautan yang diberi label.
Fakta tunggal itu menghasilkan mode kegagalan yang paling membandel di bidang ini. Sebuah sistem yang hanya memprediksi dukungan setiap saat benar sebagian besar waktu, dan model apa pun yang belajar dari distribusi itu menyerap bias yang sama. Itu menjadi setuju.
Yang justru berlawanan dengan alasan mengapa Anda akan menerapkannya. Tidak ada yang mengunjungi kembali keputusan enam bulan kemudian bertanya-tanya tentang apa yang disepakati semua orang. Mereka menginginkan keberatan — dan keberatan adalah kelas yang paling tidak yakin tentangnya dan paling tidak mungkin untuk diprediksi.
Mengapa Ketidakseimbangan Lebih Buruk Di Sini Daripada Di Tempat Lain
Ketidakseimbangan kelas adalah masalah umum dalam pembelajaran mesin dengan solusi pembelajaran mesin yang umum — memberikan bobot ulang pada kerugian, melakukan oversampling pada kelas yang jarang, melaporkan skor rata-rata makro daripada akurasi. Semua itu adalah praktik standar, dan semuanya membantu sedikit.
Apa yang membuat penambangan argumen lebih sulit adalah bahwa ketidakseimbangan tersebut bukanlah artefak pengambilan sampel yang dapat Anda perbaiki dengan mengumpulkan lebih banyak data. Ini mencerminkan bagaimana orang menulis. Dalam esai persuasif, penulis sedang membangun sebuah argumen, jadi sebagian besar kalimat mendukung tesis secara sengaja. Meningkatkan ukuran korpus juga meningkatkan ketidakseimbangan bersamanya.
Inilah sebabnya laporan lapangan macro-F1 dan skor per kelas terpisah lebih penting daripada akurasi mentah. Sebuah model yang tidak pernah memprediksi serangan dapat menunjukkan angka keseluruhan yang terlihat baik sementara sebenarnya tidak berguna untuk tujuan yang Anda inginkan. Membaca hanya angka utama menyembunyikan kegagalan sepenuhnya.
Nada Tidak Hanya Tidak Membantu — Itu Secara Aktif Menyesatkan
Pendekatan intuitif adalah melihat bahasa. Kata-kata negatif, penghindaran, frasa yang bersifat antagonis — pasti itu menandakan serangan.
Mereka tidak, dan contoh-contoh yang berlawanan bukanlah kasus tepi. Pertimbangkan klaim bahwa sebuah proyek berisiko. Kalimat tekanan waktu menambah risiko diungkapkan secara negatif dan mendukung klaim itu — itu memberikan alasan lain mengapa proyek tersebut berisiko. Sekarang pertimbangkan penghematan jangka panjang akan mengimbangi investasi awal, yang terlampir pada klaim bahwa biayanya sangat tinggi. Kata-kata positif di seluruhnya, dan itu menyerang klaim tersebut.
Apakah sesuatu mendukung atau menyerang adalah sifat dari hubungan, bukan dari kalimat. Kalimat yang sama yang terhubung dengan induk yang berbeda membalikkan labelnya. Inilah sebabnya analisis sentimen, yang sangat baik dalam apa yang dilakukannya, adalah alat yang salah: ia membaca kalimat, dan jawabannya tidak ada dalam kalimat.
Jebakan: Menilai Sikap Berdasarkan Topik Alih-alih Orang Tua
Ada versi spesifik dari kesalahan ini yang layak disebutkan karena menghasilkan output yang salah dengan percaya diri daripada output yang jelas salah.
Bayangkan sebuah debat tentang sebuah proposal. Seseorang mengajukan keberatan — proposal tersebut mengonsentrasikan terlalu banyak kekuasaan dalam satu tim. Seseorang kedua menambahkan alasan mengapa keberatan itu benar. Kontribusi kedua tersebut mendukung induknya, yang kebetulan adalah sebuah keberatan. Ini adalah langkah pendukung di dalam cabang yang berlawanan.
Sebuah sistem yang memutuskan sikap dengan bertanya apakah kalimat ini mendukung proposal? justru salah, memberi label penguatan sebagai serangan, dan kesalahan itu kemudian menyebar: argumen anti-proposal muncul di sisi pro dari perhitungan. Pertanyaan yang harus diajukan bukanlah apa yang dipikirkan kalimat tentang topik tersebut. Melainkan, apa yang dilakukannya terhadap hal yang langsung di atasnya.
Temukan keberatan yang belum terjawab sendiri.
Ambil keputusan yang dibuat tim Anda pada kuartal terakhir. Sebutkan argumen terkuat melawan keputusan tersebut, dan kemudian katakan apa jawaban untuk argumen itu. Jika Anda dapat menyebutkan keberatan tetapi tidak dapat menyebutkan jawabannya, Anda baru saja menemukan item paling berharga dalam catatan keputusan Anda — dan yang paling tidak mungkin muncul dari alat yang bias dukungan.
Keberatan terhadap Langkah yang Tidak Pernah Dituliskan
Alasan ketiga adalah yang terdalam, dan ini kembali ke Toulmin. Banyak keberatan yang sebenarnya tidak memperdebatkan fakta sama sekali. Mereka memperdebatkan <em>inferensi</em> — prinsip yang tidak dinyatakan yang menghubungkan bukti dengan kesimpulan.
Seseorang mengutip sebuah studi yang menunjukkan peningkatan produktivitas sebesar 13% dan menyimpulkan bahwa kebijakan tersebut harus diadopsi. Keberatan yang diajukan adalah bahwa populasi studi tersebut tidak ada hubungannya dengan organisasi ini. Tidak ada fakta yang dipertanyakan. Yang dipertanyakan adalah jaminan: bahwa hasil di sana dapat diterapkan di sini. Prinsip itu tidak muncul di mana pun dalam transkrip, karena tidak ada yang pernah mengatakannya.
Seperti yang dibahas dalam pos pertama dalam seri ini, rekonstruksi jaminan adalah wawasan utama Toulmin dan tetap menjadi masalah yang paling sedikit terpecahkan di bidang ini. Sebuah sistem yang diminta untuk mengklasifikasikan suatu hubungan terkadang harus merekonstruksi sebuah proposisi yang tidak ada dalam inputnya, dan kemudian memutuskan apakah keberatan tersebut menargetkan proposisi itu, bukti, atau kesimpulan.
Tapi pasti model yang lebih besar memperbaiki ini?
Ini adalah harapan yang wajar, dan ini telah sebagian salah cukup lama untuk menjadi menarik.
Skala membantu dengan pengetahuan dan kefasihan, dan itu benar-benar telah meningkatkan penambangan argumen — cerita itu adalah pos berikutnya dalam seri ini. Namun, tidak ada dari tiga masalah di atas yang merupakan masalah pengetahuan. Ketidakseimbangan adalah sifat dari cara orang menulis. Ketergantungan konteks adalah sifat dari definisi tugas. Jaminan yang hilang adalah sifat dari teks.
Model yang lebih besar yang membaca transkrip yang sama masih tidak menemukan kalimat yang menyatakan prinsip yang dibutuhkannya, masih melihat sebagian besar kesepakatan dalam apa pun yang telah disesuaikan, dan masih harus memutuskan mana dari tiga target yang mungkin menjadi sasaran keberatan. Kemampuan meningkat; struktur masalah tidak berubah.
Apa yang Sebenarnya Membantu
- Nilai kelas secara terpisah. Sebuah angka utama tunggal membuat model yang tidak pernah memprediksi ketidaksepakatan terlihat kompeten. F1 per kelas membuat kegagalan terlihat segera.
- Tanyakan tentang orang tua, jangan tentang topik. Satu-satunya pertanyaan yang menghasilkan label yang benar adalah apa yang dilakukan kontribusi ini terhadap hal yang langsung di atasnya.
- Buat penalaran eksplisit sebelum putusan. Memaksa adanya justifikasi tertulis tentang hubungan sebelum berkomitmen untuk mendukung atau menyerang menyoroti kesalahan sementara masih bisa ditangkap.
- Jaga agar ada manusia yang terlibat untuk kelas yang jarang. Ketidaksepakatan adalah di mana model paling lemah dan di mana nilai tertinggi — tepat di tempat untuk menghabiskan perhatian ulasan.
Kelas yang Berguna adalah yang Langka
Segala sesuatu tentang data mendorong sistem menuju kesepakatan. Distribusi memberinya imbalan, frasa menyesatkan ke arahnya, dan langkah penghubung yang krusial sering kali sama sekali tidak ada dalam teks.
Dan satu hal yang sebenarnya Anda butuhkan adalah keberatan yang tidak ada yang menjawab. Itulah mengapa ini adalah masalah tersulit dalam penambangan argumen, dan mengapa ini layak untuk diperjuangkan: kelas yang langka adalah kelas yang berguna.
Seri penambangan argumen
Lima pos tentang bagaimana mesin belajar membaca argumen — dari mana bidang ini berasal, mengapa masalah sulitnya sulit, dan bagaimana kami menerapkannya.
Bagaimana sebuah buku filsafat tahun 1958 yang ditolak oleh para logician menjadi spesifikasi untuk tugas pembelajaran mesin.
Dekade korpus yang dianotasi tangan yang mengubah penambangan argumen dari sebuah ide menjadi tugas yang terukur.
Model zero-shot menghilangkan hambatan korpus dan membiarkan masalah struktural persis di tempatnya.
Menerapkannya: kategori argumen, satu klaim utama per kategori, dan mengapa kepercayaan adalah sinyal peringkat yang salah.
Sumber & Bacaan Lanjutan
Hasil esai persuasif biasanya dikutip untuk kesenjangan komponen-versus-relation.
Korpus CDCP, di mana deteksi hubungan turun menjadi sekitar 34% F1 pada teks komentar publik yang sebenarnya.
Surat perintah — prinsip yang tidak dinyatakan yang menghubungkan alasan dengan klaim, dan hal yang sebenarnya menjadi sasaran banyak keberatan.
Rebuttal versus undercut: menyerang sebuah kesimpulan adalah langkah yang berbeda dari menyerang inferensi yang mengarah ke kesimpulan tersebut.
Perlakuan survei terhadap penambangan argumen berbasis hubungan dan praktik evaluasinya.
Pertanyaan yang Sering Diajukan
Mengapa deteksi serangan lebih sulit daripada deteksi dukungan?
Tiga alasan saling berkaitan. Hubungan serangan adalah minoritas kecil dari data yang dianotasi, sehingga model belajar bahwa menebak dukungan biasanya aman. Apakah sesuatu menyerang tergantung pada apa yang dilampirkan padanya daripada bagaimana itu diungkapkan. Dan banyak keberatan menargetkan langkah inferensial yang tidak dinyatakan daripada fakta yang dinyatakan.
Apa itu ketidakseimbangan kelas dalam penambangan argumen?
Dalam korpora yang dianotasi, mayoritas hubungan adalah dukungan daripada serangan — dalam beberapa dataset, serangan kurang dari sepersepuluh dari hubungan yang diberi label. Karena penulis teks persuasif sedang membangun argumen, ini mencerminkan cara orang menulis, sehingga mengumpulkan lebih banyak data justru memperbesar ketidakseimbangan daripada memperbaikinya.
Mengapa analisis sentimen tidak berhasil untuk mendeteksi ketidaksetujuan?
Karena dukungan dan serangan adalah sifat dari suatu hubungan, bukan dari sebuah kalimat. "Tekanan garis waktu menambah risiko" diungkapkan secara negatif dan mendukung klaim bahwa sebuah proyek berisiko. Pindahkan kalimat yang sama di bawah induk yang berbeda dan labelnya akan terbalik. Sentimen membaca kalimat tersebut; jawabannya tidak ada dalam kalimat.
Apa perbedaan antara membantah dan meremehkan?
Membantah mempertentangkan kesimpulan — berargumen bahwa itu salah. Mengurangi menerima bukti dan menyangkal bahwa kesimpulan mengikuti dari situ. "Studi Anda cacat" dan "studi Anda baik-baik saja tetapi tidak menunjukkan itu" adalah langkah yang berbeda, dan menggabungkannya menghilangkan sebagian besar informasi dalam ketidaksepakatan yang nyata.
Seberapa baik sistem sebenarnya mendeteksi hubungan argumen?
Benchmark yang dipublikasikan menunjukkan kesenjangan yang konsisten. Pada korpus esai persuasif, identifikasi komponen mencapai sekitar 73% F1 sementara klasifikasi hubungan berada di dekat 48%. Pada korpus komentar publik CDCP yang lebih berantakan, deteksi hubungan turun menjadi sekitar 34%. Kesenjangan ini telah bertahan melalui perubahan berturut-turut dalam arsitektur model.
Apakah model bahasa yang lebih besar dapat menyelesaikan deteksi serangan?
Mereka memperbaikinya tanpa menutup celah. Tidak ada dari tiga masalah mendasar yang merupakan masalah pengetahuan: ketidakseimbangan mencerminkan bagaimana orang menulis, ketergantungan konteks melekat pada tugas, dan jaminan yang hilang tidak ada dalam teks. Model yang lebih besar yang membaca transkrip yang sama tetap menghadapi ketiga masalah tersebut.
Mengapa kelas langka paling penting?
Karena keputusan bergantung pada keberatan daripada kesepakatan. Tidak ada yang meninjau kembali keputusan untuk mengingat apa yang disepakati semua orang; mereka ingin tahu apa argumen tandingan terkuat dan apakah itu pernah dijawab. Itulah tepatnya kelas sistem yang bias dukungan paling tidak mungkin muncul.
Argumentree Team
Decision Science
The Argumentree team explores the science of better decisions—from ancient philosophy to modern AI.
Tetap tampilkan keberatan
Pohon pro dan kontra mempertahankan keberatan mana yang diajukan terhadap alasan mana — dan mana yang tidak dijawab oleh siapa pun.
Halaman referensi untuk bidang — tugas, sejarah, dan mengapa hubungan adalah bagian yang sulit.
Lengkungan seluruh bidang, dari buku filsafat yang ditolak pada tahun 1958 hingga hari ini.
Memperkuat argumen yang berlawanan sebelum menjawabnya — versi manusia dari menyelesaikan masalah ini.
Jangan kehilangan keberatan terkuat.
Struktur diskusi sehingga argumen yang tidak dijawab tetap terlihat enam bulan kemudian.
Mulai gratis