Mengajar Mesin Membaca Hujah: Dekad Korpus Beranotasi | Argumentree
Penambangan hujah wujud sebagai teori selama beberapa dekad sebelum ia menjadi tugas pengiraan yang boleh diukur. Apa yang mengubahnya adalah anotasi: orang duduk dengan ribuan dokumen dan menandakan, secara manual, span mana yang merupakan tuntutan, mana yang merupakan premis, dan mana yang menyokong atau menyerang yang mana. Christian Stab dan Iryna Gurevych menganotasi esei persuasif dengan cara ini, menghasilkan korpus yang biasanya dipanggil AAEC. Andreas Peldszus dan Manfred Stede membina korpus mikroteks argumen pendek khusus untuk mengkaji struktur argumen. Joonsuk Park dan Claire Cardie menganotasi komen awam yang dihantar kepada peraturan AS, satu genre yang jauh lebih rumit. Kesukaran bukan hanya pada usaha pelabelan — ia adalah bahawa anotator manusia tidak bersetuju tentang apa itu argumen, dan tugas yang tidak dapat dipersetujui oleh manusia tidak dapat dinilai dengan tepat. Oleh itu, persetujuan antara anotator menjadi penjaga pintu bagi seluruh bidang: ia menentukan siling praktikal pada prestasi mesin, kerana model tidak boleh diukur sebagai lebih konsisten daripada anotasi yang dinilai. Korpus juga mendedahkan asimetri tetap dalam bidang ini — mengenal pasti komponen argumen terbukti dapat dilaksanakan, sementara mengenal pasti hubungan antara mereka tidak.
Anda tidak boleh mengajar mesin untuk mencari hujah sehingga manusia dapat bersetuju tentang apa itu. Itu ternyata menjadi bahagian yang sukar, dan ia membentuk segala-galanya yang diukur oleh bidang tersebut selepas itu.
- Penggalian hujah menjadi bidang yang sebenar hanya apabila orang mengannotasi secara manual ribuan dokumen — tuntutan, premis, dan pautan antara mereka.
- Pengannotasi tidak sependapat, terutamanya mengenai hubungan. Persetujuan antara pengannotasi menjadi penjaga pintu, kerana ia mengehadkan seberapa baik mana-mana model dapat dinilai.
- Tiga korpus membentuk dekad: esei persuasif, mikroteks argumentatif, dan komen peraturan awam — dari bersih ke kotor.
- Setiap korpus adalah satu genre. Model yang dilatih menggunakan esei pelajar tidak boleh dipindahkan ke transkrip mesyuarat, dan untuk waktu yang lama tiada siapa yang mempunyai korpus transkrip mesyuarat.
- Korpus mendedahkan asimetri tetap: mencari komponen adalah mudah, mencari hubungan adalah tidak.
Dua Pakar, Satu Perenggan, Dua Jawapan Berbeza
Berikan dua penilai terlatih perenggan yang sama dari esei pelajar dan ajukan soalan mudah: ayat manakah yang merupakan tuntutan, dan ayat manakah yang merupakan alasan untuknya? Mereka sering tidak bersetuju. Bukan tentang topik, bukan tentang sama ada hujah itu baik — tetapi tentang di mana ia berada.
Ini adalah fakta yang membentuk dekad pertama perlombongan hujah komputasi, dan ia mudah untuk dipandang rendah. Segala-galanya yang seterusnya bergantung padanya: anda tidak boleh membina penanda aras untuk tugas yang orang tidak dapat lakukan secara konsisten, dan anda tidak boleh mendakwa model mengatasi prestasi manusia dalam penilaian yang tidak dikongsi oleh manusia.
Cuba sendiri pada thread emel terakhir yang anda berdebat. Menandakan tuntutan biasanya mudah. Menandakan ayat mana yang ditujukan kepada setiap bantahan adalah di mana anda akan mula ragu — dan keraguan itu adalah keseluruhan cerita dekad ini.
Mengapa Teori Itu Tidak Digunakan Selama Dua Puluh Tahun
Menjelang awal 1990-an, peralatan teori telah lengkap. Toulmin telah memberikan bidang ini anatominya, Walton katalog corak penalaran, Freeman perbezaan antara menyerang kesimpulan dan menyerang inferens kepada kesimpulan tersebut. Seperti yang kami bincangkan dalam pos pertama dalam siri ini, satu hujah telah diterangkan semula sebagai graf berlabel.
Graf yang dilabel adalah sesuatu yang boleh dinilai oleh komputer — secara prinsip. Dalam amalan, anda memerlukan sesuatu untuk dinilai. Tanpa data yang dianotasi, dua kumpulan penyelidikan yang mendakwa hasil yang berbeza tidak mempunyai cara untuk menyelesaikannya, dan satu bidang di mana hasil tidak dapat dibandingkan bukanlah satu bidang. Ia adalah koleksi demo.
Jadi dekad yang mengubah perlombongan hujah menjadi satu disiplin bukanlah dekad algoritma. Ia adalah dekad garis panduan anotasi.
Tiga Korpora yang Mendefinisikan Tugas
Kumpulan penyelidikan yang berbeza memberi anotasi kepada genre yang berbeza, dan pilihan genre itu lebih penting daripada yang dijangkakan oleh sesiapa pada awalnya.
- Karangan persuasif (Stab & Gurevych). Karangan argumen pelajar, yang ditandakan untuk tuntutan, premis dan hubungan sokongan/serangan antara mereka. Penulisan terstruktur oleh orang yang secara jelas berusaha untuk berhujah dengan jelas — sebaik mungkin bagi teks.
- Microteks argumentatif (Peldszus & Stede). Teks pendek yang dikawal dibina khusus untuk mengkaji struktur argumen, setiap satu adalah argumen padat dengan bentuk yang disengajakan. Kecil, bersih, dan direka supaya soalan struktur mempunyai jawapan.
- Komen peraturan awam (Park & Cardie). Komen yang dihantar oleh orang awam kepada konsultasi regulatori AS. Nyata, tidak disunting, sering meleret — jauh lebih dekat dengan teks yang sebenarnya dimiliki oleh organisasi.
Perkembangan dari bersih ke kotor adalah perkara berguna untuk diperhatikan. Prestasi menurun apabila anda bergerak ke bawah senarai, dan ia menurun paling banyak pada hubungan. Esei adalah kes yang mesra, dan walaupun di sana, angka hubungan adalah sederhana.
Perjanjian Antara Penanda Adalah Siling Sebenar
Laporan projek anotasi menunjukkan seberapa kerap anotator bebas bersetuju, dan dalam perlombongan hujah, angka itu bukanlah nota kaki. Ia adalah siling.
Jika dua manusia terlatih yang mengikuti garis panduan yang sama hanya bersetuju secara sederhana tentang premis mana yang berkaitan dengan tuntutan mana, maka model yang dinilai terhadap salah satu daripada mereka tidak dapat secara bermakna digambarkan sebagai mengalahkan yang lain. Pengukuran itu sendiri menjadi tidak stabil sebelum model itu.
Perjanjian secara konsisten lebih tinggi pada komponen berbanding pada hubungan — orang kebanyakannya bersetuju tentang ayat mana yang merupakan satu tuntutan, dan berbeza pendapat tentang apa yang dijawabnya. Asimetri tunggal itu meramalkan segala-galanya yang akan ditunjukkan oleh penanda aras kemudian.
Jalankan ujian anotasi pada pasukan anda sendiri
Ambil utas emel keputusan dan minta dua rakan sekerja, secara berasingan, untuk menandakan bantahan yang paling kuat dan menyatakan sebab spesifik yang ditujukan. Jika mereka memilih sasaran yang berbeza, ketidaksetujuan anda tidak pernah tentang fakta — dan tiada alat ringkasan yang akan menonjolkan itu, kerana ringkasan merekodkan apa yang telah dikatakan dan bukannya apa yang ditujukan.
Garis Panduan Adalah Teori, Dijalankan Secara Operasi
Garis panduan anotasi kedengaran seperti kerja pejabat. Ia lebih dekat dengan spesifikasi. Setiap ketidakjelasan yang ditinggalkan oleh teori perlu diselesaikan sebelum anotator boleh memulakan, dan setiap penyelesaian adalah satu komitmen yang sebenar.
Adakah soalan retorik satu tuntutan? Adakah penyataan semula dalam kesimpulan dianggap sebagai komponen baru atau yang sama? Apabila satu ayat menyokong dua tuntutan sekaligus, adakah ia terikat kepada kedua-duanya, atau kepada yang lebih dekat, atau kepada yang lebih umum? Jika seseorang mengakui satu perkara sebelum menolaknya, adakah pengakuan itu satu serangan terhadap kedudukan mereka sendiri?
Tiada jawapan yang jelas untuk semua ini, dan setiap korpus menjawabnya dengan sedikit berbeza. Itulah sebabnya model tidak dipindahkan dengan baik antara korpus: mereka sebahagiannya mempelajari satu genre, dan sebahagiannya mempelajari jawapan satu pasukan kepada soalan-soalan tersebut.
Tapi tidak bolehkah anda hanya menandakan lebih banyak data?
Ia adalah respons semula jadi, dan untuk pengesanan komponen ia berfungsi dengan baik secara amnya. Lebih banyak rentang yang dianotasi menghasilkan pengesanan rentang yang lebih baik. Bahagian bidang itu meningkat dengan stabil dan boleh diramal.
Untuk hubungan, ia tidak, dan alasannya adalah struktur dan bukannya isu jumlah. Hubungan bergantung pada konteks di luar ayat — yang mahal untuk dianotasi secara konsisten. Hubungan ketidaksetujuan adalah jarang, jadi pengukuran korpus meningkatkan ketidakseimbangan bersamanya. Dan langkah penghubung sering tidak dinyatakan, jadi penanda tidak menandakan sesuatu yang jelas dalam teks; mereka menandakan pembinaan semula mereka terhadapnya.
Lebih banyak data menggandakan ketiga-tiga masalah tersebut daripada menyelesaikannya. Hujah itu adalah subjek pos seterusnya.
Apa yang Ditinggalkan oleh Dekad
Dua perkara, kedua-duanya masih menyokong beban.
Yang pertama adalah definisi tugas itu sendiri. Pembahagian empat bahagian yang kini dibuka oleh setiap kertas perlombongan hujah — mencari komponen, menandakannya, menghubungkannya, mengklasifikasikan pautan — adalah hasil daripada projek anotasi ini, bukan daripada falsafah. Toulmin tidak pernah mencadangkan satu saluran.
Yang kedua adalah set penanda aras. Apabila sistem moden melaporkan suatu nombor, ia biasanya melaporkannya berdasarkan esei atau mikroteks yang dianotasi dalam dekad ini. Itu patut diingat ketika membandingkan angka antara kertas: nama metrik yang sama pada dua korpus yang berbeza bukanlah ukuran yang sama, dan banyak perbandingan yang diterbitkan dengan senyap mengabaikan hal itu.
Apa Ini Bermakna Di Luar Makmal
- Jika manusia tidak dapat bersetuju di mana hujahnya, tiada alat yang akan memberikan anda kepastian. Anggap struktur yang diekstrak sebagai draf untuk diperbetulkan, bukan sebagai keputusan untuk diterima.
- Genre lebih penting daripada jumlah. Sebuah sistem yang disesuaikan untuk esei yang teratur menghadapi masalah yang sangat berbeza dalam transkrip mesyuarat yang penuh dengan gangguan dan pemikiran yang separuh siap.
- Perbezaan pendapat tentang sasaran adalah isyarat sebenar. Apabila dua orang berfikir bahawa bantahan ditujukan kepada perkara yang berbeza, jurang itu biasanya adalah tempat di mana keputusan sebenarnya terhenti.
- Bandingkan nombor penanda aras hanya dalam korpus. Metik yang sama pada set data yang berbeza adalah ukuran yang berbeza, walaupun labelnya kelihatan serupa.
Di mana Argumen Itu Berada
Dekad anotasi adalah bahagian yang paling tidak glamor dalam cerita ini dan bahagian yang menjadi asas kepada segala yang lain. Tiada model, walau sebesar mana sekalipun, dapat mengelak daripada hakikat bahawa papan skor itu dibina oleh orang-orang yang kadang-kadang tidak bersetuju antara satu sama lain tentang di mana letaknya satu hujah.
Ini adalah perkara berguna untuk dibawa ke dalam mesyuarat anda sendiri. Jika mencari hujah adalah sukar bagi dua pengannotasi terlatih dengan panduan bertulis, fakta bahawa pasukan anda terus merundingkan semula keputusan bukanlah masalah disiplin. Ia adalah masalah yang sama, tanpa panduan.
Siri perlombongan hujah
Lima pos tentang bagaimana mesin belajar untuk membaca hujah — dari mana bidang ini berasal, mengapa masalah sukar adalah sukar, dan bagaimana kami mengaplikasikannya.
Bagaimana sebuah buku falsafah tahun 1958 yang ditolak oleh ahli logik menjadi spesifikasi untuk tugas pembelajaran mesin.
Ketidaksetujuan adalah jarang dalam data dan bergantung kepada konteks yang tidak terkandung dalam ayat.
Model zero-shot menghapuskan halangan korpus dan meninggalkan masalah struktur tepat di tempatnya.
Mengaplikasikannya: kategori argumen, satu tuntutan utama bagi setiap kategori, dan mengapa keyakinan adalah isyarat peringkat yang salah.
Sumber & Bacaan Lanjut
Projek anotasi esei persuasif dan garis panduannya — korpus yang menjadikan tugas itu boleh diukur.
Rawatan penguraian penuh bagi korpus yang sama, dengan hasil komponen dan hubungan biasanya dipetik daripadanya.
Mengoperasikan model Freeman untuk perlombongan hujah automatik — jambatan dari teori ke skema anotasi.
Korpus CDCP bagi komen peraturan awam — nyata, bercampur, dan jauh lebih sukar daripada esei.
Tinjauan yang menggabungkan dekad — definisi tugas, korpora dan amalan penilaian.
Soalan Lazim
Apakah itu korpus perlombongan hujah?
Satu koleksi dokumen di mana orang telah menandakan secara manual struktur argumen: yang mana rentang adalah tuntutan, yang mana adalah premis, dan premis mana yang menyokong atau menyerang tuntutan mana. Ia adalah apa yang membolehkan sistem yang bersaing dibandingkan pada data yang sama, yang menjadikan idea itu sebagai bidang penyelidikan.
Apakah korpus AAEC?
Korpus Ese-Ese Terannotasi Argumen, dibina oleh Christian Stab dan Iryna Gurevych daripada ese-ese persuasif pelajar. Ia menganotasi komponen argumen dan hubungan antara mereka, dan kekal sebagai salah satu penanda aras standard untuk perlombongan argumen.
Mengapa persetujuan antara pengannotasi sangat penting?
Kerana ia menetapkan siling pada pengukuran. Jika dua manusia terlatih yang mengikuti garis panduan yang sama tidak bersetuju tentang premis mana yang berkaitan dengan tuntutan mana, model yang dinilai terhadap salah satu daripada mereka tidak dapat ditunjukkan dengan bermakna untuk mengalahkan yang lain. Penilaian menjadi tidak stabil sebelum model itu.
Mengapa model yang dilatih pada satu korpus berprestasi lebih buruk pada korpus yang lain?
Kerana setiap korpus adalah satu genre ditambah dengan satu set keputusan panduan. Karangan pelajar adalah terstruktur dan sengaja; komen awam merapu. Sebuah model sebahagiannya mempelajari genre dan sebahagiannya mempelajari jawapan satu pasukan anotasi kepada kes-kes yang tidak jelas, dan kedua-duanya tidak dipindahkan dengan lancar.
Bolehkah anda hanya menandakan lebih banyak data untuk memperbaiki pengesanan hubungan?
Ia membantu pengesanan komponen dengan ketara dan pengesanan hubungan dengan lebih sedikit. Hubungan bergantung pada konteks di luar ayat, hubungan ketidaksetujuan adalah jarang jadi penskalaan korpus juga meningkatkan ketidakseimbangan, dan langkah penghubung sering tidak dinyatakan — jadi penanda adalah menandakan satu pembinaan semula dan bukannya sesuatu yang dapat dilihat.
Korpus manakah yang digunakan sebagai penanda aras hari ini?
Esei persuasif dan mikroteks argumentatif kekal sebagai yang paling biasa, dengan korpus komen awam digunakan untuk penilaian yang lebih sukar dan rumit. Oleh kerana setiap satu menggunakan keputusan anotasi yang berbeza, nama metrik yang sama di dua korpus bukanlah ukuran yang sama — sumber perbandingan yang mengelirukan yang kerap berlaku.
Argumentree Team
Decision Science
The Argumentree team explores the science of better decisions—from ancient philosophy to modern AI.
Lepaskan langkah anotasi
Tampal transkrip dan dapatkan pokok pro dan kontra yang terstruktur yang boleh anda betulkan — drafnya adalah automatik, penilaian tetap milik anda.
Halaman rujukan untuk bidang — tugas, sejarah, dan mengapa hubungan adalah bahagian yang sukar.
Lukisan keseluruhan bidang, dari buku falsafah 1958 yang ditolak hingga hari ini.
Apa yang ditunjukkan oleh korpora tentang ketidaksetujuan, dan mengapa lebih banyak data tidak menyelesaikannya.
Tukar perbincangan menjadi pokok hujah
Penyusunan pemikiran daripada transkrip anda sendiri — tiada garis panduan anotasi diperlukan.
Mula percuma