Argument Mining

From Toulmin to Transformers: How Argument Mining Became a Technology

AT
Argumentree Team
Decision Science
July 29, 2026
11 min baca
From Toulmin to Transformers: How Argument Mining Became a Technology

Dari Toulmin ke Transformers: Bagaimana Penambangan Argumen Menjadi Teknologi | Argumentree

Penambangan argumen adalah bidang AI yang secara otomatis mengidentifikasi klaim, alasan yang diberikan untuk klaim tersebut, dan apakah setiap alasan mendukung atau menyerang apa yang dilampirkan padanya. Dasar-dasarnya bersifat filosofis daripada komputasional. Pada tahun 1958, Stephen Toulmin menerbitkan The Uses of Argument, yang memisahkan diri dari logika formal dengan menggambarkan bagaimana argumen sehari-hari sebenarnya dibangun — klaim, dasar, jaminan, dukungan, kualifikasi, bantahan. Logikawan formal sebagian besar menolaknya; buku tersebut menemukan audiensnya di kalangan sarjana retorika dan komunikasi, dan kosakatanya masih menjadi kosakata bidang tersebut. Douglas Walton kemudian mengkatalogkan pola berulang dari penalaran sehari-hari sebagai skema argumentasi, masing-masing dengan pertanyaan kritis yang mengungkap di mana ia gagal. James Freeman membedakan antara menyerang kesimpulan dan menyerang inferensi yang mengarah ke kesimpulan tersebut. Penambangan argumen menjadi tugas komputasi yang dapat diukur hanya pada tahun 2010-an, ketika korpus yang dianotasi muncul — esai persuasif Christian Stab dan Iryna Gurevych, mikroteks argumentatif Andreas Peldszus dan Manfred Stede. Model neural mengikuti, dan model bahasa besar menghilangkan kebutuhan akan korpus yang dianotasi secara manual di setiap domain baru. Apa yang tidak berubah adalah bagian mana yang sulit: menemukan klaim sebagian besar telah terpecahkan, dan memutuskan apa yang terlampir pada apa, dan apakah itu mendukung atau menyerang, belum terpecahkan.

Share:
TL;DR

Sebuah buku filsafat yang ditolak oleh para logician pada tahun 1958 ternyata adalah spesifikasi untuk tugas pembelajaran mesin yang tidak akan dicoba oleh siapa pun selama lima puluh tahun ke depan.

  • Model Toulmin 1958 — klaim, dasar, jaminan — ditolak oleh logician formal dan tetap menjadi kosakata kerja dalam penambangan argumen.
  • Walton mengkatalogkan bagaimana orang sebenarnya berargumen, dan melampirkan pertanyaan kritis pada setiap pola yang menunjukkan di mana pola tersebut gagal.
  • Bidang ini menjadi terukur pada tahun 2010-an, ketika korpus yang dianotasi memungkinkan sistem-sistem yang bersaing dibandingkan pada teks yang sama.
  • Model bahasa besar menghilangkan hambatan korpus — Anda tidak lagi memerlukan ribuan contoh yang dianotasi secara manual per domain.
  • Separuh yang sulit tidak pernah bergeser. Menemukan klaim sebagian besar sudah terpecahkan; menentukan apa yang menyerang apa belum.

Buku yang Seharusnya Mengakhiri Karier

Ketika Stephen Toulmin menerbitkan The Uses of Argument pada tahun 1958, sambutan dari para logician profesional sangat negatif. Ia telah menulis sebuah buku tentang penalaran yang menolak untuk membahas logika formal, dan ia diberitahu, pada dasarnya, bahwa ia telah menyimpang dari peta. Toulmin kemudian menceritakan bahwa seorang kolega mulai menyebutnya sebagai buku anti-logikanya.

Itu tidak mengakhiri kariernya. Apa yang terjadi adalah menemukan audiens yang sama sekali berbeda. Departemen retorika dan komunikasi — terutama di Amerika Serikat — mengangkat buku itu dan membangun kurikulum berdasarkan buku tersebut, karena Toulmin telah melakukan sesuatu yang tidak pernah dipedulikan oleh logika formal. Dia telah menggambarkan seperti apa argumen ketika seseorang yang nyata membuatnya.

Enam puluh tahun kemudian, jika Anda meminta sebuah mesin untuk membaca transkrip rapat dan memberi tahu Anda apa yang diperdebatkan, mesin itu akan menggunakan kosakata Toulmin untuk menjawab. Itulah cerita dari seri ini, dan pos ini adalah garis besarnya: bagaimana sebuah buku filsafat yang ditolak oleh para logician menjadi spesifikasi untuk tugas pembelajaran mesin.

Apa yang Sebenarnya Diubah oleh Toulmin

Logika formal berkaitan dengan validitas: mengingat premis-premis ini, apakah kesimpulan ini mengikuti? Ini adalah alat yang sangat baik dan hampir tidak menggambarkan apa pun yang sebenarnya dikatakan orang. Tidak ada yang berargumen dalam silogisme.

Langkah Toulmin adalah mengajukan pertanyaan yang berbeda — bukan apakah ini valid tetapi bagaimana ini dibangun. Dia membagi sebuah argumen nyata menjadi enam bagian, dan tiga di antaranya melakukan pekerjaan berat:

  • Klaim — posisi yang diajukan. Apa yang sebenarnya Anda minta seseorang untuk terima.
  • Dasar — fakta yang diajukan sebagai dukungan. Bukti, data, contoh.
  • Warrant — prinsip yang memberikan izin untuk beralih dari alasan ke klaim. Hampir tidak pernah diungkapkan secara lisan.

Surat perintah adalah yang menarik, dan itu adalah alasan mengapa penambangan argumen sulit daripada membosankan. Jembatan itu tidak memiliki struktur yang kuat, jadi kita harus menutupnya mengandung premis tersembunyi: bahwa struktur yang tidak kuat harus ditutup. Tidak ada yang mengucapkan kalimat itu. Semua orang mengasumsikannya. Sebuah mesin yang membaca teks harus merekonstruksi langkah yang tidak ada dalam teks.

Tiga bagian lainnya — dukungan, kualifikasi, bantahan — menangani penghindaran dan pengecualian. Bersama-sama, mereka menggambarkan sebuah argumen sebagai sebuah struktur daripada sebagai sebuah rantai, dan pandangan struktural itulah yang membuat seluruh hal ini dapat dihitung kemudian.

Walton dan Pertanyaan yang Memecahkan Argumen

Jika Toulmin memberikan anatomi bidang tersebut, Douglas Walton memberikan panduan lapangan. Bekerja melalui tahun 1990-an dan 2000-an, Walton mengkatalogkan pola berulang dari penalaran sehari-hari — ajakan kepada pendapat ahli, argumen dari analogi, argumen dari konsekuensi, argumen dari tanda — sebagai skema argumentasi.

Katalog ini berguna. Apa yang membuatnya kuat adalah bagian kedua: setiap skema dilengkapi dengan pertanyaan kritis, tantangan spesifik yang mengungkap di mana pola tersebut gagal. Untuk menarik pendapat ahli: apakah orang ini benar-benar seorang ahli di bidang ini? Apakah ahli lain setuju? Apakah klaim tersebut konsisten dengan bukti?

Ini adalah hal yang paling berguna dalam seluruh tradisi bagi siapa pun yang duduk dalam sebuah pertemuan, dan tidak memerlukan biaya untuk diterapkan. Ketika seseorang berargumen dari otoritas, Anda tidak perlu tidak setuju dengan kesimpulannya. Anda mengajukan pertanyaan kritis yang diundang oleh pola itu sendiri. Ini tidak agresif; ini adalah apa yang diminta oleh argumen tersebut.

Freeman dan Perbedaan yang Membuatnya Dapat Dihitung

Karya James Freeman pada tahun 1991 tentang makrostruktur argumen menambahkan bagian yang paling penting bagi mesin. Ia menarik garis tegas antara dua hal yang sering disebut orang sebagai ketidaksetujuan.

Anda dapat menyerang sebuah kesimpulan — berargumen bahwa itu salah. Atau Anda dapat menyerang inferensi — menerima setiap fakta yang ditawarkan dan membantah bahwa kesimpulan mengikuti dari fakta-fakta tersebut. Studi Anda cacat dan studi Anda baik-baik saja tetapi tidak menunjukkan apa yang Anda pikirkan adalah langkah yang sama sekali berbeda, dan memperlakukannya sebagai satu kehilangan sebagian besar informasi dalam ketidaksepakatan yang nyata.

Freeman juga memisahkan premis yang hanya bekerja sama dari premis yang masing-masing berdiri sendiri — perbedaan antara argumen yang runtuh jika Anda menghapus satu kaki dan yang hanya menjadi lebih lemah. Setelah Anda memiliki perbedaan tersebut, sebuah argumen tidak lagi berupa prosa. Itu adalah grafik berlabel, dan grafik berlabel adalah sesuatu yang dapat dinilai oleh komputer.

Kemudian Tidak Ada yang Terjadi Selama Dua Puluh Tahun

Teorinya sudah ada pada awal 1990-an. Bidang komputasi baru muncul pada 2010-an, dan alasannya tidak menarik: tidak ada yang bisa diukur.

Sebuah bidang penelitian menjadi bidang penelitian ketika pendekatan yang bersaing dapat dibandingkan pada data yang sama. Itu memerlukan seseorang untuk duduk dengan ribuan dokumen dan menandai, secara manual, mana yang merupakan klaim, mana yang merupakan premis, dan mana yang mendukung atau menyerang yang mana. Christian Stab dan Iryna Gurevych melakukannya untuk esai persuasif. Andreas Peldszus dan Manfred Stede membangun korpus teks argumentatif pendek khusus untuk mempelajari struktur.

Pekerjaan itu dibahas dengan baik di pos berikutnya dalam seri ini. Yang penting di sini adalah bentuk yang terungkap. Setelah Anda dapat menilai sistem, Anda dapat melihat bagian mana yang sulit — dan jawabannya langsung dan tidak pernah benar-benar berubah.

Pertanyaan yang harus diajukan dalam pertemuan Anda berikutnya

Ketika seseorang selanjutnya berargumen dari otoritas — seorang konsultan, sebuah tolok ukur, sebuah studi yang disebutkan — jangan tantang kesimpulannya. Tanyakan pertanyaan Walton sebagai gantinya: apakah ini seorang ahli dalam hal spesifik ini, dan apakah ahli lain setuju? Perhatikan betapa seringnya tidak ada yang memeriksa.

Menemukan Klaim Itu Mudah. Segala Sesuatu Setelah Itu Tidak.

Benchmark yang dipublikasikan menceritakan kisah yang konsisten. Pada korpus esai persuasif, mengidentifikasi dan memberi label pada komponen argumen mencapai sekitar 73% F1. Memutuskan bagaimana komponen tersebut saling berhubungan — apa yang terhubung dengan apa, dan apakah itu mendukung atau menyerang — berada di sekitar 48%. Pada korpus CDCP dari data komentar publik yang dibangun oleh Joonsuk Park dan Claire Cardie, deteksi hubungan turun menjadi sekitar 34%.

Kesenjangan itu adalah bidang. Itu bukan artefak dari model yang lemah, dan itu telah bertahan dari setiap perubahan arsitektur sejak saat itu. Deteksi meningkat secara bertahap. Hubungan hampir tidak bergerak.

Alasannya bersifat struktural daripada teknis, dan ini adalah subjek dari pos ketiga dalam seri ini: ketidaksepakatan jarang terjadi dalam data, tergantung pada konteks yang tidak terkandung dalam kalimat, dan langkah penghubung biasanya tidak dinyatakan — jaminan Toulmin, yang masih hilang, enam puluh tahun kemudian.

Tapi bukankah ini hanya Pemrosesan Bahasa Alami?

Ini menggunakan mesin yang sama, jadi keberatan itu adil. Perbedaannya terletak pada apa yang sedang dipulihkan.

Analisis sentimen menanyakan bagaimana perasaan sebuah teks. Ringkasan menanyakan apa yang dikatakannya. Pengenalan entitas bernama menanyakan siapa dan apa yang muncul di dalamnya. Ketiga hal ini berkaitan dengan konten. Penambangan argumen menanyakan tentang struktur — kalimat mana yang melakukan pekerjaan argumentatif pada kalimat mana, dan ke arah mana.

Perbedaan itu memiliki keunggulan praktis. Sebuah kalimat dapat dirumuskan secara negatif sambil mendukung klaim yang dilampirkan padanya: tekanan waktu menambah risiko memperkuat argumen bahwa proyek tersebut berisiko. Setiap sistem yang menilai berdasarkan nada selalu salah memahami hal itu. Argumen informasi yang diperoleh dari penambangan tidak terletak pada kata-katanya. Itu terletak pada hubungan antara kata-kata tersebut.

Apa yang Diubah oleh Model Besar, dan Apa yang Tidak Mereka Ubah

Bab terbaru adalah yang diketahui semua orang. Model bahasa umum dapat melakukan tugas penambangan argumen tanpa dilatih pada korpus yang dianotasi terlebih dahulu, yang menghilangkan hambatan praktis terbesar yang pernah ada di bidang ini: kebutuhan akan ribuan contoh yang dilabeli tangan untuk setiap domain baru.

Itu adalah suatu diskontinuitas yang nyata, dan itulah yang membuat penambangan argumen dapat digunakan pada teks bisnis biasa daripada hanya pada korpus esai yang dikurasi. Ini dibahas di pos keempat.

Apa yang tidak dilakukannya adalah menutup celah. Masalah struktural masih tetap struktural. Sebuah model yang telah membaca seluruh internet masih harus memutuskan apakah keberatan ini ditujukan pada alasan itu atau pada kesimpulan di baliknya, dan teks tersebut masih tidak menyebutkan.

Apa yang Enam Puluh Tahun Ini Sarankan Tentang Argumen Anda Sendiri

  • Surat perintah adalah tempat di mana ketidaksepakatan biasanya terjadi. Dua orang yang setuju pada setiap fakta dan masih tidak setuju sedang memperdebatkan prinsip yang tidak dinyatakan. Sebutkan dan percakapan menjadi lebih singkat.
  • Menyerang inferensi tidak sama dengan menyerang fakta. Memutuskan mana yang Anda lakukan — dengan suara keras — menyelamatkan orang lain dari membela hal yang salah.
  • Setiap permohonan kepada otoritas datang dengan pertanyaan ujiannya sendiri. Walton menuliskannya. Menggunakannya bukanlah permusuhan; itu adalah pola yang berfungsi seperti yang diinginkan.
  • Struktur adalah apa yang bertahan. Enam bulan kemudian tidak ada yang ingat kata-katanya. Apa yang mereka butuhkan adalah keberatan apa yang diajukan dan apakah ada yang menjawabnya.

Buku Anti-Logika

Kritikus Toulmin benar tentang satu hal: The Uses of Argument memang bukan buku tentang logika formal. Ini adalah buku tentang bagaimana orang beralasan ketika taruhannya nyata dan premisnya dapat diperdebatkan dan tidak ada waktu untuk sebuah silogisme.

Itu ternyata menjadi masalah yang lebih sulit dan lebih berguna. Setiap sistem yang membaca transkrip hari ini dan memberi tahu Anda apa yang diklaim, atas dasar apa, dan apa yang diperdebatkan menentangnya bekerja berdasarkan deskripsinya. Tidak buruk untuk sebuah buku anti-logika.

Seri penambangan argumen

Lima pos tentang bagaimana mesin belajar membaca argumen — dari mana bidang ini berasal, mengapa masalah sulitnya sulit, dan bagaimana kami menerapkannya.

Pertanyaan yang Sering Diajukan

Apa itu penambangan argumen?

Argument mining adalah cabang AI yang secara otomatis mengidentifikasi struktur argumentatif di dalam teks biasa: kalimat mana yang membuat klaim, mana yang memberikan alasan, dan apakah setiap alasan mendukung atau menyerang klaim yang terlampir. Hasilnya adalah peta terstruktur daripada ringkasan.

Siapa yang mendirikan penambangan argumen?

Tidak ada pendiri tunggal. Dasar teori adalah model struktur argumen Stephen Toulmin dari tahun 1958, yang diperluas oleh skema argumentasi Douglas Walton dan penjelasan struktur makro argumen oleh James Freeman. Bidang komputasi mulai terbentuk pada tahun 2010-an setelah korpus yang dianotasi membuatnya dapat diukur.

Mengapa buku Toulmin kontroversial?

Karena itu adalah buku tentang penalaran yang menolak untuk menjadi tentang logika formal. Toulmin berpendapat bahwa validitas adalah pertanyaan yang salah untuk argumen sehari-hari, dan sebaliknya menggambarkan struktur. Logikawan profesional sebagian besar menolaknya; para sarjana retorika dan komunikasi mengadopsinya dan membangun kurikulum berdasarkan itu.

Apa itu jaminan dalam model Toulmin?

Warrant adalah prinsip yang memberikan izin untuk berpindah dari dasar Anda ke klaim Anda. Dalam "jembatan tidak aman, jadi kita harus menutupnya", warrant adalah bahwa struktur yang tidak aman harus ditutup. Warrant hampir tidak pernah dinyatakan secara lisan, itulah sebabnya mengapa mengekstrak argumen secara otomatis menjadi sulit.

Apa saja skema argumen Walton?

Pola berulang dari penalaran sehari-hari — mengacu pada pendapat ahli, argumen dari analogi, argumen dari konsekuensi — masing-masing dipasangkan dengan pertanyaan kritis yang mengungkap di mana pola tersebut gagal. Pertanyaan kritis adalah setengah yang praktis berguna: mereka memberi Anda cara untuk menguji sebuah argumen tanpa sekadar menolak kesimpulannya.

Mengapa deteksi hubungan lebih sulit daripada menemukan klaim?

Karena hubungan bergantung pada konteks yang tidak terdapat dalam kalimat, langkah penghubung biasanya tidak dinyatakan, dan ketidaksepakatan jarang terjadi dalam data yang dianotasi. Tolok ukur yang dipublikasikan menunjukkan deteksi komponen sekitar 73% F1 dibandingkan dengan deteksi hubungan yang mendekati 48% pada korpus yang sama, dan sekitar 34% pada yang lebih sulit.

Apakah model bahasa besar telah memecahkan masalah penambangan argumen?

Mereka menghapus hambatan praktis terbesar — kebutuhan akan korpus yang dianotasi tangan di setiap domain baru — yang membuat teknologi ini dapat digunakan pada teks bisnis biasa. Mereka tidak menutup kesenjangan struktural. Memutuskan apa yang terhubung dengan apa, dan dalam arah mana, tetap menjadi bagian yang sulit.

AT

Argumentree Team

Decision Science

The Argumentree team explores the science of better decisions—from ancient philosophy to modern AI.

Ubah diskusi menjadi pohon argumen

Enam puluh tahun teori argumentasi, diterapkan pada transkrip pertemuan Anda berikutnya.

Mulai gratis

Bacaan terkait