Argument Mining

How Argumentree Turns a Transcript Into an Argument Tree

AT
Argumentree Team
Decision Science
July 29, 2026
9 min baca
How Argumentree Turns a Transcript Into an Argument Tree

Bagaimana Argumentree Menukar Transkrip Menjadi Pokok Argumen | Argumentree

Argumentree menggunakan perlombongan hujah untuk menukar transkrip atau dokumen tidak terstruktur menjadi pokok hujah pro dan kontra. Pengeluaran ini melakukan empat perkara: ia mencari rentang teks yang mengandungi tuntutan atau alasan, melabelkan apa yang setiap satu, menentukan alasan mana yang berkaitan dengan tuntutan mana, dan memutuskan sama ada setiap pautan menyokong atau menyerang perkara di atasnya. Dua pilihan reka bentuk membentuk output. Pertama, hujah dikelompokkan ke dalam kategori satu perkataan seperti Kos, Risiko, Garis Masa atau Undang-Undang, dan tepat satu hujah bagi setiap kategori dipromosikan untuk menjadi tuntutan utama kategori itu. Kedua, tuntutan utama tidak dipilih berdasarkan skor keyakinan model itu sendiri. Keyakinan mengukur betapa pasti pengeluaran itu, bukan betapa pusatnya hujah itu, dan keyakinan LLM yang diucapkan diketahui tidak dikalibrasi dengan baik. Sebaliknya, tuntutan utama dipilih dari beberapa isyarat sekaligus, yang terkuat adalah pusat — berapa banyak hujah lain yang berkaitan dengannya — dan abstrak, kerana tuntutan utama adalah kedudukan umum sementara bukti sokongannya adalah spesifik. Hujah yang mengandungi peratusan, angka mata wang atau kajian yang dinamakan dianggap sebagai bukti untuk tuntutan dan bukannya tuntutan itu sendiri. Setiap hujah yang diekstrak mesti memetik sumber secara verbatim; apa-apa yang tidak dapat ditemui dalam teks asal akan dibuang sebelum pokok ditunjukkan. Output adalah draf untuk orang membetulkan, mengubah ibu bapa dan menilai, bukan satu keputusan.

Share:
TL;DR

Pengekstrakan adalah separuh yang mudah. Separuh yang sukar adalah struktur — memutuskan apa yang merupakan titik utama, apa yang hanya bukti untuknya, dan apa yang sebenarnya menentangnya.

  • Hujah-hujah dikelompokkan ke dalam kategori satu perkataan — Kos, Risiko, Garis Masa, Undang-undang — dan tepat satu bagi setiap kategori menjadi tuntutan utama kategori tersebut.
  • Tuntutan utama bukanlah yang paling diyakini oleh model. Ukuran keyakinan mengukur kepastian ekstraksi, bukan kepentingan.
  • Tuntutan utama adalah umum; bukti adalah khusus. Sebuah hujah yang membawa peratusan atau kajian yang dinamakan dianggap sebagai sokongan untuk satu tuntutan, bukan tuntutan itu sendiri.
  • Setiap hujah mesti memetik sumber secara tepat. Apa-apa yang tidak dapat dijumpai dalam teks asal akan dibuang sebelum anda melihatnya.
  • Hasilnya adalah draf. Orang ramai membetulkan, mengubah dan menilai ia — mesin membina struktur, kumpulan mengekalkan penilaian.

Jawapan yang paling yakin adalah salah.

Masukkan mesyuarat bajet sembilan puluh minit ke dalam enjin pengekstrakan dan tanyakan kepadanya argumen mana yang paling penting, dan ia sering akan memberikan anda satu statistik. Sesuatu seperti "model kewangan meramalkan pengurangan 20% dalam perbelanjaan operasi" — tepat, berasas baik, dan model itu sangat yakin mengenainya.

Ia juga adalah jawapan yang salah. Ayat itu bukanlah hujah. Ia adalah bukti untuk hujah yang dibuat oleh seseorang empat puluh minit lebih awal dan dinyatakan dengan lebih longgar: kita harus menggabungkan dua pasukan kerana ia akan menjimatkan wang. Ayat yang kabur adalah tuntutan. Ayat yang tepat adalah apa yang menyokongnya.

Perbezaan ini adalah keseluruhan masalah mengubah perbualan menjadi satu struktur, dan adalah berbaloi untuk diingat pada kali seterusnya anda membaca nota mesyuarat anda sendiri. Ayat yang kelihatan paling boleh dipetik biasanya adalah yang melakukan kerja argumen yang paling sedikit.

Apa yang Perlu Diperoleh dengan Betul dalam Pengekstrakan

Penggalian hujah — bidang penyelidikan di sebalik ini, yang dikaji oleh John Lawrence dan Chris Reed pada tahun 2019 — biasanya dibahagikan kepada empat tugas, dan ia menjadi lebih sukar seiring dengan kemajuan.

  • Cari bahagian yang berargumentasi. Kebanyakan ayat dalam mesyuarat sebenar adalah berkaitan logistik, ucapan selamat, atau penyataan semula. Hanya beberapa yang mengandungi tuntutan atau alasan.
  • Label apa setiap bahagian. Tuntutan adalah satu kedudukan. Premis adalah alasan untuknya. Bukti adalah data di sebalik alasan tersebut. Ayat yang sama boleh menjadi tuntutan dalam satu dokumen dan premis dalam dokumen yang lain.
  • Ketahui apa yang memberi respons kepada apa. Sebab terikat kepada tuntutan tertentu; bantahan terikat kepada sebab tertentu. Inilah yang mengubah senarai menjadi pokok.
  • Putuskan sokongan atau serangan. Untuk setiap pautan: adakah ini menguatkan apa yang dilampirkan, atau melemahkannya?

Dua yang pertama telah banyak diselesaikan. Dua yang terakhir tidak, dan penanda aras yang diterbitkan menunjukkan jurang dengan jelas: pada korpus esei persuasif yang dianotasi oleh Christian Stab dan Iryna Gurevych, pengesanan komponen mencapai sekitar 73% F1 manakala pengesanan hubungan berada di sekitar 48%. Pada korpus CDCP yang dibina oleh Joonsuk Park dan Claire Cardie, pengesanan hubungan jatuh kepada kira-kira 34%.

Jadi keputusan reka bentuk yang menarik bukan terletak pada penemuan. Ia terletak pada pengstrukturan — dan di situlah kategori memainkan peranan.

Mengapa Argumen Dikelompokkan ke Dalam Kategori

Perbincangan yang sebenar bukanlah tentang satu perkara. Keputusan untuk menggabungkan dua pasukan adalah serentak tentang kos, tentang semangat, tentang pendedahan undang-undang, dan tentang berapa lama ia mengambil masa. Itu adalah perdebatan yang berbeza yang berlaku di dalam bilik yang sama, dan meratakannya menjadi satu senarai menghasilkan sesuatu yang tidak dapat dibaca oleh sesiapa.

Jadi setiap hujah yang diekstrak ditandakan dengan kategori satu perkataan — Kos, Risiko, Garis Masa, Undang-Undang, Keselamatan, Skop. Satu perkataan, dengan sengaja. Saat kategori menjadi frasa, tema yang sama terpecah menjadi hampir duplikat: Impak Belanjawan dan Pertimbangan Kos dan Risiko Kewangan adalah satu perdebatan yang memakai tiga topi, dan pokok itu terbahagi kepada cabang yang sepatutnya menjadi satu.

Sekatan dikuatkuasakan dan bukannya diminta. Kategori dinormalisasi kepada satu bentuk kanonik tunggal, dan kategori adalah sifat di atas cabang — segala yang di bawah tuntutan utama mewarisi kategori tuntutan utama itu. Argumen kos tidak memperoleh anak dalam kategori Risiko; jika anak itu benar-benar mengenai risiko, ia sepatutnya berada di bawah tuntutan utama Risiko.

Satu Hujah Utama Setiap Kategori

Dalam setiap kategori, tepat satu hujah dipromosikan sebagai tuntutan utama — kedudukan pusat yang disokong atau diserang oleh segala yang lain dalam kategori itu. Segala yang lain dalam kategori itu menjadi anaknya, secara langsung atau tidak langsung.

Ini adalah pilihan yang paling berkesan dalam keseluruhan proses. Jika betul, cabang itu akan dibaca seperti satu hujah: inilah kedudukan mengenai kos, inilah tiga sebab untuknya, inilah bantahan terhadap sebab kedua. Jika salah, anda akan mendapat pembalikan dari bahagian atas artikel ini — satu statistik yang terletak di atas cabang dengan tuntutan yang sepatutnya disokong tergantung di bawahnya seolah-olah ia adalah satu butiran.

Pendekatan yang jelas tidak berfungsi.

Jawapan yang intuitif adalah untuk mempromosikan hujah yang paling diyakini oleh model. Ini gagal, atas sebab yang patut difahami.

Keyakinan mengukur sejauh mana pasti pengambilan itu menemui hujah yang sebenar. Ia tidak mengukur sejauh mana pusatnya hujah itu dalam perdebatan. Statistik yang dinyatakan dengan jelas dengan sumber yang dinamakan adalah pengambilan yang mudah dan mempunyai keyakinan tinggi. Ayat yang samar dan bersifat berhati-hati yang kebetulan merupakan tesis sebenar adalah pengambilan yang sukar dan mempunyai keyakinan rendah. Peringkat mengikut keyakinan secara sistematik mempromosikan bukti dan menurunkan tuntutan.

Terdapat masalah kedua di bawah yang pertama. Kerja oleh Saurav Kadavath dan rakan-rakannya di Anthropic mendapati bahawa keyakinan yang dinyatakan oleh model bahasa lebih baik dikalibrasi berbanding dengan kebarangkalian token mentah — tetapi penilaian seterusnya telah berulang kali menunjukkan bahawa ia masih tidak dikalibrasi dengan baik dalam istilah mutlak. Ia adalah isyarat yang boleh digunakan. Ia bukan penarafan yang boleh dipercayai.

Apa yang Sebenarnya Memilih Tuntutan Utama

Daripada satu isyarat, beberapa isyarat digabungkan — dan yang terkuat adalah struktur dan bukannya linguistik.

  • Sentraliti. Berapa banyak hujah lain yang berkaitan dengan hujah ini? Tuntutan yang menjadi respons kepada segala yang lain hampir selalu merupakan tuntutan pusat. Ini adalah perkara yang paling hampir dengan isyarat yang boleh dipercayai, kerana ia adalah sifat kedudukan hujah dalam perdebatan dan bukannya cara penyampaiannya.
  • Kekaburan. Tuntutan utama adalah umum; bukti adalah khusus. Ini secara langsung merujuk kepada Toulmin: dalam penjelasannya pada tahun 1958, tuntutan adalah kesimpulan dan alasan adalah fakta konkrit di bawahnya.
  • Bahasa argumentatif. Penanda wacana — oleh itu, isu utama adalah, saya akan berpendapat — menandakan bahawa seorang pembicara menyatakan satu pendirian dan bukannya memberikan butiran.
  • Keringkasan. Tuntutan utama cenderung pendek. Ayat yang panjang biasanya mengandungi kelayakan, yang merupakan apa yang dilakukan oleh bahan sokongan.
  • Posisi. Isyarat yang lemah, tetapi nyata: tesis cenderung muncul awal.

Abstrak diukur dengan mencari jejak spesifik. Sebuah peratusan, jumlah mata wang, entiti yang terkuantifikasi, frasa petikan, institusi yang dinamakan — setiap satu menjadikan hujah kurang mungkin menjadi tuntutan utama, kerana setiap satu adalah tanda asas dan bukannya kesimpulan. Kerja jarak jauh meningkatkan produktiviti adalah satu tuntutan. Satu tinjauan ke atas 500 pekerja menunjukkan 78% kepuasan adalah apa yang anda katakan apabila seseorang bertanya kepada anda mengapa.

Menggabungkan beberapa isyarat lemah lebih baik daripada mempercayai satu isyarat yang kelihatan kuat — yang merupakan sebab yang sama mengapa kumpulan dengan perspektif yang pelbagai mengatasi individu yang yakin, satu corak yang diterokai dalam mengapa kepelbagaian mengatasi kebolehan.

Cuba ini pada mesyuarat terakhir anda sendiri.

Ambil keputusan terakhir yang dibuat oleh pasukan anda. Bolehkah anda menyebutkan satu hujah terkuat menentangnya — dan bolehkah anda menyebutkan siapa yang mengemukakannya? Jika anda tidak dapat, itu bukan masalah ingatan. Ia adalah masalah struktur: rekod anda menangkap apa yang diputuskan tetapi tidak apa yang diperdebatkan, yang merupakan jurang yang cuba ditutup oleh ekstraksi.

Tiada apa yang bertahan yang tidak ada dalam sumber.

Satu hujah yang kedengaran munasabah tetapi sebenarnya tidak pernah dibuat adalah lebih teruk daripada yang hilang — ia adalah rekod palsu tentang apa yang dikatakan oleh pasukan anda. Oleh itu, setiap hujah yang diekstrak membawa perkataan yang tepat dari mana ia berasal, dan mana-mana hujah yang bukti yang dipetik tidak dapat ditemui dalam dokumen sumber akan dikeluarkan sebelum pokok ditunjukkan kepada sesiapa.

Ini tidak glamor dan ia adalah bahagian yang menjadikan yang lain boleh digunakan. Sebuah pokok yang tidak dapat anda jejak kembali ke transkrip adalah ringkasan dengan langkah tambahan.

Tapi bukankah ini hanya ringkasan dengan langkah tambahan?

Ia adalah bantahan yang jelas, dan jawapannya terletak pada apa yang setiap orang buang.

Sebuah ringkasan memampatkan. Ia memberitahu anda secara kasar apa yang dibincangkan dalam mesyuarat dan, jika ia baik, apa yang diputuskan. Apa yang tidak dapat dipelihara adalah bentuk perselisihan — bahawa bantahan khusus ini dibangkitkan terhadap alasan khusus itu, bahawa ia dijawab, dan bahawa bantahan kedua tidak pernah dibangkitkan. Ringkasan kehilangan bahagian yang tepat yang penting apabila keputusan ditinjau semula lapan bulan kemudian dan tiada siapa yang dapat mengingati mengapa alternatif yang jelas ditolak.

Perbezaan ini juga memisahkan perlombongan hujah daripada analisis sentimen, yang mengukur sikap dan bukannya penalaran. Sebuah ayat boleh dinyatakan secara negatif sambil menyokong hujah yang dilampirkan — "tekanan garis masa menambah risiko" menguatkan tuntutan bahawa projek itu berisiko. Jika dinilai berdasarkan nada, anda akan mendapatnya terbalik setiap kali.

Outputnya adalah draf, dan itulah intinya.

Apa yang keluar dari pengambilan adalah satu cadangan: inilah apa yang kami fikir telah diperdebatkan, inilah bagaimana kami fikir ia sesuai bersama. Orang kemudian membetulkannya — mengubah semula satu hujah yang terikat kepada tuntutan yang salah, memisahkan satu yang menggabungkan dua titik, mempromosikan sesuatu yang dinilai salah, dan menilai apa yang mereka anggap meyakinkan.

Pembahagian itu adalah sengaja. Membangunkan struktur secara manual adalah kerja yang membosankan yang menghalang pasukan daripada melakukannya sama sekali. Menilai sama ada satu hujah itu baik — sama ada bukti itu kukuh, sama ada andaian yang tidak dinyatakan itu boleh diterima — tidaklah membosankan. Ia adalah pemikiran yang sebenar, dan ia kekal bersama kumpulan.

Apa Maksud Ini Jika Anda Membaca Rekod Mesyuarat Anda Sendiri

  • Baris yang boleh dipetik biasanya bukanlah tuntutan. Ayat yang tepat dan bersumber baik biasanya adalah bukti. Tuntutan yang mereka sokong selalunya lebih kabur dan lebih mudah untuk diabaikan.
  • Hitung apa yang melekat pada apa. Titik yang dijawab oleh semua orang adalah titik yang penting, tanpa mengira siapa yang mengatakannya dengan paling yakin.
  • Namakan kategori-kategori. Jika anda tidak dapat menyatakan tema dua atau tiga yang berkaitan dengan keputusan tersebut, perbincangan itu tidak terstruktur — ia telah ditranskripsikan.
  • Cari bantahan yang tiada siapa menjawab. Ia adalah perkara yang paling berguna dalam sebarang rekod hujah, dan perkara pertama yang dihancurkan oleh ringkasan yang rata.

Ayat yang samar adalah hujahnya.

Statistik itu bukanlah tujuan. Ia adalah jawapan kepada soalan yang diajukan oleh seseorang mengenai satu tuntutan yang telah dibuat — secara longgar, awal, dan dalam jenis ayat yang tidak pernah dimasukkan ke dalam minit.

Menyusun perbincangan bermaksud meletakkan ayat itu kembali di atas cabang di mana ia sepatutnya berada, dengan buktinya di bawahnya dan bantahan-bantahan yang dilampirkan kepada sebab-sebab khusus yang mereka pertikaikan. Itulah tujuan pokok. Dan inilah sebabnya jawapan yang paling yakin sering kali adalah jawapan yang salah.

Siri perlombongan hujah

Pos ini membincangkan bagaimana kami menerapkan perlombongan hujah. Bahagian seterusnya dalam siri ini membincangkan dari mana bidang ini berasal dan mengapa masalah sukar yang dihadapinya adalah sukar.

Soalan Lazim

Bagaimana Argumentree mengubah transkrip menjadi pokok hujah?

Ia menggunakan perlombongan hujah: mencari rentang teks yang mengandungi tuntutan atau alasan, menandakan apa setiap satu, menentukan alasan mana yang berkaitan dengan tuntutan mana, dan memutuskan sama ada setiap pautan menyokong atau menyerang titik di atasnya. Hasilnya adalah pokok pro dan kontra yang kemudian dikaji dan diperbetulkan oleh orang ramai.

Apakah kategori argumen dan mengapa kata tunggal?

Kategori mengelompokkan perbincangan kepada debat yang berasingan — Kos, Risiko, Garis Masa, Undang-Undang. Mereka terhad kepada kata tunggal kerana kategori yang panjang frasa akan terpecah: Impak Belanjawan, Pertimbangan Kos dan Risiko Kewangan adalah satu debat yang memakai tiga topi, dan pokok itu bercabang kepada dahan yang sepatutnya menjadi satu.

Apa maksud satu hujah utama bagi setiap kategori?

Dalam setiap kategori, tepat satu hujah dipromosikan sebagai tuntutan pusat, dan segala yang lain dalam kategori itu dilampirkan di bawahnya. Inilah yang menjadikan cabang itu boleh dibaca sebagai hujah — satu kedudukan, alasan untuknya, dan bantahan terhadap alasan tersebut — bukannya senarai rata ayat-ayat yang berkaitan.

Mengapa hujah utama bukanlah yang mempunyai keyakinan tertinggi?

Kerana keyakinan mengukur sejauh mana pasti pengambilan itu, bukan sejauh mana pusatnya hujah tersebut. Statistik yang dinyatakan dengan jelas adalah pengambilan yang mudah dan mempunyai keyakinan tinggi; ayat yang samar yang merupakan tesis sebenar adalah sukar. Mengutamakan berdasarkan keyakinan secara sistematik mempromosikan bukti dan merendahkan tuntutan.

Bagaimana ini berbeza daripada ringkasan mesyuarat?

Ringkasan memampatkan dan memberitahu anda apa yang telah dibincangkan. Ia tidak dapat mengekalkan bentuk perselisihan — bahawa bantahan ini dibangkitkan terhadap alasan itu, bahawa ia dijawab, dan bahawa yang lain tidak. Ringkasan kehilangan bahagian yang tepat yang penting apabila keputusan ditinjau semula kemudian.

Apa yang menghalang AI daripada mencipta hujah yang tidak pernah dibuat oleh sesiapa?

Setiap hujah yang diekstrak membawa perkataan yang tepat dari mana ia berasal, dan mana-mana hujah yang bukti yang dipetiknya tidak dapat ditemui dalam dokumen sumber akan dikeluarkan sebelum pokok ditunjukkan. Hujah yang kedengarannya munasabah tetapi tidak pernah dibuat adalah lebih teruk daripada yang hilang.

Bolehkah saya mengubah apa yang dihasilkan oleh pengekstrakan?

Ya — itu adalah aliran kerja yang dimaksudkan. Hasilnya adalah draf. Orang-orang mengubah hujah yang dilampirkan kepada tuntutan yang salah, memisahkan titik yang digabungkan, mempromosikan sesuatu yang dinilai salah, dan menilai apa yang mereka anggap meyakinkan. Mesin membina struktur; kumpulan mengekalkan penilaian.

AT

Argumentree Team

Decision Science

The Argumentree team explores the science of better decisions—from ancient philosophy to modern AI.

Ubah mesyuarat anda yang seterusnya menjadi pokok hujah

Strukturkan alasan, bukan hanya rekod — jadi bantahan yang tiada siapa menjawab masih boleh dilihat dalam enam bulan.

Mula percuma

Bacaan berkaitan