Come Argumentree Trasforma un Trascrizione in un Albero degli Argomenti | Argumentree
Argumentree utilizza l'argomentazione per convertire una trascrizione o un documento non strutturato in un albero di argomenti pro e contro. L'estrazione fa quattro cose: trova i segmenti di testo che contengono affermazioni o motivi, etichetta ciascuno di essi, determina quale motivo si collega a quale affermazione e decide se ciascun collegamento supporta o attacca l'elemento sopra di esso. Due scelte di design plasmano l'output. Innanzitutto, gli argomenti sono raggruppati in categorie di una sola parola come Costo, Rischio, Tempistiche o Legale, e esattamente un argomento per categoria è promosso a essere l'affermazione principale di quella categoria. In secondo luogo, l'affermazione principale non è scelta dal punteggio di fiducia del modello. La fiducia misura quanto fosse certa l'estrazione, non quanto sia centrale l'argomento, e la fiducia verbalizzata dei LLM è nota per essere mal calibrata. Invece, l'affermazione principale è selezionata da diversi segnali contemporaneamente, il più forte dei quali è la centralità — quanti altri argomenti si collegano ad essa — e l'astrattezza, poiché un'affermazione principale è una posizione generale mentre le prove a sostegno sono specifiche. Un argomento contenente una percentuale, un importo in valuta o uno studio nominato è trattato come prova per un'affermazione piuttosto che l'affermazione stessa. Ogni argomento estratto deve citare la fonte parola per parola; qualsiasi cosa che non può essere localizzata nel testo originale viene scartata prima che l'albero venga mostrato. L'output è una bozza per le persone da correggere, riorganizzare e valutare, non un verdetto.
L'estrazione è la parte facile. La parte difficile è la struttura: decidere qual è il punto principale, cosa è solo una prova a favore e cosa argomenta effettivamente contro di esso.
- Gli argomenti sono raggruppati in categorie di una sola parola — Costo, Rischio, Tempistiche, Legale — e esattamente uno per categoria diventa la principale affermazione di quella categoria.
- La principale affermazione non è quella su cui il modello era più sicuro. Le misure di confidenza estraggono la certezza, non l'importanza.
- Le affermazioni principali sono generali; le prove sono specifiche. Un argomento che presenta una percentuale o uno studio nominato è considerato come supporto per un'affermazione, non l'affermazione stessa.
- Ogni argomento deve citare la fonte parola per parola. Qualsiasi cosa che non può essere trovata nel testo originale viene scartata prima che tu la veda.
- Il risultato è una bozza. Le persone la correggono, la riorganizzano e la valutano — la macchina costruisce la struttura, il gruppo mantiene il giudizio.
La risposta più sicura era quella sbagliata
Inserisci una riunione di bilancio di novanta minuti in un motore di estrazione e chiedigli quale argomento fosse il più importante, e spesso ti fornirà una statistica. Qualcosa come "il modello finanziario prevede una riduzione del 20% della spesa operativa" — preciso, ben documentato, e il modello ne è molto sicuro.
È anche la risposta sbagliata. Quella frase non è l'argomento. È l'evidenza per un argomento che qualcuno ha fatto quaranta minuti prima e formulato in modo molto più vago: dovremmo consolidare i due team perché ci farà risparmiare denaro. La frase vaga è l'affermazione. Quella precisa è ciò che la sostiene.
Questa distinzione è l'intero problema di trasformare una conversazione in una struttura, ed è utile tenerla a mente la prossima volta che leggi i tuoi appunti di riunione. Le frasi che sembrano più citabili sono di solito quelle che fanno il minor lavoro argomentativo.
Cosa deve fare bene l'estrazione
L'argomentazione automatica — il campo di ricerca dietro a questo, esaminato da John Lawrence e Chris Reed nel 2019 — è solitamente suddiviso in quattro compiti, e diventano più difficili man mano che si procede.
- Trova le parti argomentative. La maggior parte delle frasi in una riunione reale sono logistiche, saluti o riformulazioni. Solo alcune contengono un'affermazione o una motivazione.
- Etichetta cosa rappresenta ciascuna parte. Un'affermazione è una posizione. Una premessa è una ragione per essa. Le prove sono i dati a sostegno della ragione. La stessa frase può essere un'affermazione in un documento e una premessa in un altro.
- Scopri cosa risponde a cosa. Una ragione si attacca a un'affermazione specifica; un'obiezione si attacca a una ragione specifica. Questo è ciò che trasforma un elenco in un albero.
- Decidi se supportare o attaccare. Per ogni collegamento: questo rafforza ciò a cui è attaccato o lo indebolisce?
I primi due sono per lo più risolti. Gli ultimi due non lo sono, e i benchmark pubblicati mostrano chiaramente il divario: nel corpus degli saggi persuasivi annotato da Christian Stab e Iryna Gurevych, il rilevamento dei componenti raggiunge circa il 73% di F1, mentre il rilevamento delle relazioni si attesta intorno al 48%. Nel corpus CDCP costruito da Joonsuk Park e Claire Cardie, il rilevamento delle relazioni scende a circa il 34%.
Quindi le decisioni di design interessanti non si trovano nella scoperta. Sono nella strutturazione — ed è lì che entrano in gioco le categorie.
Perché gli argomenti vengono suddivisi in categorie
Una vera discussione non riguarda una sola cosa. Una decisione di consolidare due team riguarda simultaneamente i costi, il morale, l'esposizione legale e il tempo necessario. Questi sono dibattiti diversi che avvengono nella stessa stanza, e appiattirli in un'unica lista produce qualcosa che nessuno può leggere.
Quindi ogni argomento estratto è contrassegnato con una categoria di una sola parola — Costo, Rischio, Tempistiche, Legale, Sicurezza, Ambito. Una sola parola, deliberatamente. Nel momento in cui le categorie diventano frasi, lo stesso tema si frammenta in quasi duplicati: Impatto sul Budget e Considerazioni sui Costi e Rischio Finanziario sono un dibattito che indossa tre cappelli, e l'albero si divide in rami che avrebbero dovuto essere uno.
Il vincolo è imposto piuttosto che richiesto. Le categorie sono normalizzate a una singola forma canonica, e una categoria è una proprietà della cima di un ramo: tutto ciò che si trova sotto un'affermazione principale eredita la categoria di quell'affermazione principale. Un argomento di costo non acquisisce un figlio nella categoria Rischio; se il figlio riguarda realmente il rischio, appartiene invece all'affermazione principale Rischio.
Un Argomento Principale Per Categoria
All'interno di ogni categoria, esattamente un argomento viene promosso a essere il principale reclamo — la posizione centrale che tutto il resto in quella categoria supporta o attacca. Tutto il resto nella categoria diventa un suo "figlio", direttamente o indirettamente.
Questa è la scelta singolarmente più significativa dell'intero processo. Se la fai bene, il ramo si legge come un argomento: ecco la posizione sui costi, ecco tre motivi a sostegno, ecco l'obiezione al secondo motivo. Se la fai male, ottieni l'inversione dall'inizio di questo articolo: una statistica che si trova in cima a un ramo con l'affermazione che doveva sostenere che pende sotto di essa come se fosse un dettaglio.
L'approccio ovvio non funziona.
La risposta intuitiva è promuovere l'argomento su cui il modello era più sicuro. Questo fallisce, per un motivo che vale la pena comprendere.
La fiducia misura quanto sia certa l'estrazione nel trovare un vero argomento. Non misura quanto sia centrale quell'argomento nel dibattito. Una statistica formulata in modo chiaro con una fonte nominata è un'estrazione facile e ad alta fiducia. Una frase vaga e cauta che si rivela essere la tesi effettiva è un'estrazione difficile e a bassa fiducia. La classificazione per fiducia promuove sistematicamente le prove e declassa l'affermazione.
C'è un secondo problema sotto il primo. Il lavoro di Saurav Kadavath e colleghi di Anthropic ha scoperto che la fiducia verbalizzata dei modelli linguistici è meglio calibrata rispetto alle probabilità dei token grezzi — ma le valutazioni successive hanno ripetutamente dimostrato che non è ancora ben calibrata in termini assoluti. È un segnale utilizzabile. Non è un ranking affidabile.
Cosa Sceglie Effettivamente la Richiesta Principale
Invece di un segnale, ne vengono combinati diversi — e il più forte di essi è strutturale piuttosto che linguistico.
- Centalità. Quanti altri argomenti si collegano a questo? L'affermazione a cui tutto il resto risponde è quasi sempre l'affermazione centrale. Questo è il più vicino a un segnale affidabile, perché è una proprietà della posizione dell'argomento nel dibattito piuttosto che della sua formulazione.
- Astrazione. Le affermazioni principali sono generali; le prove sono specifiche. Questo è direttamente Toulmin: nel suo resoconto del 1958, l'affermazione è la conclusione e le basi sono i fatti concreti sottostanti.
- Lingua argomentativa. I marcatori del discorso — pertanto, la questione chiave è, io sostengo — segnalano che un oratore sta esprimendo una posizione piuttosto che fornire un dettaglio.
- Breve. Le affermazioni centrali tendono a essere brevi. Una frase lunga di solito contiene qualifiche, che è ciò che fa il materiale di supporto.
- Posizione. Un segnale debole, ma reale: le tesi tendono a comparire presto.
L'astrattezza si misura cercando le impronte della specificità. Una percentuale, un importo in valuta, un'entità quantificata, una frase citata, un'istituzione nominata — ognuna di esse rende un argomento meno probabile che sia la tesi principale, perché ognuna è un marchio di fondamenti piuttosto che di una conclusione. Il lavoro remoto migliora la produttività è un'affermazione. Un sondaggio su 500 lavoratori ha mostrato il 78% di soddisfazione è ciò che dici quando qualcuno ti chiede perché.
Combinare diversi segnali deboli è meglio che fidarsi di uno che sembra forte — ed è lo stesso motivo per cui un gruppo con prospettive diverse supera un individuo sicuro di sé, un modello esplorato in perché la diversità batte l'abilità.
Prova a farlo da solo nell'ultimo incontro.
Prendi l'ultima decisione che ha preso il tuo team. Puoi nominare il singolo argomento più forte contro di essa — e puoi nominare chi l'ha fatto? Se non puoi, non si tratta di un problema di memoria. È un problema di struttura: il tuo resoconto ha catturato ciò che è stato deciso ma non ciò che è stato argomentato, che è esattamente il divario che l'estrazione sta cercando di colmare.
Niente sopravvive che non sia nella fonte
Un argomento che sembra plausibile ma che in realtà non è mai stato fatto è peggiore di uno mancante: è una registrazione falsa di ciò che il tuo team ha detto. Quindi, ogni argomento estratto porta la formulazione esatta da cui proviene, e qualsiasi argomento la cui evidenza citata non può essere localizzata nel documento sorgente viene rimosso prima che l'albero venga mostrato a chiunque.
Questo è poco glamour ed è la parte che rende il resto utilizzabile. Un albero che non puoi risalire alla trascrizione è un riassunto con passaggi extra.
Ma non è solo una sintesi con passaggi extra?
È l'obiezione ovvia, e la risposta sta in ciò che ognuno butta via.
Un riassunto comprime. Ti dice grossomodo cosa è stato trattato nella riunione e, se è buono, cosa è stato deciso. Ciò che non può preservare è la forma del disaccordo: che questa specifica obiezione è stata sollevata contro quella specifica ragione, che è stata risposta e che una seconda obiezione non è mai stata sollevata. I riassunti perdono precisamente la parte che conta quando la decisione viene riesaminata otto mesi dopo e nessuno riesce a ricordare perché l'alternativa ovvia è stata rifiutata.
La distinzione separa anche il mining degli argomenti dall'analisi del sentiment, che misura l'atteggiamento piuttosto che il ragionamento. Una frase può essere formulata in modo negativo pur sostenendo il punto a cui è collegata — "la pressione della tempistica aumenta il rischio" rafforza un'affermazione che il progetto è rischioso. Se lo valuti in base al tono, ottieni sempre il risultato opposto.
L'output è una bozza, e questo è il punto.
Ciò che emerge dall'estrazione è una proposta: ecco cosa pensiamo sia stato argomentato, ecco come pensiamo si incastri. Le persone poi lo correggono — riorganizzano un argomento che era attaccato alla rivendicazione sbagliata, separano uno che univa due punti, promuovono qualcosa che la valutazione ha interpretato male e valutano ciò che trovano convincente.
Quella divisione è deliberata. Costruire la struttura a mano è un lavoro noioso che impedisce ai team di farlo del tutto. Giudicare se un argomento sia di qualche valore — se le prove reggono, se l'assunzione non dichiarata è accettabile — non è noioso. È il vero pensiero, e rimane con il gruppo.
Cosa significa questo se stai leggendo i tuoi stessi verbali di riunione
- La frase citabile di solito non è l'affermazione. Frasi precise e ben documentate sono tipicamente prove. L'affermazione che supportano è spesso più vaga e più facile da trascurare.
- Conta cosa si attacca a cosa. Il punto a cui hanno risposto tutti gli altri è il punto che contava, indipendentemente da chi lo ha detto con maggiore sicurezza.
- Nomina le categorie. Se non puoi dire quali due o tre temi riguardava una decisione, la discussione non è stata strutturata — è stata trascritta.
- Cerca l'obiezione a cui nessuno ha risposto. È la cosa più utile in qualsiasi registrazione di argomenti, e la prima cosa che un riassunto piatto distrugge.
La frase vaga era l'argomento
La statistica non è mai stata il punto. Era la risposta a una domanda che qualcuno aveva posto su un'affermazione che era già stata fatta — in modo vago, presto, e in quel tipo di frase che non finisce mai nei verbali.
Strutturare una discussione significa riposizionare quella frase in cima al ramo dove appartiene, con le sue evidenze sottostanti e le obiezioni collegate ai motivi specifici che contestano. Questo è ciò per cui serve un albero. Ed è per questo che la risposta più sicura è così spesso quella sbagliata.
La serie di estrazione degli argomenti
Questo post tratta di come applichiamo il mining degli argomenti. Il resto della serie esplora da dove proviene il campo e perché i suoi problemi difficili sono complessi.
Come un libro di filosofia del 1958 che i logici rifiutarono è diventato la specifica per un compito di apprendimento automatico.
Il decennio dei corpora annotati a mano che ha trasformato l'argomento mining da un'idea in un compito misurabile.
Il disaccordo è raro nei dati e dipende dal contesto che la frase non contiene.
I modelli zero-shot hanno rimosso il collo di bottiglia del corpus e hanno lasciato i problemi strutturali esattamente dove erano.
Fonti e Ulteriori Letture
Il sondaggio standard del campo — definizioni dei compiti, metodi e i problemi aperti.
Il corpus annotato che ha reso l'estrazione di argomenti un compito misurabile e la fonte delle figure F1 dei componenti/relation citate qui.
Il modello di affermazione/motivo/giustificazione — la fonte del principio secondo cui le affermazioni sono generali e i motivi sono specifici.
Il corpus CDCP, su cui i punteggi di rilevamento delle relazioni si aggirano attorno al 34% F1 — l'estremità più difficile dell'intervallo pubblicato.
Sulla fiducia nel modello verbalizzato — migliore delle probabilità grezze, ma ancora non un segnale di ranking affidabile.
Domande Frequenti
Come fa Argumentree a trasformare una trascrizione in un albero argomentativo?
Applica il mining degli argomenti: trovare i segmenti di testo che contengono affermazioni o motivi, etichettare ciascuno di essi, determinare quale motivo si collega a quale affermazione e decidere se ciascun collegamento supporta o attacca il punto sopra di esso. Il risultato è un albero di pro e contro che le persone poi esaminano e correggono.
Cosa sono le categorie di argomenti e perché parole singole?
Le categorie raggruppano una discussione nei suoi dibattiti separati — Costo, Rischio, Tempistiche, Legale. Sono limitate a parole singole perché le categorie di lunghezza frase frammentano: Impatto sul Budget, Considerazioni sui Costi e Rischio Finanziario sono un dibattito che indossa tre cappelli, e l'albero si divide in rami che avrebbero dovuto essere uno.
Cosa significa un argomento principale per categoria?
All'interno di ogni categoria, esattamente un argomento viene promosso a essere la rivendicazione centrale, e tutto il resto in quella categoria si attacca sotto di esso. Questo è ciò che rende un ramo leggibile come un argomento — una posizione, le ragioni per essa e le obiezioni a quelle ragioni — piuttosto che un elenco piatto di frasi correlate.
Perché l'argomento principale non è semplicemente quello con la massima fiducia?
Perché la fiducia misura quanto è certa l'estrazione, non quanto è centrale l'argomento. Una statistica formulata in modo chiaro è un'estrazione facile e ad alta fiducia; la frase vaga che è la vera tesi è difficile. La classificazione per fiducia promuove sistematicamente le prove e declassa le affermazioni.
In che modo questo è diverso dal riassunto di una riunione?
Un riassunto comprime e ti dice cosa è stato trattato. Non può preservare la forma del disaccordo — che questa obiezione è stata sollevata contro quella ragione, che è stata risposta, e che un'altra non lo è stata. I riassunti perdono esattamente la parte che conta quando una decisione viene riesaminata in seguito.
Cosa impedisce all'IA di inventare argomenti che nessuno ha fatto?
Ogni argomento estratto porta la formulazione esatta da cui proviene, e qualsiasi argomento la cui evidenza citata non può essere trovata nel documento sorgente viene rimosso prima che l'albero venga visualizzato. Un argomento che sembra plausibile ma non è mai stato formulato è peggiore di uno mancante.
Posso cambiare ciò che ha prodotto l'estrazione?
Sì — questo è il flusso di lavoro previsto. L'output è una bozza. Le persone ricollegano argomenti attaccati alla richiesta sbagliata, dividono punti uniti, promuovono qualcosa che la valutazione ha sbagliato e valutano ciò che trovano convincente. La macchina costruisce la struttura; il gruppo mantiene il giudizio.
Argumentree Team
Decision Science
The Argumentree team explores the science of better decisions—from ancient philosophy to modern AI.
Guardalo nel tuo stesso trascritto
Incolla un verbale di riunione e ottieni un albero strutturato di pro e contro che puoi correggere, valutare e sviluppare.
Il campo dietro questo — cos'è, da dove viene e perché le relazioni sono la parte difficile.
Il corrispondente manuale: esporre affermazioni e motivi a mano.
Catturare il motivo per cui è stata presa una decisione, non solo ciò che è stato detto.
Trasforma il tuo prossimo incontro in un albero delle argomentazioni.
Struttura il ragionamento, non solo il verbale — così l'obiezione a cui nessuno ha risposto è ancora visibile tra sei mesi.
Inizia gratis