O Livro Que Deveria Encerrar uma Carreira

Quando Stephen Toulmin publicou The Uses of Argument em 1958, a recepção dos lógicos profissionais foi hostil. Ele havia escrito um livro sobre raciocínio que se recusava a ser sobre lógica formal, e lhe disseram, na verdade, que ele havia se desviado do mapa. Toulmin mais tarde relatou que um colega passou a chamá-lo de seu livro anti-lógica.

Não acabou com sua carreira. O que fez foi encontrar um público completamente diferente. Departamentos de retórica e comunicação — especialmente nos Estados Unidos — adotaram o livro e construíram currículos com base nele, porque Toulmin havia feito algo que a lógica formal nunca se preocupou em fazer. Ele descreveu como é um argumento quando uma pessoa real faz um.

Sessenta e poucos anos depois, se você pedir a uma máquina para ler uma transcrição de reunião e dizer o que foi argumentado, ela usará o vocabulário de Toulmin para responder. Essa é a história desta série, e este post é o arco dela: como um livro de filosofia que os lógicos rejeitaram se tornou a especificação para uma tarefa de aprendizado de máquina.

O que Toulmin realmente mudou

A lógica formal se preocupa com a validade: dadas essas premissas, essa conclusão segue? É uma ferramenta excelente e descreve quase nada do que as pessoas realmente dizem. Ninguém argumenta em silogismos.

A abordagem de Toulmin foi fazer uma pergunta diferente — não é isso válido, mas como isso é construído. Ele dividiu um argumento real em seis partes, e três delas fazem o trabalho pesado:

• Reivindicação — a posição que está sendo defendida. O que você está realmente pedindo para alguém aceitar.
• Fundamentos — os fatos apresentados em apoio. A evidência, os dados, o exemplo.
• Garantia — o princípio que licencia a transição de fundamentos para a reivindicação. Quase nunca declarado em voz alta.

O mandado é o interessante, e é a razão pela qual a mineração de argumentos é difícil em vez de tediosa. A ponte é estruturalmente instável, então devemos fechá-la contém uma premissa oculta: que estruturas instáveis devem ser fechadas. Ninguém diz essa frase. Todos assumem isso. Uma máquina lendo o texto tem que reconstruir um passo que não está no texto.

As outras três partes — apoio, qualificador, refutação — lidam com as ressalvas e as exceções. Juntas, elas descrevem um argumento como uma estrutura em vez de uma cadeia, e essa visão estrutural é o que tornou tudo computável mais tarde.

Walton e a Pergunta que Quebra o Argumento

Se Toulmin deu ao campo sua anatomia, Douglas Walton deu-lhe um guia de campo. Trabalhando durante as décadas de 1990 e 2000, Walton catalogou os padrões recorrentes do raciocínio cotidiano — apelo à opinião de especialistas, argumento por analogia, argumento por consequências, argumento por sinal — como esquemas de argumentação.

O catálogo é útil. O que o torna poderoso é a segunda metade: cada esquema vem com questões críticas, os desafios específicos que expõem onde esse padrão falha. Para apelo à opinião de especialistas: esta pessoa é realmente um especialista em este campo? Outros especialistas estão de acordo? A afirmação é consistente com as evidências?

Esta é a coisa mais útil em toda a tradição para qualquer pessoa que esteja em uma reunião, e não custa nada aplicar. Quando alguém argumenta a partir da autoridade, você não precisa discordar da conclusão. Você faz a pergunta crítica que o próprio padrão convida. Não é agressivo; é o que o argumento está pedindo.

Freeman e a Distinção que Tornou Isso Computável

O trabalho de James Freeman de 1991 sobre a macroestrutura do argumento adicionou a peça que mais importava para as máquinas. Ele traçou uma linha clara entre duas coisas que as pessoas chamam casualmente de desacordo.

Você pode atacar uma conclusão — argumentar que é falsa. Ou você pode atacar a inferência — aceitar cada fato apresentado e negar que a conclusão decorra deles. Seu estudo é falho e seu estudo está bom, mas não mostra o que você pensa que mostra são movimentos completamente diferentes, e tratá-los como um só perde a maior parte da informação em um verdadeiro desacordo.

Freeman também separou premissas que só funcionam juntas de premissas que cada uma pode ficar sozinha — a diferença entre um argumento que colapsa se você remove uma perna e um que apenas fica mais fraco. Uma vez que você tem essas distinções, um argumento não é mais prosa. É um gráfico rotulado, e um gráfico rotulado é algo em que um computador pode ser avaliado.

Então Nada Aconteceu por Vinte Anos

A teoria estava em vigor no início da década de 1990. O campo computacional só chegou na década de 2010, e a razão não é glamourosa: não havia nada para medir.

Um campo de pesquisa torna-se um campo de pesquisa quando abordagens concorrentes podem ser comparadas nos mesmos dados. Isso exigiu que alguém se sentasse com milhares de documentos e marcasse, à mão, quais trechos eram afirmações, quais eram premissas e quais apoiavam ou atacavam quais. Christian Stab e Iryna Gurevych fizeram isso para ensaios persuasivos. Andreas Peldszus e Manfred Stede construíram um corpus de textos argumentativos curtos especificamente para estudar a estrutura.

Esse trabalho é abordado adequadamente em o próximo post desta série. O que importa aqui é a forma que ele revelou. Uma vez que você pode pontuar sistemas, pode ver quais partes são difíceis — e a resposta foi imediata e nunca realmente mudou.

Encontrar reivindicações é fácil. Tudo o que vem depois não é.

Os benchmarks publicados contam uma história consistente. No corpus de ensaios persuasivos, identificar e rotular os componentes argumentativos atinge cerca de 73% de F1. Decidir como esses componentes se relacionam — o que se conecta a quê, e se apoia ou ataca — fica próximo de 48%. No corpus CDCP de dados de comentários públicos construído por Joonsuk Park e Claire Cardie, a detecção de relações cai para cerca de 34%.

Essa lacuna é o campo. Não é um artefato de modelos fracos, e sobreviveu a todas as mudanças de arquitetura desde então. A detecção melhorou constantemente. As relações mal mudaram.

As razões são estruturais em vez de técnicas, e são o assunto de o terceiro post desta série: o desacordo é raro nos dados, depende do contexto que a frase não contém, e o passo conectivo geralmente não é declarado — a garantia de Toulmin, ainda ausente, sessenta anos depois.

Mas isso não é apenas Processamento de Linguagem Natural?

Utiliza a mesma maquinaria, então a objeção é justa. A diferença está no que está sendo recuperado.

A análise de sentimentos pergunta como um texto se sente. A sumarização pergunta o que ele diz. O reconhecimento de entidades nomeadas pergunta quem e o que aparece nele. Todos os três dizem respeito ao conteúdo. A mineração de argumentos pergunta sobre estrutura — qual frase está realizando um trabalho argumentativo sobre qual outra frase, e em qual direção.

Essa distinção tem uma vantagem prática. Uma frase pode ser formulada negativamente enquanto apoia a afirmação à qual está ligada: a pressão do cronograma aumenta o risco fortalece um argumento de que o projeto é arriscado. Qualquer sistema que pontue pelo tom inverte isso, toda vez. O argumento de informação que a mineração de argumentos recupera não está nas palavras. Está nas relações entre elas.

O que os Grandes Modelos Mudaram e o que Eles Não Mudaram

O capítulo mais recente é aquele que todos conhecem. Modelos de linguagem de propósito geral podem realizar tarefas de mineração de argumentos sem serem treinados primeiro em um corpus anotado, o que remove a maior barreira prática que o campo já teve: a necessidade de milhares de exemplos rotulados manualmente para cada novo domínio.

Essa é uma descontinuidade genuína, e é o que tornou a mineração de argumentos utilizável em textos empresariais comuns, em vez de apenas em corpora de ensaios curados. Isso é abordado no quarto post.

O que não fez foi fechar a lacuna. Os problemas estruturais ainda são estruturais. Um modelo que leu toda a internet ainda precisa decidir se essa objeção se dirigia a essa razão ou à conclusão por trás dela, e o texto ainda não diz.

O que sessenta anos disto sugere sobre seus próprios argumentos

• O mandado é onde o desacordo geralmente reside. Duas pessoas que concordam em todos os fatos e ainda assim discordam estão disputando um princípio não declarado. Nomeie-o e a conversa fica mais curta.
• Atacar a inferência não é o mesmo que atacar os fatos. Decidir qual dos dois você está fazendo — em voz alta — poupa a outra pessoa de defender a coisa errada.
• Cada apelo à autoridade vem com sua própria pergunta de teste. Walton as anotou. Usá-las não é hostilidade; é o padrão funcionando como pretendido.
• A estrutura é o que sobrevive. Seis meses depois, ninguém se lembra da redação. O que eles precisam saber é qual objeção foi levantada e se alguém a respondeu.

O Livro da Anti-Lógica

Os críticos de Toulmin estavam certos sobre uma coisa: The Uses of Argument realmente não era um livro sobre lógica formal. Era um livro sobre como as pessoas raciocinam quando as consequências são reais e as premissas são contestáveis e ninguém tem tempo para um silogismo.

Isso acabou se revelando o problema mais difícil e o mais útil. Todo sistema que lê uma transcrição hoje e te diz o que foi afirmado, com quais fundamentos e o que foi argumentado contra isso está trabalhando a partir de sua descrição. Nada mal para um livro anti-lógica.

A série de mineração de argumentos

Cinco postagens sobre como as máquinas aprenderam a ler argumentos — de onde veio o campo, por que seus problemas difíceis são difíceis e como o aplicamos.