Dois Especialistas, Um Parágrafo, Duas Respostas Diferentes

Dê a dois anotadores treinados o mesmo parágrafo de um ensaio de estudante e faça uma pergunta simples: qual frase é a afirmação e quais frases são as razões para isso? Eles frequentemente discordarão. Não sobre o tópico, não sobre se o argumento é bom ou não — mas sobre onde ele está.

Este é o fato que moldou a primeira década da mineração de argumentos computacionais, e é fácil subestimar. Tudo a montante depende disso: você não pode construir um benchmark para uma tarefa que as pessoas não conseguem realizar de forma consistente, e não pode afirmar que um modelo supera o desempenho humano em um julgamento que os humanos não compartilham.

Experimente você mesmo na última conversa por e-mail em que discutiu. Marcar a reivindicação geralmente é fácil. Marcar a qual frase cada objeção se destinava é onde você começará a hesitar — e essa hesitação é toda a história desta década.

Por que a Teoria Ficou Sem Uso por Vinte Anos

No início da década de 1990, o aparato teórico estava completo. Toulmin havia dado ao campo sua anatomia, Walton seu catálogo de padrões de raciocínio, Freeman a distinção entre atacar uma conclusão e atacar a inferência para ela. Como abordamos em o primeiro post desta série, um argumento havia sido redescrito como um gráfico rotulado.

Um gráfico rotulado é algo em que um computador pode ser avaliado — em princípio. Na prática, você precisa de algo para compará-lo. Sem dados anotados, dois grupos de pesquisa que afirmam resultados diferentes não têm como resolver isso, e um campo onde os resultados não podem ser comparados não é um campo. É uma coleção de demonstrações.

Portanto, a década que transformou a mineração de argumentos em uma disciplina não foi uma década de algoritmos. Foi uma década de diretrizes de anotação.

Os Três Corpora Que Definiram a Tarefa

Diferentes grupos de pesquisa anotaram diferentes gêneros, e a escolha do gênero importou mais do que qualquer um esperava inicialmente.

• Ensaios persuasivos (Stab & Gurevych). Ensaios argumentativos de estudantes, anotados para reivindicações, premissas e as relações de apoio/ataque entre elas. Escrita estruturada por pessoas que estavam explicitamente tentando argumentar de forma clara — tão favorável quanto o texto pode ser.
• Microtextos argumentativos (Peldszus & Stede). Textos curtos controlados construídos especificamente para estudar a estrutura do argumento, cada um sendo um argumento compacto com uma forma deliberada. Pequenos, claros e projetados para que questões estruturais tenham respostas.
• Comentários de elaboração de regras públicas (Park & Cardie). Comentários submetidos pelo público a consultas regulatórias dos EUA. Reais, não editados, frequentemente divagando — muito mais próximos do texto que as organizações realmente possuem.

Essa progressão de limpo a bagunçado é a coisa útil a se notar. O desempenho cai à medida que você desce na lista, e cai mais nas relações. Os ensaios foram o caso amigável, e mesmo lá os números de relação eram modestos.

Acordo entre Anotadores é o Verdadeiro Teto

Projetos de anotação relatam com que frequência anotadores independentes concordam, e na mineração de argumentos esse número não é uma nota de rodapé. É o teto.

Se dois humanos treinados seguindo as mesmas diretrizes concordam apenas moderadamente sobre qual premissa se relaciona a qual afirmação, então um modelo avaliado em relação a um deles não pode ser descrito de forma significativa como superando o outro. A medição em si se torna instável antes que o modelo o faça.

O acordo é consistentemente maior em componentes do que em relações — as pessoas geralmente concordam sobre qual frase é uma afirmação e divergem sobre a que ela está respondendo. Essa única assimetria previu tudo o que os benchmarks mostrariam mais tarde.

As Diretrizes São a Teoria, Tornada Operacional

Uma diretriz de anotação parece trabalho de escritório. É mais próxima de uma especificação. Cada ambiguidade que a teoria deixou em aberto precisa ser resolvida antes que os anotadores possam começar, e cada resolução é um compromisso real.

Uma pergunta retórica é uma afirmação? Uma reformulação na conclusão conta como um novo componente ou como o mesmo? Quando uma frase apoia duas afirmações ao mesmo tempo, ela se vincula a ambas, ou à mais próxima, ou à mais geral? Se alguém concede um ponto antes de refutá-lo, a concessão é um ataque à sua própria posição?

Nenhuma dessas questões tem respostas óbvias, e cada corpus respondeu a elas de maneira ligeiramente diferente. É por isso que os modelos transferem-se mal entre corpora: eles estão aprendendo em parte um gênero e, em parte, aprendendo as respostas de uma equipe para essas perguntas.

Mas você não poderia apenas anotar mais dados?

É a resposta natural, e para a detecção de componentes funcionou amplamente. Mais intervalos anotados produziram uma melhor detecção de intervalos. Essa parte do campo melhorou de forma constante e previsível.

Para relações, não o fez, e a razão é estrutural em vez de uma questão de volume. Relações dependem do contexto fora da frase — o que é caro para anotar de forma consistente. Relações de desacordo são raras, então escalar o corpus escala o desequilíbrio junto com ele. E o passo de conexão é frequentemente não declarado, então o anotador não está marcando algo visível no texto; ele está marcando sua reconstrução disso.

Mais dados multiplicam os três problemas em vez de resolvê-los. Esse argumento é o tema de o próximo post.

O que a Década Deixou para Trás

Duas coisas, ambas ainda estruturais.

A primeira é a própria definição da tarefa. A divisão em quatro partes com a qual todo artigo sobre mineração de argumentos agora começa — encontrar os componentes, rotulá-los, vinculá-los, classificar os vínculos — é um produto desses projetos de anotação, e não da filosofia. Toulmin nunca propôs um fluxo de trabalho.

O segundo é o conjunto de referência estabelecido. Quando um sistema moderno reporta um número, geralmente está reportando-o em ensaios ou microtextos anotados nesta década. Isso vale a pena lembrar ao comparar figuras entre artigos: o mesmo nome de métrica em dois corpora diferentes não é a mesma medição, e muitas comparações publicadas ignoram isso silenciosamente.

O Que Isso Significa Fora do Laboratório

• Se os humanos não conseguem concordar sobre onde está o argumento, nenhuma ferramenta lhe dará certeza. Trate a estrutura extraída como um rascunho a ser corrigido, não como um veredicto a ser aceito.
• O gênero importa mais do que o volume. Um sistema ajustado para ensaios organizados enfrenta um problema muito diferente em uma transcrição de reunião cheia de interrupções e pensamentos inacabados.
• A discordância sobre as metas é o verdadeiro sinal. Quando duas pessoas pensam que uma objeção foi direcionada a coisas diferentes, essa lacuna é geralmente onde a decisão realmente está emperrada.
• Compare números de referência apenas dentro de um corpus. A mesma métrica em um conjunto de dados diferente é uma medição diferente, por mais semelhante que a etiqueta pareça.

Onde está o Argumento

A década de anotação é a parte menos glamourosa desta história e a parte sobre a qual tudo o mais se baseia. Nenhum modelo, por maior que seja, escapa ao fato de que seu placar foi construído por pessoas que às vezes discordavam entre si sobre onde estava um argumento.

O que é uma coisa útil para levar para suas próprias reuniões. Se encontrar o argumento é difícil para dois anotadores treinados com um guia escrito, o fato de sua equipe continuar relitigando uma decisão não é um problema de disciplina. É o mesmo problema, sem o guia.

A série de mineração de argumentos

Cinco postagens sobre como as máquinas aprenderam a ler argumentos — de onde veio o campo, por que seus problemas difíceis são difíceis e como o aplicamos.