El libro que se suponía que iba a terminar una carrera

Cuando Stephen Toulmin publicó The Uses of Argument en 1958, la recepción por parte de los lógicos profesionales fue hostil. Había escrito un libro sobre el razonamiento que se negaba a ser sobre lógica formal, y le dijeron, en efecto, que se había desviado del mapa. Toulmin más tarde relató que un colega comenzó a llamarlo su libro anti-lógica.

No terminó su carrera. Lo que hizo fue encontrar una audiencia completamente diferente. Los departamentos de retórica y comunicación —especialmente en los Estados Unidos— se hicieron con el libro y construyeron planes de estudio en torno a él, porque Toulmin había hecho algo que la lógica formal nunca se había molestado en hacer. Había descrito cómo es un argumento cuando una persona real lo presenta.

Sesenta y tantos años después, si le pides a una máquina que lea una transcripción de una reunión y te diga qué se argumentó, utilizará el vocabulario de Toulmin para responder. Esa es la historia de esta serie, y esta publicación es el arco de la misma: cómo un libro de filosofía que los lógicos rechazaron se convirtió en la especificación para una tarea de aprendizaje automático.

Lo que Toulmin realmente cambió

La lógica formal se ocupa de la validez: dadas estas premisas, ¿sigue esta conclusión? Es una herramienta superb y describe casi nada de lo que la gente realmente dice. Nadie argumenta en silogismos.

El movimiento de Toulmin fue hacer una pregunta diferente — no ¿es esto válido? sino ¿cómo está construido esto? Descompuso un argumento real en seis partes, y tres de ellas hacen el trabajo pesado:

• Reclamo — la posición que se está promoviendo. Lo que realmente estás pidiendo a alguien que acepte.
• Fundamentos — los hechos ofrecidos en apoyo. La evidencia, los datos, el ejemplo.
• Justificación — el principio que licencia el paso de los fundamentos a la afirmación. Casi nunca se expresa en voz alta.

La orden es la interesante, y es la razón por la que la minería de argumentos es difícil en lugar de tediosa. El puente es estructuralmente inseguro, así que deberíamos cerrarlo contiene una premisa oculta: que las estructuras inseguras deberían ser cerradas. Nadie dice esa oración. Todos la asumen. Una máquina que lee el texto tiene que reconstruir un paso que no está en el texto.

Las otras tres partes — respaldo, calificador, refutación — manejan la mitigación y las excepciones. Juntas describen un argumento como una estructura en lugar de una cadena, y esa visión estructural es lo que hizo que todo fuera computable más tarde.

Walton y la Pregunta que Rompe el Argumento

Si Toulmin le dio al campo su anatomía, Douglas Walton le dio una guía de campo. Trabajando a través de las décadas de 1990 y 2000, Walton catalogó los patrones recurrentes del razonamiento cotidiano — apelación a la opinión de expertos, argumento por analogía, argumento por consecuencias, argumento por signo — como esquemas de argumentación.

El catálogo es útil. Lo que lo hace poderoso es la segunda mitad: cada esquema viene con preguntas críticas, los desafíos específicos que exponen dónde falla ese patrón. Para apelar a la opinión de expertos: ¿es esta persona realmente un experto en este campo? ¿Están de acuerdo otros expertos? ¿Es la afirmación consistente con la evidencia?

Esta es la cosa más útil en toda la tradición para cualquiera que esté en una reunión, y no cuesta nada aplicarla. Cuando alguien argumenta desde la autoridad, no tienes que estar en desacuerdo con la conclusión. Haces la pregunta crítica que el patrón mismo invita. No es agresivo; es lo que el argumento está pidiendo.

Freeman y la Distinción que lo Hizo Computable

El trabajo de James Freeman de 1991 sobre la macroestructura del argumento añadió la pieza que más importaba para las máquinas. Trazó una línea clara entre dos cosas que la gente llama casualmente desacuerdo.

Puedes atacar una conclusión — argumentar que es falsa. O puedes atacar la inferencia — aceptar cada hecho ofrecido y negar que la conclusión se derive de ellos. Tu estudio tiene fallos y tu estudio está bien pero no muestra lo que crees que muestra son movimientos completamente diferentes, y tratarlos como uno solo pierde la mayor parte de la información en un desacuerdo real.

Freeman también separó las premisas que solo funcionan juntas de las premisas que cada una puede sostenerse por sí sola — la diferencia entre un argumento que colapsa si quitas una pata y uno que simplemente se debilita. Una vez que tienes esas distinciones, un argumento ya no es prosa. Es un gráfico etiquetado, y un gráfico etiquetado es algo en lo que una computadora puede ser evaluada.

Luego, no pasó nada durante veinte años.

La teoría estaba en su lugar a principios de la década de 1990. El campo computacional no llegó hasta la década de 2010, y la razón no es glamorosa: no había nada con qué medir.

Un campo de investigación se convierte en un campo de investigación cuando se pueden comparar enfoques competidores en los mismos datos. Eso requería que alguien se sentara con miles de documentos y marcara, a mano, cuáles eran afirmaciones, cuáles eran premisas y cuáles apoyaban o atacaban a cuáles. Christian Stab e Iryna Gurevych lo hicieron para ensayos persuasivos. Andreas Peldszus y Manfred Stede construyeron un corpus de textos argumentativos cortos específicamente para estudiar la estructura.

Ese trabajo está cubierto adecuadamente en la siguiente publicación de esta serie. Lo que importa aquí es la forma que reveló. Una vez que puedes puntuar sistemas, puedes ver qué partes son difíciles — y la respuesta fue inmediata y nunca ha cambiado realmente.

Encontrar reclamaciones es fácil. Todo lo que viene después no lo es.

Los puntos de referencia publicados cuentan una historia consistente. En el corpus de ensayos persuasivos, identificar y etiquetar los componentes argumentativos alcanza aproximadamente un 73% de F1. Decidir cómo se relacionan esos componentes entre sí — qué se une a qué, y si apoya o ataca — se sitúa cerca del 48%. En el corpus CDCP de datos de comentarios públicos construido por Joonsuk Park y Claire Cardie, la detección de relaciones cae a alrededor del 34%.

Esa brecha es el campo. No es un artefacto de modelos débiles, y ha sobrevivido a cada cambio de arquitectura desde entonces. La detección mejoró constantemente. Las relaciones apenas se movieron.

Las razones son estructurales más que técnicas, y son el tema de la tercera publicación de esta serie: el desacuerdo es raro en los datos, depende del contexto que la oración no contiene, y el paso conectivo suele estar implícito — la garantía de Toulmin, aún ausente, sesenta años después.

¿Pero esto no es solo procesamiento de lenguaje natural?

Utiliza la misma maquinaria, por lo que la objeción es justa. La diferencia está en lo que se está recuperando.

El análisis de sentimientos pregunta cómo se siente un texto. La resumición pregunta qué dice. El reconocimiento de entidades nombradas pregunta quién y qué aparece en él. Los tres se centran en el contenido. La minería de argumentos pregunta sobre estructura — qué oración está realizando un trabajo argumentativo sobre cuál otra oración, y en qué dirección.

Esa distinción tiene una ventaja práctica. Una oración puede expresarse negativamente mientras apoya la afirmación a la que está vinculada: la presión del cronograma aumenta el riesgo refuerza un argumento de que el proyecto es arriesgado. Cualquier sistema que puntúe por tono lo entiende al revés, cada vez. La información que la minería de argumentos recupera no está en las palabras. Está en las relaciones entre ellas.

Lo que los Modelos Grandes Cambiaron y lo que No

El capítulo más reciente es el que todos conocen. Los modelos de lenguaje de propósito general pueden realizar tareas de minería de argumentos sin haber sido entrenados primero en un corpus anotado, lo que elimina la mayor barrera práctica que el campo ha tenido: la necesidad de miles de ejemplos etiquetados a mano para cada nuevo dominio.

Esa es una discontinuidad genuina, y es lo que hizo que la minería de argumentos fuera utilizable en textos comerciales ordinarios en lugar de solo en corpora de ensayos curados. Se cubre en la cuarta publicación.

Lo que no hizo fue cerrar la brecha. Los problemas estructurales siguen siendo estructurales. Un modelo que ha leído toda la internet aún tiene que decidir si esta objeción estaba dirigida a esa razón o a la conclusión detrás de ella, y el texto aún no lo dice.

Lo que sesenta años de esto sugiere sobre tus propios argumentos

• La orden es donde suele residir el desacuerdo. Dos personas que están de acuerdo en cada hecho y aún así no coinciden están disputando un principio no declarado. Nómbralo y la conversación se acorta.
• Atacar la inferencia no es lo mismo que atacar los hechos. Decidir cuál de los dos estás haciendo — en voz alta — salva a la otra persona de defender lo incorrecto.
• Cada apelación a la autoridad viene con su propia pregunta de prueba. Walton las escribió. Usarlas no es hostilidad; es el patrón funcionando como se pretende.
• La estructura es lo que sobrevive. Seis meses después, nadie recuerda la redacción. Lo que necesitan es qué objeción se planteó y si alguien la respondió.

El Libro de la Anti-Lógica

Los críticos de Toulmin tenían razón en una cosa: The Uses of Argument realmente no era un libro sobre lógica formal. Era un libro sobre cómo las personas razonan cuando los riesgos son reales y las premisas son discutibles y nadie tiene tiempo para un silogismo.

Eso resultó ser el problema más difícil y el más útil. Cada sistema que lee una transcripción hoy en día y te dice qué se afirmó, sobre qué fundamentos, y qué se argumentó en contra está trabajando a partir de su descripción. No está mal para un libro anti-lógica.

La serie de minería de argumentos

Cinco publicaciones sobre cómo las máquinas aprendieron a leer argumentos: de dónde proviene el campo, por qué sus problemas difíciles son difíciles y cómo lo aplicamos.