Le livre qui était censé mettre fin à une carrière

Lorsque Stephen Toulmin a publié The Uses of Argument en 1958, l'accueil des logiciens professionnels a été hostile. Il avait écrit un livre sur le raisonnement qui refusait d'être sur la logique formelle, et on lui a dit, en effet, qu'il s'était égaré. Toulmin a ensuite raconté qu'un collègue avait commencé à l'appeler son livre anti-logique.

Cela n'a pas mis fin à sa carrière. Ce qu'il a fait, c'est trouver un public complètement différent. Les départements de rhétorique et de communication — en particulier aux États-Unis — ont adopté le livre et ont construit des programmes d'études autour de celui-ci, car Toulmin avait fait quelque chose que la logique formelle n'avait jamais pris la peine de faire. Il avait décrit à quoi ressemble un argument lorsqu'une personne réelle en fait un.

Soixante ans plus tard, si vous demandez à une machine de lire un compte rendu de réunion et de vous dire ce qui a été argumenté, elle utilisera le vocabulaire de Toulmin pour répondre. C'est l'histoire de cette série, et ce post en est l'arc : comment un livre de philosophie que les logiciens ont rejeté est devenu la spécification d'une tâche d'apprentissage automatique.

Ce que Toulmin a réellement changé

La logique formelle s'intéresse à la validité : étant donné ces prémisses, cette conclusion en découle-t-elle ? C'est un outil superbe et cela décrit presque rien de ce que les gens disent réellement. Personne ne discute en syllogismes.

Le mouvement de Toulmin était de poser une question différente — non est-ce valide mais comment cela est-il construit. Il a décomposé un véritable argument en six parties, et trois d'entre elles font le gros du travail :

• Argument — la position avancée. Ce que vous demandez réellement à quelqu'un d'accepter.
• Motifs — les faits présentés en soutien. Les preuves, les données, l'exemple.
• Garantie — le principe qui autorise le passage des motifs à la revendication. Presque jamais énoncé à voix haute.

Le mandat est celui qui est intéressant, et c'est la raison pour laquelle l'extraction d'arguments est difficile plutôt que fastidieuse. Le pont est structurellement instable, donc nous devrions le fermer contient une prémisse cachée : que les structures instables devraient être fermées. Personne ne dit cette phrase. Tout le monde l'assume. Une machine lisant le texte doit reconstruire une étape qui n'est pas dans le texte.

Les trois autres parties — soutien, qualification, réfutation — traitent des réserves et des exceptions. Ensemble, elles décrivent un argument comme une structure plutôt que comme une chaîne, et cette vision structurelle est ce qui a rendu l'ensemble calculable par la suite.

Walton et la question qui brise l'argument

Si Toulmin a donné au domaine son anatomie, Douglas Walton lui a fourni un guide de terrain. Travaillant dans les années 1990 et 2000, Walton a catalogué les schémas récurrents du raisonnement quotidien — appel à l'opinion d'expert, argument par analogie, argument par conséquences, argument par signe — en tant que schémas d'argumentation.

Le catalogue est utile. Ce qui le rend puissant, c'est la seconde moitié : chaque schéma est accompagné de questions critiques, les défis spécifiques qui révèlent où ce modèle échoue. Pour faire appel à l'opinion d'experts : cette personne est-elle réellement un expert dans ce domaine ? D'autres experts sont-ils d'accord ? L'affirmation est-elle cohérente avec les preuves ?

C'est la chose la plus utile dans toute la tradition pour quiconque assiste à une réunion, et cela ne coûte rien à appliquer. Lorsque quelqu'un argumente par autorité, vous n'avez pas à contredire la conclusion. Vous posez la question critique que le schéma lui-même invite. Ce n'est pas agressif ; c'est ce que l'argument demande.

Freeman et la distinction qui l'a rendue calculable

Le travail de James Freeman en 1991 sur la macrostructure de l'argument a ajouté l'élément le plus important pour les machines. Il a tracé une ligne nette entre deux choses que les gens appellent souvent désaccord.

Vous pouvez attaquer une conclusion — argumenter qu'elle est fausse. Ou vous pouvez attaquer l'inférence — accepter chaque fait proposé et nier que la conclusion en découle. Votre étude est défectueuse et votre étude est correcte mais elle ne montre pas ce que vous pensez qu'elle montre sont des mouvements entièrement différents, et les traiter comme un seul fait perd la plupart des informations dans un véritable désaccord.

Freeman a également séparé les prémisses qui ne fonctionnent ensemble que de celles qui peuvent chacune se suffire à elles-mêmes — la différence entre un argument qui s'effondre si vous retirez un pilier et un autre qui devient simplement plus faible. Une fois que vous avez ces distinctions, un argument n'est plus de la prose. C'est un graphique étiqueté, et un graphique étiqueté est quelque chose sur lequel un ordinateur peut être noté.

Puis rien ne se passa pendant vingt ans.

La théorie était en place au début des années 1990. Le domaine computationnel n'est arrivé qu'au cours des années 2010, et la raison n'est pas glamour : il n'y avait rien contre quoi mesurer.

Un domaine de recherche devient un domaine de recherche lorsque des approches concurrentes peuvent être comparées sur les mêmes données. Cela nécessitait que quelqu'un s'asseye avec des milliers de documents et marque, à la main, quels passages étaient des revendications, quels étaient des prémisses, et lesquels soutenaient ou attaquaient lesquels. Christian Stab et Iryna Gurevych l'ont fait pour des essais persuasifs. Andreas Peldszus et Manfred Stede ont construit un corpus de courts textes argumentatifs spécifiquement pour étudier la structure.

Ce travail est correctement couvert dans le prochain article de cette série. Ce qui importe ici, c'est la forme qu'il a révélée. Une fois que vous pouvez évaluer les systèmes, vous pouvez voir quelles parties sont difficiles — et la réponse était immédiate et n'a jamais vraiment changé.

Trouver des réclamations est facile. Tout le reste ne l'est pas.

Les benchmarks publiés racontent une histoire cohérente. Sur le corpus des essais persuasifs, l'identification et l'étiquetage des composants argumentatifs atteignent environ 73 % de F1. Décider comment ces composants se rapportent les uns aux autres — ce qui s'attache à quoi, et si cela soutient ou attaque — se situe près de 48 %. Sur le corpus CDCP de données de commentaires publics construit par Joonsuk Park et Claire Cardie, la détection des relations tombe à environ 34 %.

Cet écart est le champ. Ce n'est pas un artefact de modèles faibles, et il a survécu à chaque changement d'architecture depuis. La détection s'est améliorée régulièrement. Les relations ont à peine bougé.

Les raisons sont structurelles plutôt que techniques, et elles font l'objet de le troisième article de cette série : le désaccord est rare dans les données, il dépend du contexte que la phrase ne contient pas, et l'étape connective est généralement non exprimée — la garantie de Toulmin, toujours manquante, soixante ans plus tard.

Mais n'est-ce pas simplement du traitement du langage naturel ?

Il utilise la même machinerie, donc l'objection est juste. La différence réside dans ce qui est récupéré.

L'analyse des sentiments demande comment un texte se sent. La résumation demande ce qu'il dit. La reconnaissance des entités nommées demande qui et quoi y apparaissent. Les trois concernent le contenu. L'extraction d'arguments s'intéresse à la structure — quelle phrase effectue un travail argumentatif sur quelle autre phrase, et dans quelle direction.

Cette distinction a un aspect pratique. Une phrase peut être formulée négativement tout en soutenant la revendication à laquelle elle est attachée : la pression du calendrier augmente le risque renforce un argument selon lequel le projet est risqué. Tout système de notation par le ton se trompe à chaque fois. L'argument d'information que l'extraction récupère n'est pas dans les mots. Il est dans les relations entre eux.

Ce que les grands modèles ont changé, et ce qu'ils n'ont pas changé

Le chapitre le plus récent est celui que tout le monde connaît. Les modèles de langage à usage général peuvent effectuer des tâches d'extraction d'arguments sans avoir été d'abord entraînés sur un corpus annoté, ce qui supprime le plus grand obstacle pratique que le domaine ait jamais eu : avoir besoin de milliers d'exemples étiquetés à la main pour chaque nouveau domaine.

C'est une véritable discontinuité, et c'est ce qui a rendu l'extraction d'arguments utilisable sur des textes commerciaux ordinaires plutôt que seulement sur des corpus d'essais sélectionnés. Cela est abordé dans le quatrième article.

Ce qu'il n'a pas fait, c'est combler l'écart. Les problèmes structurels restent structurels. Un modèle qui a lu l'ensemble d'Internet doit encore décider si cette objection visait cette raison ou la conclusion qui en découle, et le texte ne le dit toujours pas.

Ce que soixante ans de cela suggèrent sur vos propres arguments

• Le mandat est généralement l'endroit où se trouve le désaccord. Deux personnes qui s'accordent sur chaque fait et qui sont pourtant en désaccord contestent un principe non énoncé. Nommez-le et la conversation devient plus courte.
• Attaquer l'inférence n'est pas la même chose qu'attaquer les faits. Décider lequel vous faites — à voix haute — évite à l'autre personne de défendre la mauvaise chose.
• Chaque appel à l'autorité s'accompagne de sa propre question de test. Walton les a notées. Les utiliser n'est pas de l'hostilité ; c'est le schéma qui fonctionne comme prévu.
• La structure est ce qui survit. Six mois plus tard, personne ne se souvient de la formulation. Ce dont ils ont besoin, c'est de savoir quelle objection a été soulevée et si quelqu'un y a répondu.

Le Livre Anti-Logique

Les critiques de Toulmin avaient raison sur un point : The Uses of Argument n'était vraiment pas un livre sur la logique formelle. C'était un livre sur la façon dont les gens raisonnent lorsque les enjeux sont réels et que les prémisses sont contestables et que personne n'a le temps pour un syllogisme.

Cela s'est avéré être le problème le plus difficile et le plus utile. Chaque système qui lit un transcript aujourd'hui et vous dit ce qui a été affirmé, sur quelles bases, et ce qui a été argumenté contre cela fonctionne à partir de sa description. Pas mal pour un livre anti-logique.

La série d'extraction d'arguments

Cinq articles sur la façon dont les machines ont appris à lire des arguments — d'où vient le domaine, pourquoi ses problèmes difficiles sont difficiles, et comment nous l'appliquons.