La classe qui compte le plus est celle dont il y a le moins.

Dans les corpus sur lesquels les systèmes d'extraction d'arguments sont formés et évalués, le désaccord est rare. La grande majorité des relations annotées sont des relations de soutien : cette raison soutient cette affirmation. Les relations d'attaque — cette objection contredit cette raison — constituent une petite minorité, dans certains ensembles de données, moins d'un dixième des liens étiquetés.

Ce fait unique produit le mode de défaillance le plus tenace du domaine. Un système qui prédit simplement le soutien à chaque fois a raison la plupart du temps, et tout modèle apprenant de cette distribution absorbe le même biais. Il devient agréable.

Ce qui est exactement à l'envers de la raison pour laquelle vous en déploieriez un. Personne ne revient sur une décision six mois plus tard en se demandant ce sur quoi tout le monde s'est mis d'accord. Ils veulent l'objection — et l'objection est la classe sur laquelle le modèle a le moins de confiance et qu'il est le moins susceptible de prédire.

Pourquoi le déséquilibre est pire ici que ailleurs

Le déséquilibre des classes est un problème ordinaire en apprentissage automatique avec des remèdes ordinaires en apprentissage automatique : réajuster la perte, suréchantillonner la classe rare, rapporter des scores moyennés macro plutôt que la précision. Tout cela est une pratique standard, et tout cela aide dans une certaine mesure.

Ce qui rend l'extraction d'arguments plus difficile, c'est que le déséquilibre n'est pas un artefact d'échantillonnage que l'on peut corriger en collectant plus de données. Il reflète la façon dont les gens écrivent. Dans un essai persuasif, l'auteur construit un argument, donc la plupart des phrases soutiennent la thèse par conception. L'augmentation du corpus augmente également le déséquilibre qui l'accompagne.

C'est pourquoi les rapports de terrain macro-F1 et les scores séparés par classe plutôt que la précision brute. Un modèle qui ne prédit jamais d'attaque peut afficher un chiffre global respectable tout en étant inutile pour ce pour quoi vous le vouliez. Ne lire que le chiffre principal cache complètement l'échec.

Le ton n'est pas seulement inutile — il est activement trompeur.

L'approche intuitive consiste à examiner la langue. Les mots négatifs, les atténuations, les formulations adversariales — cela signale sûrement une attaque.

Ils ne le font pas, et les contre-exemples ne sont pas des cas limites. Considérez une affirmation selon laquelle un projet est risqué. La phrase la pression des délais augmente le risque est formulée négativement et soutient cette affirmation — elle fournit une autre raison pour laquelle le projet est risqué. Maintenant, considérez les économies à long terme compenseront l'investissement initial, attachée à une affirmation selon laquelle les coûts sont prohibitifs. Des mots positifs tout au long, et cela attaque l'affirmation.

Que quelque chose soutienne ou attaque est une propriété de la relation, et non de la phrase. La même phrase attachée à un parent différent change son étiquette. C'est pourquoi l'analyse de sentiment, qui est très efficace dans ce qu'elle fait, est le mauvais outil : elle lit la phrase, et la réponse n'est pas dans la phrase.

L'objection à une étape qui n'a jamais été écrite.

La troisième raison est la plus profonde, et elle remonte à Toulmin. De nombreuses objections réelles ne contestent pas du tout les faits. Elles contestent l'<em>inférence</em> — le principe non énoncé reliant les preuves à la conclusion.

Quelqu'un cite une étude montrant une amélioration de la productivité de 13 % et conclut que la politique devrait être adoptée. L'objection est que la population étudiée n'était en rien semblable à cette organisation. Aucun fait n'a été contesté. Ce qui a été contesté, c'est le fondement : qu'un résultat là-bas se transfère ici. Ce principe n'apparaît nulle part dans le compte rendu, car personne ne l'a jamais dit.

Comme le premier article de cette série l'a couvert, la reconstruction des garanties était l'idée centrale de Toulmin et reste le problème le moins résolu du domaine. Un système chargé de classer une relation doit parfois reconstruire une proposition qui n'est pas dans son entrée, puis décider si l'objection vise cette proposition, la preuve ou la conclusion.

Mais un modèle plus grand résout sûrement ce problème ?

C'est l'attente raisonnable, et elle a été partiellement erronée assez longtemps pour être intéressante.

Scale aide à la connaissance et à la fluidité, et cela a réellement amélioré l'extraction d'arguments — cette histoire est le prochain article de cette série. Mais aucun des trois problèmes ci-dessus n'est un problème de connaissance. Le déséquilibre est une propriété de la façon dont les gens écrivent. La dépendance au contexte est une propriété de la définition de la tâche. Le manque de garantie est une propriété du texte.

Un modèle plus grand lisant la même transcription ne trouve toujours pas de phrase énonçant le principe dont il a besoin, voit toujours principalement un accord sur ce sur quoi il a été ajusté, et doit toujours décider à quel des trois cibles plausibles une objection était destinée. La capacité a augmenté ; la structure du problème n'a pas changé.

Ce qui aide réellement

• Évaluez les classes séparément. Un seul chiffre principal permet à un modèle qui ne prédit jamais de désaccord de sembler compétent. Le F1 par classe rend l'échec visible immédiatement.
• Demandez au parent, jamais au sujet. La seule question qui donne une étiquette correcte est ce que cette contribution fait à la chose directement au-dessus.
• Rendre le raisonnement explicite avant le verdict. Forcer une justification écrite de la relation avant de s'engager à soutenir ou à attaquer met en lumière l'erreur tant qu'elle peut encore être détectée.
• Gardez un humain dans la boucle pour la classe rare. Le désaccord est l'endroit où les modèles sont les plus faibles et où la valeur est la plus élevée — précisément l'endroit où il faut porter une attention particulière lors de la révision.

La classe utile est la rare.

Tout dans les données pousse un système vers l'accord. La distribution le récompense, la formulation l'égare vers cela, et l'étape de connexion cruciale est souvent complètement absente du texte.

Et la seule chose dont vous aviez réellement besoin était l'objection à laquelle personne n'a répondu. C'est pourquoi c'est le problème le plus difficile dans l'extraction d'arguments, et pourquoi cela vaut l'effort : la classe rare est la classe utile.

La série d'extraction d'arguments

Cinq articles sur la façon dont les machines ont appris à lire des arguments — d'où vient le domaine, pourquoi ses problèmes difficiles sont difficiles, et comment nous l'appliquons.