Deux experts, un paragraphe, deux réponses différentes

Donnez à deux annotateurs formés le même paragraphe d'un essai d'étudiant et posez une question simple : quelle phrase est la revendication, et quelles phrases en sont les raisons ? Ils seront souvent en désaccord. Pas sur le sujet, pas sur la qualité de l'argument — mais sur son emplacement.

C'est le fait qui a façonné la première décennie de l'extraction d'arguments computationnels, et il est facile de le sous-estimer. Tout ce qui suit en dépend : vous ne pouvez pas construire un référentiel pour une tâche que les gens ne peuvent pas réaliser de manière cohérente, et vous ne pouvez pas prétendre qu'un modèle surpasse la performance humaine sur un jugement que les humains ne partagent pas.

Essayez-le vous-même sur le dernier fil de discussion par e-mail dans lequel vous avez argumenté. Marquer la revendication est généralement facile. Marquer à quelle phrase chaque objection était destinée est là où vous commencerez à hésiter — et cette hésitation est toute l'histoire de cette décennie.

Pourquoi la théorie est restée inutilisée pendant vingt ans

Au début des années 1990, l'appareil théorique était complet. Toulmin avait donné au domaine son anatomie, Walton son catalogue de schémas de raisonnement, Freeman la distinction entre attaquer une conclusion et attaquer l'inférence qui y mène. Comme nous l'avons abordé dans le premier article de cette série, un argument avait été redécrit comme un graphe étiqueté.

Un graphique étiqueté est quelque chose sur lequel un ordinateur peut être évalué — en principe. En pratique, vous avez besoin de quelque chose contre quoi l'évaluer. Sans données annotées, deux groupes de recherche revendiquant des résultats différents n'ont aucun moyen de trancher, et un domaine où les résultats ne peuvent pas être comparés n'est pas un domaine. C'est une collection de démonstrations.

Ainsi, la décennie qui a transformé l'extraction d'arguments en discipline n'a pas été une décennie d'algorithmes. C'était une décennie de directives d'annotation.

Les trois corpus qui ont défini la tâche

Différentes équipes de recherche ont annoté différents genres, et le choix du genre importait plus que quiconque ne l'avait initialement prévu.

• Essais persuasifs (Stab & Gurevych). Essais argumentatifs d'étudiants, annotés pour les revendications, les prémisses et les relations de soutien/attaque entre elles. Écriture structurée par des personnes qui essayaient explicitement d'argumenter clairement — aussi favorable que le texte puisse l'être.
• Microtextes argumentatifs (Peldszus & Stede). Textes courts contrôlés construits spécifiquement pour étudier la structure de l'argumentation, chacun étant un argument compact avec une forme délibérée. Petits, clairs et conçus de manière à ce que les questions structurelles aient des réponses.
• Commentaires sur l'élaboration des règles publiques (Park & Cardie). Commentaires soumis par le public aux consultations réglementaires américaines. Réels, non édités, souvent décousus — beaucoup plus proches du texte que les organisations ont réellement.

Cette progression du propre au désordonné est la chose utile à remarquer. La performance diminue à mesure que l'on descend dans la liste, et elle diminue le plus sur les relations. Les essais étaient le cas amical, et même là, les chiffres des relations étaient modestes.

L'accord inter-annotateurs est le véritable plafond.

Les projets d'annotation rapportent à quelle fréquence les annotateurs indépendants sont d'accord, et dans l'extraction d'arguments, ce chiffre n'est pas une note de bas de page. C'est le plafond.

Si deux humains formés suivant les mêmes directives ne s'accordent que modérément sur la prémisse qui se rattache à quelle affirmation, alors un modèle évalué par rapport à l'un d'eux ne peut pas être décrit de manière significative comme battant l'autre. La mesure elle-même devient instable avant que le modèle ne le soit.

L'accord est systématiquement plus élevé sur les composants que sur les relations — les gens s'accordent principalement sur la phrase qui constitue une affirmation, et divergent sur ce à quoi elle répond. Cette unique asymétrie a prédit tout ce que les références montreraient par la suite.

Les directives sont la théorie, mise en opération.

Une directive d'annotation ressemble à un travail de bureau. C'est plus proche d'une spécification. Chaque ambiguïté laissée ouverte par la théorie doit être résolue avant que les annotateurs puissent commencer, et chaque résolution est un véritable engagement.

Une question rhétorique est-elle une affirmation ? Une reformulation dans la conclusion compte-t-elle comme un nouveau composant ou le même ? Lorsqu'une phrase soutient deux affirmations à la fois, s'attache-t-elle aux deux, ou à la plus proche, ou à la plus générale ? Si quelqu'un concède un point avant de le réfuter, la concession est-elle une attaque contre sa propre position ?

Aucune de ces questions n'a de réponses évidentes, et chaque corpus y a répondu légèrement différemment. C'est pourquoi les modèles se transfèrent mal entre les corpus : ils apprennent en partie un genre, et en partie les réponses d'une équipe à ces questions.

Mais ne pourriez-vous pas simplement annoter plus de données ?

C'est la réponse naturelle, et pour la détection de composants, cela a globalement bien fonctionné. Plus de spans annotés ont produit une meilleure détection des spans. Cette partie du domaine s'est améliorée de manière constante et prévisible.

Pour les relations, cela ne s'est pas produit, et la raison est structurelle plutôt qu'une question de volume. Les relations dépendent du contexte en dehors de la phrase — ce qui est coûteux à annoter de manière cohérente. Les relations de désaccord sont rares, donc l'augmentation du corpus augmente également le déséquilibre qui l'accompagne. Et l'étape de connexion est souvent non exprimée, donc l'annotateur ne marque pas quelque chose de visible dans le texte ; il marque sa reconstruction de celui-ci.

Plus de données multiplient les trois problèmes au lieu de les résoudre. Cet argument est le sujet de le prochain article.

Ce que la décennie a laissé derrière elle

Deux choses, toutes deux encore porteuses.

Le premier est la définition de la tâche elle-même. La répartition en quatre parties avec laquelle chaque article sur l'extraction d'arguments commence maintenant — trouver les composants, les étiqueter, les lier, classifier les liens — est le produit de ces projets d'annotation, et non de la philosophie. Toulmin n'a jamais proposé de pipeline.

Le second est l'ensemble de référence établi. Lorsqu'un système moderne rapporte un chiffre, il le fait généralement sur des essais ou des microtextes annotés dans cette décennie. Cela vaut la peine de s'en souvenir lors de la comparaison des chiffres entre les articles : le même nom de métrique sur deux corpus différents n'est pas la même mesure, et de nombreuses comparaisons publiées ignorent discrètement cela.

Ce que cela signifie en dehors du laboratoire

• Si les humains ne peuvent pas s'accorder sur l'endroit où se trouve l'argument, aucun outil ne vous donnera de certitude. Considérez la structure extraite comme un brouillon à corriger, et non comme un verdict à accepter.
• Le genre compte plus que le volume. Un système réglé sur des essais bien structurés rencontre un problème très différent dans une transcription de réunion pleine d'interruptions et de pensées inachevées.
• Le désaccord sur les objectifs est le véritable signal. Lorsque deux personnes pensent qu'une objection visait des choses différentes, cet écart est généralement l'endroit où la décision est réellement bloquée.
• Comparez les chiffres de référence uniquement au sein d'un corpus. La même métrique sur un ensemble de données différent est une mesure différente, aussi similaire que l'étiquette puisse paraître.

Où se trouve l'argument

La décennie d'annotation est la partie la moins glamour de cette histoire et celle sur laquelle tout le reste repose. Aucun modèle, aussi grand soit-il, n'échappe au fait que son tableau de bord a été construit par des personnes qui, parfois, n'étaient pas d'accord entre elles sur l'endroit où se trouvait un argument.

Ce qui est une chose utile à apporter à vos propres réunions. Si trouver l'argument est difficile pour deux annotateurs formés avec un guide écrit, le fait que votre équipe continue de relitiger une décision n'est pas un problème de discipline. C'est le même problème, sans le guide.

La série d'extraction d'arguments

Cinq articles sur la façon dont les machines ont appris à lire des arguments — d'où vient le domaine, pourquoi ses problèmes difficiles sont difficiles, et comment nous l'appliquons.