Zwei Experten, ein Absatz, zwei unterschiedliche Antworten

Geben Sie zwei geschulte Annotatoren denselben Absatz eines Studentenaufsatzes und stellen Sie eine einfache Frage: welcher Satz die Behauptung ist und welche Sätze die Gründe dafür sind? Sie werden oft unterschiedlicher Meinung sein. Nicht über das Thema, nicht darüber, ob das Argument gut ist — sondern darüber, wo es sich befindet.

Dies ist die Tatsache, die das erste Jahrzehnt des computergestützten Argument Mining geprägt hat, und es ist leicht, sie zu unterschätzen. Alles, was danach kommt, hängt davon ab: Man kann keinen Benchmark für eine Aufgabe erstellen, die Menschen nicht konsistent ausführen können, und man kann nicht behaupten, dass ein Modell die menschliche Leistung bei einem Urteil übertrifft, das Menschen nicht teilen.

Versuche es selbst in dem letzten E-Mail-Thread, in dem du argumentiert hast. Die Kennzeichnung des Anspruchs ist normalerweise einfach. Zu kennzeichnen, auf welchen Satz sich jeder Einwand bezog, ist der Punkt, an dem du zu zögern beginnst — und dieses Zögern ist die ganze Geschichte dieses Jahrzehnts.

Warum die Theorie zwanzig Jahre ungenutzt blieb

Bis Anfang der 1990er Jahre war der theoretische Apparat vollständig. Toulmin hatte dem Bereich seine Anatomie gegeben, Walton seinen Katalog von Argumentationsmustern, Freeman die Unterscheidung zwischen dem Angreifen einer Schlussfolgerung und dem Angreifen der Inferenz zu ihr. Wie wir in dem ersten Beitrag dieser Reihe behandelt haben, war ein Argument als ein beschrifteter Graph neu beschrieben worden.

Ein beschrifteter Graph ist etwas, worauf ein Computer bewertet werden kann — prinzipiell. In der Praxis benötigt man jedoch etwas, gegen das man ihn bewerten kann. Ohne annotierte Daten haben zwei Forschungsgruppen, die unterschiedliche Ergebnisse behaupten, keine Möglichkeit, dies zu klären, und ein Bereich, in dem Ergebnisse nicht verglichen werden können, ist kein Bereich. Es ist eine Sammlung von Demos.

Das Jahrzehnt, das das Argument Mining zu einer Disziplin machte, war kein Jahrzehnt der Algorithmen. Es war ein Jahrzehnt der Annotierungsrichtlinien.

Die drei Korpora, die die Aufgabe definierten

Verschiedene Forschungsgruppen annotierten unterschiedliche Genres, und die Wahl des Genres war wichtiger als zunächst erwartet.

• Überzeugende Essays (Stab & Gurevych). Studentische argumentative Essays, annotiert für Ansprüche, Prämissen und die Unterstützungs-/Angriffsbeziehungen zwischen ihnen. Strukturiertes Schreiben von Personen, die ausdrücklich versucht haben, klar zu argumentieren — so günstig ist der Text.
• Argumentative Mikrotexte (Peldszus & Stede). Kurze kontrollierte Texte, die speziell zur Untersuchung der Argumentstruktur erstellt wurden, jeder ein kompaktes Argument mit einer gezielten Form. Klein, klar und so gestaltet, dass strukturelle Fragen beantwortet werden können.
• Öffentliche Regelsetzungsanmerkungen (Park & Cardie). Kommentare, die von der Öffentlichkeit zu US-regulatorischen Konsultationen eingereicht wurden. Echt, unzensiert, häufig abschweifend — viel näher am Text, den Organisationen tatsächlich haben.

Diese Entwicklung von sauber zu unordentlich ist das Nützliche, das man beachten sollte. Die Leistung sinkt, je weiter man nach unten in der Liste geht, und sie sinkt am stärksten bei den Beziehungen. Die Essays waren der freundliche Fall, und selbst dort waren die Beziehungszahlen bescheiden.

Inter-Annotator-Vereinbarung ist die wahre Obergrenze

Annotierungsprojekte berichten, wie oft unabhängige Annotatoren übereinstimmen, und im Argument Mining ist diese Zahl kein Fußnote. Sie ist die Obergrenze.

Wenn zwei ausgebildete Menschen, die denselben Richtlinien folgen, nur mäßig darüber einig sind, welche Prämisse zu welchem Anspruch gehört, kann ein Modell, das gegen eines von ihnen bewertet wird, nicht sinnvoll als überlegen gegenüber dem anderen beschrieben werden. Die Messung selbst wird instabil, bevor das Modell es tut.

Die Übereinstimmung ist durchgehend höher bei den Komponenten als bei den Beziehungen — die Menschen sind sich meist einig darüber, welcher Satz eine Behauptung ist, und unterscheiden sich darin, worauf er sich bezieht. Diese einzelne Asymmetrie sagte alles voraus, was die Benchmarks später zeigen würden.

Die Richtlinien sind die Theorie, die operationalisiert wurde.

Eine Annotationsrichtlinie klingt nach Büroarbeit. Sie ist näher an einer Spezifikation. Jede Mehrdeutigkeit, die die Theorie offen gelassen hat, muss gelöst werden, bevor die Annotatoren beginnen können, und jede Lösung ist ein echtes Engagement.

Ist eine rhetorische Frage eine Behauptung? Zählt eine Wiederholung in der Schlussfolgerung als neues Element oder als dasselbe? Wenn ein Satz gleichzeitig zwei Behauptungen unterstützt, bezieht er sich auf beide, auf die nähere oder auf die allgemeinere? Wenn jemand einen Punkt einräumt, bevor er ihn widerlegt, ist das Zugeständnis ein Angriff auf die eigene Position?

Keine dieser Fragen hat offensichtliche Antworten, und jedes Korpus hat sie leicht unterschiedlich beantwortet. Das ist der Grund, warum Modelle schlecht zwischen Korpora übertragen werden: Sie lernen teilweise ein Genre und teilweise die Antworten eines Teams auf diese Fragen.

Aber könntest du nicht einfach mehr Daten annotieren?

Es ist die natürliche Reaktion, und für die Komponentenerkennung hat es im Großen und Ganzen funktioniert. Mehr annotierte Spannen führten zu einer besseren Spannerkennung. Dieser Teil des Feldes hat sich stetig und vorhersehbar verbessert.

Für Relationen tat es das nicht, und der Grund ist strukturell und nicht eine Frage des Volumens. Relationen hängen vom Kontext außerhalb des Satzes ab — was teuer ist, um konsistent zu annotieren. Meinungsverschiedenheitsrelationen sind selten, daher skaliert das Vergrößern des Korpus das Ungleichgewicht mit. Und der verbindende Schritt wird häufig nicht ausgesprochen, sodass der Annotator nichts Sichtbares im Text markiert; sie markieren ihre Rekonstruktion davon.

Mehr Daten multiplizieren alle drei Probleme, anstatt sie zu lösen. Dieses Argument ist das Thema des nächsten Beitrags.

Was das Jahrzehnt hinterlassen hat

Zwei Dinge, beide noch tragend.

Die erste ist die Aufgabenstellung selbst. Die vierteilige Gliederung, mit der jedes Argument-Mining-Papier jetzt beginnt — die Komponenten finden, sie kennzeichnen, sie verknüpfen, die Verknüpfungen klassifizieren — ist ein Produkt dieser Annotierungsprojekte, nicht der Philosophie. Toulmin hat nie eine Pipeline vorgeschlagen.

Der zweite ist der Benchmark-Satz. Wenn ein modernes System eine Zahl meldet, bezieht es sich normalerweise auf Essays oder Mikrotexte, die in diesem Jahrzehnt annotiert wurden. Das ist wichtig zu beachten, wenn man Zahlen zwischen Arbeiten vergleicht: Der gleiche Metrikname in zwei verschiedenen Korpora ist nicht dasselbe Maß, und viele veröffentlichte Vergleiche ignorieren das stillschweigend.

Was das außerhalb des Labors bedeutet

• Wenn Menschen sich nicht einig sind, wo das Argument liegt, wird kein Werkzeug dir Sicherheit geben. Behandle die extrahierte Struktur als Entwurf zur Korrektur, nicht als Urteil zur Akzeptanz.
• Das Genre ist wichtiger als das Volumen. Ein System, das auf ordentliche Essays abgestimmt ist, hat ein ganz anderes Problem bei einem Sitzungsprotokoll, das voller Unterbrechungen und halbfertiger Gedanken ist.
• Die Uneinigkeit über die Ziele ist das eigentliche Signal. Wenn zwei Personen denken, dass ein Einwand auf unterschiedliche Dinge abzielte, ist diese Lücke normalerweise der Punkt, an dem die Entscheidung tatsächlich feststeckt.
• Vergleichen Sie Benchmark-Zahlen nur innerhalb eines Korpus. Die gleiche Kennzahl in einem anderen Datensatz ist eine andere Messung, egal wie ähnlich das Label aussieht.

Wo das Argument ist

Das Jahrzehnt der Annotation ist der am wenigsten glamouröse Teil dieser Geschichte und der Teil, auf dem alles andere basiert. Kein Modell, so groß es auch sein mag, entkommt der Tatsache, dass sein Punktestand von Menschen erstellt wurde, die manchmal unterschiedlicher Meinung darüber waren, wo sich ein Argument befand.

Was eine nützliche Sache ist, um sie in Ihre eigenen Meetings mitzunehmen. Wenn es für zwei geschulte Annotatoren mit einer schriftlichen Richtlinie schwierig ist, das Argument zu finden, ist die Tatsache, dass Ihr Team eine Entscheidung immer wieder neu verhandelt, kein Disziplinproblem. Es ist dasselbe Problem, nur ohne die Richtlinie.

Die Argumentationsbergbau-Serie

Fünf Beiträge darüber, wie Maschinen gelernt haben, Argumente zu lesen — woher das Feld stammt, warum seine schwierigen Probleme schwierig sind und wie wir es anwenden.