Класс, который имеет наибольшее значение, — это тот, которого меньше всего.

В корпусах, на которых обучаются и оцениваются системы извлечения аргументов, разногласия редки. Подавляющее большинство аннотированных отношений — это поддержка: эта причина подтверждает то утверждение. Отношения атаки — это возражение подрывает ту причину — составляют небольшое меньшинство, в некоторых наборах данных менее одной десятой аннотированных связей.

Этот единственный факт приводит к наиболее упрямому режиму отказа в этой области. Система, которая просто предсказывает поддержку каждый раз, оказывается правой большую часть времени, и любая модель, обучающаяся на этом распределении, впитывает тот же самый уклон. Она становится согласованной.

Что является совершенно противоположным тому, почему вы бы развернули один. Никто не пересматривает решение через шесть месяцев, задаваясь вопросом, о чем все согласились. Им нужно возражение — а возражение это тот класс, в котором модель наименее уверена и наименее вероятно предскажет.

Почему дисбаланс здесь хуже, чем в других местах

Несбалансированность классов — это обычная проблема машинного обучения с обычными решениями машинного обучения: переоценка потерь, увеличение выборки редкого класса, отчет о макро-средних показателях вместо точности. Все это является стандартной практикой и в какой-то степени помогает.

Что делает извлечение аргументов более сложным, так это то, что дисбаланс не является артефактом выборки, который можно исправить, собрав больше данных. Он отражает, как люди пишут. В убедительном эссе автор строит аргументацию, поэтому большинство предложений по замыслу поддерживают тезис. Масштабирование корпуса масштабирует и дисбаланс.

Вот почему полевые отчеты используют макро-F1 и отдельные оценки по классам, а не сырую точность. Модель, которая никогда не предсказывает атаку, может показать приличное общее число, оставаясь при этом бесполезной для той задачи, для которой вы ее хотели. Чтение только заголовочной цифры полностью скрывает провал.

Тон не просто бесполезен — он активно вводит в заблуждение.

Интуитивный подход заключается в том, чтобы обратить внимание на язык. Негативные слова, уклончивые выражения, противоречивые формулировки — это, безусловно, сигнализирует о нападении.

Они не делают этого, и контрпримеры не являются крайними случаями. Рассмотрим утверждение, что проект рискован. Предложение давление сроков увеличивает риск сформулировано негативно и поддерживает это утверждение — оно предоставляет еще одну причину, по которой проект рискован. Теперь рассмотрим долгосрочные сбережения компенсируют первоначальные инвестиции, прикрепленное к утверждению, что затраты непомерны. Позитивные слова на протяжении всего текста, и это атакует утверждение.

То, поддерживает ли что-то или атакует, является свойством отношения, а не предложения. То же самое предложение, прикрепленное к другому родителю, меняет свою метку. Вот почему анализ настроений, который очень хорош в том, что он делает, является неправильным инструментом: он читает предложение, а ответ не содержится в предложении.

Возражение против шага, который никогда не был записан.

Третья причина является самой глубокой и восходит к Тулмину. Многие реальные возражения вовсе не оспаривают факты. Они оспаривают <em>вывод</em> — неявный принцип, связывающий доказательства с заключением.

Кто-то ссылается на исследование, показывающее 13% улучшение производительности, и делает вывод, что эту политику следует принять. Возражение заключается в том, что исследуемая группа не имеет ничего общего с этой организацией. Ни один факт не был оспорен. Оспорена была только обоснованность: что результат там переносится сюда. Этот принцип нигде не упоминается в стенограмме, потому что никто никогда этого не говорил.

Как первый пост в этой серии освещал, реконструкция гарантии была центральным открытием Тулмина и остается наименее решенной проблемой в этой области. Система, которой поручено классифицировать отношение, иногда должна реконструировать предложение, которого нет в ее входных данных, а затем решить, нацелена ли возражение на это предложение, доказательства или вывод.

Но ведь более крупная модель решит эту проблему?

Это разумное ожидание, и оно было частично неверным достаточно долго, чтобы это было интересно.

Масштаб помогает с знанием и беглостью, и он действительно улучшил извлечение аргументов — эта история является следующим постом в этой серии. Но ни одна из трех вышеупомянутых проблем не является проблемой знания. Дисбаланс — это свойство того, как люди пишут. Зависимость от контекста — это свойство определения задачи. Недостающий гарант — это свойство текста.

Более крупная модель, читающая тот же транскрипт, по-прежнему не находит предложения, утверждающего необходимый принцип, по-прежнему видит в основном согласие в том, на чем она была настроена, и по-прежнему должна решить, к какой из трех правдоподобных целей была направлена возражение. Возможности возросли; структура проблемы не изменилась.

Что на самом деле помогает

• Оцените классы отдельно. Единый заголовочный номер позволяет модели, которая никогда не предсказывает несогласие, выглядеть компетентной. F1 для каждого класса сразу делает неудачу видимой.
• Спросите о родителе, никогда о теме. Единственный вопрос, который дает правильную метку, это то, что этот вклад делает с вещью, непосредственно выше него.
• Сделайте рассуждение явным перед вердиктом. Принуждение к письменному обоснованию связи перед тем, как принять решение о поддержке или атаке, выявляет ошибку, пока её ещё можно исправить.
• Держите человека в курсе для редкого класса. Разногласия — это то, где модели слабее всего и где ценность наивысшая — именно то место, на которое стоит обратить внимание при проверке.

Полезный класс — это редкий класс.

Все в данных подталкивает систему к согласию. Распределение вознаграждает это, формулировка вводит в заблуждение, а ключевой связующий шаг часто полностью отсутствует в тексте.

И единственное, что вам действительно нужно, это возражение, на которое никто не ответил. Вот почему это самая сложная проблема в анализе аргументов и почему это стоит усилий: редкий класс — это полезный класс.

Серия извлечения аргументов

Пять постов о том, как машины научились читать аргументы — откуда возникла эта область, почему её сложные задачи сложны и как мы это применяем.