最も重要なクラスは、最も少ないクラスです。

議論マイニングシステムが訓練され、評価されるコーパスでは、意見の不一致は稀です。注釈付きの関係の圧倒的多数は支持関係であり、これはその主張を裏付ける理由です。攻撃関係 — この反論はその理由を弱める — は少数派であり、一部のデータセットではラベル付けされたリンクの十分の一未満です。

その単一の事実が、この分野で最も頑固な失敗モードを生み出します。毎回サポートを予測するシステムは、ほとんどの時間で正しいため、その分布から学ぶモデルは同じバイアスを吸収します。それは受け入れられるようになります。

それは、あなたがそれを展開する理由とは正反対です。誰も6ヶ月後に、皆が何に同意したのかを考え直すことはありません。彼らは異議を求めています — そしてその異議は、モデルが最も自信がなく、最も予測する可能性が低いクラスです。

なぜここでの不均衡が他の場所よりも悪化しているのか

クラスの不均衡は、通常の機械学習の問題であり、通常の機械学習の対策があります — 損失の重み付け、希少クラスのオーバーサンプリング、精度ではなくマクロ平均スコアを報告することです。これらはすべて標準的な手法であり、すべてが多少は役立ちます。

議論のマイニングを難しくするのは、その不均衡が、より多くのデータを収集することで修正できるサンプリングアーティファクトではないからです。それは人々の書き方を反映しています。説得力のあるエッセイでは、著者は主張を構築しているため、ほとんどの文は意図的に主題を支持しています。コーパスを拡大すると、その不均衡も一緒に拡大します。

これが、フィールドレポートがマクロ-F1とクラスごとのスコアを生の精度ではなく使用する理由です。攻撃を一度も予測しないモデルは、望んでいた目的には役に立たないにもかかわらず、見た目上は立派な全体の数字を示すことができます。見出しの数字だけを読むことは、失敗を完全に隠してしまいます。

トーンは単に役に立たないだけでなく、積極的に誤解を招くものです。

直感的なアプローチは言語を見ることです。否定的な言葉、控えめな表現、対立的な言い回し — それらは確かに攻撃を示しています。

彼らはそうではなく、反例はエッジケースではありません。プロジェクトがリスクが高いという主張を考えてみてください。文の中のタイムラインのプレッシャーがリスクを増加させるは否定的に表現されており、その主張を支持しています — プロジェクトがリスクが高い別の理由を提供しています。次に、長期的な節約が初期投資を相殺するという文を考えてみてください。これはコストが高すぎるという主張に付随しています。全体的にポジティブな言葉が使われており、これはその主張を攻撃しています。

何かが支持するか攻撃するかは、関係の特性であり、文の特性ではありません。同じ文が異なる親に付けられると、そのラベルが反転します。これが、非常に優れた機能を持つ感情分析が間違ったツールである理由です。それは文を読み取りますが、答えは文の中にはありません。

書かれたことのないステップへの異議

第三の理由は最も深いもので、トゥールミンに遡ります。多くの実際の反論は、事実そのものを争うのではありません。それらは<em>推論</em>、すなわち証拠と結論を結びつける暗黙の原則を争います。

誰かが13%の生産性向上を示す研究を引用し、その政策を採用すべきだと結論付けます。反論は、その研究の対象集団がこの組織とはまったく異なるということです。事実は何も異議を唱えられていません。挑戦されたのは根拠です：その結果がここに適用されるということです。その原則は議事録のどこにも現れていません。なぜなら、誰もそれを言ったことがないからです。

このシリーズの最初の投稿で述べたように、根拠の再構築はトゥールミンの中心的な洞察であり、依然としてこの分野で最も解決されていない問題です。関係を分類するように求められたシステムは、時には入力に含まれていない命題を再構築し、その後、反論がその命題、証拠、または結論を対象としているかを判断しなければなりません。

しかし、より大きなモデルがこれを解決するはずではありませんか？

これは合理的な期待であり、興味深いほど長い間部分的に間違っていました。

スケールは知識と流暢さを助け、実際に議論のマイニングを改善しました — その話はこのシリーズの次の投稿です。しかし、上記の3つの問題のいずれも知識の問題ではありません。アンバランスは人々の書き方の特性です。文脈依存性はタスク定義の特性です。欠落している根拠はテキストの特性です。

より大きなモデルが同じトランスクリプトを読み取っても、必要な原則を述べた文は見つからず、調整された内容に対して主に合意が見られ、異議がどの三つの妥当なターゲットに向けられたのかを決定しなければならない。能力は向上したが、問題の構造は変わらなかった。

実際に役立つこと

• クラスごとにスコアを付ける。 単一の見出しの数字は、意見の不一致を決して予測しないモデルを有能に見せる。クラスごとのF1は、失敗をすぐに可視化する。
• 親について尋ね、トピックについては尋ねないでください。 正しいラベルを得る唯一の質問は、この貢献がその上に直接あるものに何をするかです。
• 判決の前に理由を明示する。 支持または攻撃にコミットする前に関係の書面による正当化を強制することで、まだ捕まえられるうちに誤りが浮き彫りになります。
• 稀なクラスのために人間をループに保つ。 意見の不一致はモデルが最も弱いところであり、価値が最も高いところでもあります — まさにレビューの注意を払うべき場所です。

役に立つクラスは珍しいクラスです

データに関するすべてが、システムを合意に向かわせます。分布はそれを報酬し、表現はそれに誤解を招き、重要な接続ステップはしばしばテキストから完全に欠けています。

そして、実際に必要だったのは誰も答えなかった反論でした。だからこそ、これは議論マイニングにおける最も難しい問題であり、努力する価値があるのです：稀なクラスが有用なクラスなのです。

議論マイニングシリーズ

機械が議論を読む方法を学んだ5つの投稿 — この分野の起源、なぜその難しい問題が難しいのか、そして私たちがどのようにそれを応用しているのか。