두 전문가, 한 단락, 두 가지 다른 답변

두 명의 훈련된 주석자에게 학생 에세이의 같은 단락을 주고 간단한 질문을 하세요: 어떤 문장이 주장이고, 어떤 문장이 그에 대한 이유인지? 그들은 종종 의견이 다를 것입니다. 주제에 대해서도, 주장이 좋은지에 대해서도 아니라, 그것이 어디에 있는지에 대해 다를 것입니다.

이것은 계산적 논증 채굴의 첫 번째 10년을 형성한 사실이며, 과소평가하기 쉽습니다. 모든 하위 작업은 이에 의존합니다: 사람들이 일관되게 수행할 수 없는 작업에 대한 벤치마크를 구축할 수 없으며, 인간이 공유하지 않는 판단에 대해 모델이 인간 성능을 초월한다고 주장할 수 없습니다.

마지막 이메일 스레드에서 직접 시도해 보세요. 주장을 표시하는 것은 보통 쉽습니다. 각 반대 의견이 어떤 문장을 겨냥했는지를 표시하는 것이 당신이 주저하기 시작하는 부분입니다 — 그리고 그 주저함이 이 10년의 전체 이야기입니다.

이론이 20년 동안 사용되지 않은 이유

1990년대 초까지 이론적 장치가 완성되었습니다. 툴민은 이 분야에 해부학을 제공했고, 월튼은 추론 패턴의 목록을 제공했으며, 프리먼은 결론을 공격하는 것과 그 결론에 대한 추론을 공격하는 것의 구별을 제시했습니다. 이 시리즈의 첫 번째 포스트에서 다룬 바와 같이, 주장은 레이블이 붙은 그래프로 재설명되었습니다.

라벨이 붙은 그래프는 원칙적으로 컴퓨터가 점수를 받을 수 있는 것입니다. 실제로는 점수를 매길 기준이 필요합니다. 주석이 달린 데이터가 없으면 서로 다른 결과를 주장하는 두 연구 그룹은 이를 해결할 방법이 없으며, 결과를 비교할 수 없는 분야는 진정한 분야가 아닙니다. 그것은 데모의 모음입니다.

따라서 주장을 채굴하는 것을 학문으로 발전시킨 10년은 알고리즘의 10년이 아니었습니다. 그것은 주석 가이드라인의 10년이었습니다.

작업을 정의한 세 가지 말뭉치

다양한 연구 그룹이 서로 다른 장르를 주석 달았으며, 장르 선택은 누구나 처음 예상했던 것보다 더 중요했다.

• 설득력 있는 에세이 (Stab & Gurevych). 주장, 전제 및 그들 간의 지지/공격 관계에 대해 주석이 달린 학생의 논쟁 에세이. 명확하게 주장을 하려고 명시적으로 노력한 사람들에 의해 구조화된 글쓰기 — 텍스트가 얻을 수 있는 것 중에서 가장 유리한 경우입니다.
• 주장적 마이크로텍스트 (Peldszus & Stede). 주장 구조를 연구하기 위해 특별히 제작된 짧고 통제된 텍스트로, 각각은 의도된 형태를 가진 간결한 주장입니다. 작고 깔끔하며 구조적 질문에 대한 답변이 있도록 설계되었습니다.
• 공공 규제 제정 의견 (박 & 카르디). 미국 규제 상담에 제출된 대중의 의견. 실제로, 수정되지 않은, 자주 산만한 — 조직들이 실제로 가지고 있는 텍스트와 훨씬 더 가까운.

깨끗한 상태에서 지저분한 상태로의 그 진행은 주목할 만한 유용한 점입니다. 목록을 아래로 내려갈수록 성능이 떨어지며, 특히 관계에서 가장 많이 떨어집니다. 에세이는 우호적인 경우였고, 그곳에서도 관계 수치는 미미했습니다.

주석자 간 합의가 진정한 한계다

주석 프로젝트는 독립적인 주석자들이 얼마나 자주 동의하는지를 보고하며, 논증 채굴에서 그 숫자는 각주가 아닙니다. 그것은 한계입니다.

같은 지침을 따르는 두 명의 훈련된 인간이 어떤 전제가 어떤 주장에 연결되는지에 대해 중간 정도만 동의한다면, 그들 중 한 명에 대해 평가된 모델은 다른 모델을 이겼다고 의미 있게 설명될 수 없다. 측정 자체가 모델보다 먼저 불안정해진다.

합의는 관계보다 구성 요소에서 일관되게 더 높습니다 — 사람들은 어떤 문장이 주장인지에 대해 대체로 동의하지만, 그것이 무엇에 대한 응답인지에 대해서는 의견이 다릅니다. 그 단일 비대칭은 나중에 벤치마크가 보여줄 모든 것을 예측했습니다.

지침은 이론을 실행 가능하게 만든 것입니다.

주석 가이드라인은 사무 작업처럼 들립니다. 이는 사양에 더 가깝습니다. 이론이 남긴 모든 모호성은 주석자가 시작하기 전에 해결되어야 하며, 각 해결은 실제로 약속을 의미합니다.

수사적 질문은 주장인가요? 결론에서의 재진술은 새로운 요소로 간주되나요, 아니면 같은 요소로 간주되나요? 한 문장이 두 가지 주장을 동시에 지지할 때, 그것은 두 주장 모두에 연결되나요, 아니면 더 가까운 주장에 연결되나요, 아니면 더 일반적인 주장에 연결되나요? 누군가 반박하기 전에 한 점을 양보한다면, 그 양보는 자신의 입장에 대한 공격인가요?

이들 중 어떤 것도 명확한 답이 없으며, 각 말뭉치는 약간씩 다르게 대답했습니다. 그래서 모델이 말뭉치 간에 잘 전이되지 않는 것입니다: 그들은 부분적으로 장르를 배우고, 부분적으로는 한 팀의 질문에 대한 답변을 배우고 있습니다.

하지만 데이터를 더 주석 처리할 수는 없나요?

자연스러운 반응이며, 구성 요소 감지에는 대체로 효과적이었습니다. 더 많은 주석이 달린 범위가 더 나은 범위 감지를 생성했습니다. 이 분야의 그 부분은 꾸준하고 예측 가능하게 개선되었습니다.

관계에 대해서는 그렇지 않았으며, 그 이유는 양의 문제가 아니라 구조적인 문제입니다. 관계는 문장 외부의 맥락에 의존하는데, 이는 일관되게 주석을 달기에는 비용이 많이 듭니다. 불일치 관계는 드물기 때문에 말뭉치를 확장하면 불균형도 함께 확장됩니다. 그리고 연결 단계는 자주 명시되지 않기 때문에 주석 작성자는 텍스트에서 보이는 것을 표시하는 것이 아니라 그것의 재구성을 표시하고 있습니다.

더 많은 데이터는 문제를 해결하기보다는 세 가지 문제를 모두 악화시킵니다. 그 주장은 다음 게시물의 주제입니다.

10년이 남긴 것

두 가지, 둘 다 여전히 하중을 지탱하고 있습니다.

첫 번째는 작업 정의 자체입니다. 현재 모든 논증 채굴 논문이 시작하는 네 부분으로 나누어진 구조 — 구성 요소 찾기, 레이블 지정, 연결, 링크 분류 — 는 이러한 주석 프로젝트의 산물이지 철학의 산물이 아닙니다. 툴민은 결코 파이프라인을 제안하지 않았습니다.

두 번째는 기준 집합입니다. 현대 시스템이 숫자를 보고할 때, 일반적으로 이 세기에 주석이 달린 에세이나 마이크로 텍스트에 대한 보고입니다. 이는 논문 간 수치를 비교할 때 기억할 가치가 있습니다: 두 개의 서로 다른 말뭉치에서 동일한 메트릭 이름은 동일한 측정이 아니며, 많은 발표된 비교가 이를 조용히 무시합니다.

실험실 밖에서 이것이 의미하는 바

• 인간이 논쟁이 어디에 있는지 합의하지 못한다면, 어떤 도구도 당신에게 확신을 줄 수 없습니다. 추출된 구조를 수용할 판결이 아니라 수정할 초안으로 취급하세요.
• 장르가 양보다 더 중요하다. 깔끔한 에세이에 맞춰 조정된 시스템은 방해와 미완성된 생각으로 가득한 회의록에서 매우 다른 문제에 직면한다.
• 목표에 대한 이견이 진짜 신호입니다. 두 사람이 이의 제기가 서로 다른 것에 향했다고 생각할 때, 그 간극이 보통 결정이 실제로 막혀 있는 곳입니다.
• 코퍼스 내에서만 벤치마크 숫자를 비교하십시오. 다른 데이터셋에서 동일한 메트릭은 레이블이 비슷해 보이더라도 다른 측정입니다.

주장이 있는 곳

주석의 10년은 이 이야기에서 가장 화려하지 않은 부분이며, 모든 것이 의존하는 부분입니다. 아무리 큰 모델이라도, 그 점수판이 때때로 서로 의견이 일치하지 않았던 사람들에 의해 만들어졌다는 사실에서 벗어날 수 없습니다.

자신의 회의에 가져가는 유용한 것입니다. 두 명의 훈련된 주석자가 서면 지침을 가지고도 주장을 찾는 것이 어렵다면, 팀이 결정을 계속 재논의하는 것은 규율 문제 아닙니다. 그것은 지침 없이 같은 문제입니다.

주장 채굴 시리즈

기계가 주장을 읽는 방법을 배운 다섯 가지 게시물 — 이 분야의 기원, 어려운 문제들이 왜 어려운지, 그리고 우리가 이를 어떻게 적용하는지.