La restricción que definía el campo simplemente dejó de aplicarse.

Durante veinte años, la respuesta a ¿podemos realizar minería de argumentos en nuestros datos? fue otra pregunta: ¿cuántos miles de sus documentos está dispuesto a que sean anotados a mano primero, y quién escribirá la guía?

Eso no era un detalle técnico. Era la razón por la que la minería de argumentos se quedó en los laboratorios de investigación mientras que el análisis de sentimientos se implementó en cada producto. El requisito de anotación convirtió cada nuevo dominio en un proyecto en lugar de una configuración, y como el segundo post de esta serie describió, las directrices mismas fueron objeto de controversia incluso entre especialistas.

Luego llegaron los modelos de lenguaje de propósito general y la pregunta dejó de hacerse. Ahora puedes apuntar uno a una transcripción de reunión en un dominio que nadie ha anotado nunca y obtener un primer intento utilizable. Si alguna vez te has preguntado por qué esta capacidad apareció en los productos de repente en lugar de gradualmente, esa es la razón.

Zero-Shot es toda la historia

Lo que cambió específicamente es la eliminación de la supervisión específica del dominio. Un modelo con indicaciones aporta una competencia general con el lenguaje y se le puede indicar qué es una afirmación y qué es una premisa, en la indicación, en el momento de la inferencia.

El trabajo publicado sobre la minería de argumentos basada en relaciones ha encontrado modelos de propósito general con indicaciones de pocos ejemplos que son competitivos con las líneas base de codificadores ajustados en múltiples conjuntos de datos, e incluso en algunos casos, superiores a ellos. Para un campo cuyo aparato de evaluación completo se construyó sobre entrenamiento supervisado contra corpora anotados, eso representa una verdadera discontinuidad.

Siguen tres consecuencias prácticas. La adaptación de dominio se convierte en un cambio de aviso en lugar de un reentrenamiento. Los documentos largos se vuelven manejables, porque las ventanas de contexto crecieron. Y el campo de evidencia puede llevar una explicación, porque se puede pedir al modelo que se justifique en la misma llamada, lo cual resulta ser más importante de lo que parece.

Los Tres Problemas Que No Se Movieron

Todo en el post anterior sigue siendo válido, y vale la pena ser preciso sobre por qué la escala no aborda nada de eso.

• El desequilibrio de clases es una propiedad de la escritura, no del entrenamiento. Las personas que construyen un argumento principalmente escriben oraciones de apoyo. Un modelo que ha leído toda la internet también ha leído principalmente acuerdos.
• La dependencia del contexto es una propiedad de la tarea. El apoyo y el ataque son relaciones, no atributos de la oración. La misma oración bajo un padre diferente tiene una etiqueta diferente, y ninguna cantidad de conocimiento del mundo cambia eso.
• La garantía no expresada es una propiedad del texto. Si el principio que vincula la evidencia a la conclusión nunca fue escrito, no está en la entrada. Un modelo más grande lee la misma oración ausente.

Hay un cuarto, más sutil. Un modelo fluido produce una salida fluida, por lo que sus errores llegan bien formulados y son internamente consistentes. Una etiqueta de relación incorrecta de un codificador parecía ruido. Una etiqueta de relación incorrecta de un modelo de lenguaje parece un argumento.

¿Qué significa Ayuda: Hacer que diga por qué primero?

La mejora más confiable disponible con estos modelos es casi vergonzosamente simple. Pide el razonamiento antes de la etiqueta.

Requerir que un modelo escriba lo que una contribución hace a su padre refuerza la objeción anterior, porque proporciona otra razón por la cual esa objeción se sostiene; antes de comprometerse a un veredicto de apoyo o ataque, mejora de manera medible el veredicto. El paso escrito obliga a la relación parental a entrar en el contexto de trabajo del modelo, que es exactamente la información que la redacción de la oración no logra proporcionar.

Esta es la versión máquina de una técnica completamente humana. Es por eso que steelmanning funciona: articular lo que un argumento está realmente haciendo, antes de juzgarlo, cambia el juicio.

¿Entonces, está resuelto el minado de argumentos?

No, y la forma de lo que queda ahora es más clara que nunca.

Lo que se ha resuelto, hablando prácticamente, es el acceso. Cualquier organización puede realizar minería de argumentos sobre su propio texto hoy en día sin un programa de anotación, lo cual era impensable hace unos años. Ese es un cambio real y significativo.

Lo que no está resuelto es la estructura: qué contribución responde a cuál, y en qué dirección, cuando el principio de conexión no se establece y los datos han entrenado a todos —humanos y máquinas— para esperar un acuerdo. La posición honesta es que la extracción ahora produce un buen borrador en cualquier dominio, y que una persona aún tiene que verificar los desacuerdos. Lo cual es una división del trabajo considerablemente mejor que aquella en la que nadie construyó la estructura en absoluto.

Cómo usar esto bien

• No clasifiques por confianza. Mide la certeza de extracción, no la importancia, y promueve sistemáticamente la evidencia sobre las afirmaciones.
• Pide la relación, no el sentimiento. La pregunta útil es qué hace esto a su padre — nunca cómo se siente al respecto.
• Haz que justifique la etiqueta antes de dársela. La razón escrita es lo que pone la relación parental en contexto, y es donde puedes detectar errores.
• Pasa tu tiempo de revisión en los desacuerdos. Ahí es donde los modelos son más débiles y donde se concentra el valor de la decisión.

Un mejor borrador, no un veredicto

El cuello de botella que mantenía la minería de argumentos en el laboratorio ha desaparecido y no volverá. Vale la pena ser claro al respecto: es la diferencia entre una técnica de investigación y algo que puedes señalar en tus propias reuniones.

Pero los problemas que eran difíciles en 1958 son difíciles ahora. La orden aún no está escrita, el desacuerdo sigue siendo raro y la etiqueta aún depende del padre en lugar de la redacción. Lo que ha cambiado es quién tiene el problema, lo cual, para un campo que pasó veinte años esperando a los anotadores, es un cambio suficiente.

La serie de minería de argumentos

Cinco publicaciones sobre cómo las máquinas aprendieron a leer argumentos: de dónde proviene el campo, por qué sus problemas difíciles son difíciles y cómo lo aplicamos.