الفصل الذي يهم أكثر هو الذي يوجد منه أقل

في المجموعات التي يتم تدريب أنظمة استخراج الحجج وقياسها عليها، يكون الاختلاف نادرًا. الغالبية العظمى من العلاقات المعلّمة هي دعم: هذا السبب يدعم ذلك الادعاء. علاقات الهجوم - هذا الاعتراض يضعف ذلك السبب - هي أقلية صغيرة، في بعض مجموعات البيانات أقل من عُشر الروابط المعلّمة.

تنتج هذه الحقيقة الوحيدة أكثر أنماط الفشل عنادًا في هذا المجال. النظام الذي يتنبأ بالدعم في كل مرة يكون صحيحًا في معظم الأوقات، وأي نموذج يتعلم من تلك التوزيعة يمتص نفس التحيز. يصبح متوافقًا.

وهو عكس ما يجب أن يكون عليه السبب الذي يجعلك تستخدمه. لا أحد يعيد النظر في قرار بعد ستة أشهر متسائلاً عما اتفق عليه الجميع. إنهم يريدون الاعتراض - والاعتراض هو الفئة التي يكون النموذج أقل ثقة بها وأقل احتمالاً للتنبؤ بها.

لماذا يكون عدم التوازن أسوأ هنا مقارنة بأماكن أخرى

عدم توازن الفئات هو مشكلة عادية في تعلم الآلة مع حلول عادية لتعلم الآلة — إعادة وزن الخسارة، زيادة عينة الفئة النادرة، الإبلاغ عن الدرجات المتوسطة المجمعة بدلاً من الدقة. كل ذلك هو ممارسة قياسية، وكل ذلك يساعد إلى حد ما.

ما يجعل استخراج الحجج أكثر صعوبة هو أن عدم التوازن ليس عيبًا في العينة يمكنك تصحيحه من خلال جمع المزيد من البيانات. إنه يعكس كيفية كتابة الناس. في المقالة الإقناعية، يقوم المؤلف ببناء قضية، لذا فإن معظم الجمل تدعم الأطروحة عن قصد. إن توسيع مجموعة البيانات يؤدي إلى توسيع عدم التوازن معها.

لهذا السبب تقارير الميدان macro-F1 ودرجات الفئات المنفصلة بدلاً من الدقة الخام. يمكن أن يقدم نموذج لا يتنبأ أبداً بالهجوم رقماً إجمالياً يبدو محترماً بينما يكون عديم الفائدة للغرض الذي أردته. قراءة الرقم الرئيسي فقط تخفي الفشل تماماً.

النبرة ليست مجرد غير مفيدة — بل هي مضللة بنشاط

النهج البديهي هو النظر إلى اللغة. الكلمات السلبية، التخفيف، الصياغة العدائية - بالتأكيد تشير إلى هجوم.

إنهم لا يفعلون، والأمثلة المضادة ليست حالات شاذة. اعتبر ادعاءً بأن المشروع ينطوي على مخاطر. الجملة ضغط الجدول الزمني يزيد من المخاطر مصاغة بشكل سلبي و تدعم هذا الادعاء - فهي تقدم سببًا آخر يجعل المشروع محفوفًا بالمخاطر. الآن اعتبر التوفير على المدى الطويل سيعوض الاستثمار الأولي، المرتبط بادعاء أن التكاليف باهظة. كلمات إيجابية في كل مكان، وهي تهاجم الادعاء.

سواء كان شيء ما يدعم أو يهاجم هو خاصية من العلاقة، وليس من الجملة. الجملة نفسها المرتبطة بأب مختلف تغير علامتها. لهذا السبب، فإن تحليل المشاعر، الذي هو جيد جدًا في ما يفعله، هو الأداة الخاطئة: إنه يقرأ الجملة، والإجابة ليست في الجملة.

الاعتراض على خطوة لم تُكتب أبداً

السبب الثالث هو الأعمق، ويعود إلى تولمين. العديد من الاعتراضات الحقيقية لا تتنازع الحقائق على الإطلاق. إنما تتنازع <em>الاستنتاج</em> — المبدأ غير المصرح به الذي يربط الأدلة بالاستنتاج.

يستشهد شخص بدراسة تظهر تحسنًا في الإنتاجية بنسبة 13% ويستنتج أنه يجب اعتماد السياسة. الاعتراض هو أن عينة الدراسة لم تكن مشابهة لهذه المنظمة. لم يتم الطعن في أي حقيقة. ما تم الطعن فيه هو الضمان: أن النتيجة هناك تنتقل إلى هنا. لا يظهر هذا المبدأ في النص، لأن لا أحد قاله أبدًا.

كما غطى المنشور الأول في هذه السلسلة، كانت إعادة بناء الضمانة هي الفكرة المركزية لتولمين وتظل أقل مشكلة تم حلها في هذا المجال. يجب على النظام المطلوب منه تصنيف علاقة ما أحيانًا إعادة بناء اقتراح غير موجود في مدخلاته، ثم يقرر ما إذا كانت الاعتراضات تستهدف ذلك الاقتراح، أو الأدلة، أو الاستنتاج.

لكن بالتأكيد نموذج أكبر يحل هذه المشكلة؟

هذا هو التوقع المعقول، وقد كان خاطئًا جزئيًا لفترة طويلة بما يكفي ليكون مثيرًا للاهتمام.

يساعد المقياس في المعرفة والطلاقة، وقد حسّن حقًا استخراج الحجج — تلك القصة هي المنشور التالي في هذه السلسلة. لكن لا واحدة من المشاكل الثلاثة المذكورة أعلاه هي مشكلة معرفة. عدم التوازن هو خاصية من خصائص كيفية كتابة الناس. الاعتماد على السياق هو خاصية من خصائص تعريف المهمة. الضمان المفقود هو خاصية من خصائص النص.

نموذج أكبر يقرأ نفس النص لا يزال لا يجد جملة تنص على المبدأ الذي يحتاجه، ولا يزال يرى في الغالب توافقًا في أي شيء تم ضبطه عليه، ولا يزال يتعين عليه أن يقرر أي من الأهداف الثلاثة المحتملة كانت الاعتراضات موجهة إليه. ارتفعت القدرة؛ لكن هيكل المشكلة لم يتغير.

ما الذي يساعد فعلاً

• قيم الفصول بشكل منفصل. رقم العنوان الواحد يجعل النموذج الذي لا يتنبأ بالاختلاف يبدو كفؤ. يجعل F1 لكل فصل الفشل مرئيًا على الفور.
• اسأل عن الوالد، لا عن الموضوع. السؤال الوحيد الذي يعطي تسمية صحيحة هو ما الذي تفعله هذه المساهمة للشيء الموجود مباشرة فوقها.
• اجعل التفكير واضحًا قبل الحكم. إن إجبار على تقديم مبرر مكتوب للعلاقة قبل الالتزام بدعم أو مهاجمة يبرز الخطأ بينما لا يزال بالإمكان اكتشافه.
• احتفظ بشخص في الحلقة لفئة نادرة. الخلاف هو المكان الذي تكون فيه النماذج أضعف وحيث تكون القيمة أعلى — بالضبط المكان الذي يجب أن تُخصص له انتباه المراجعة.

الفئة المفيدة هي الفئة النادرة

كل شيء عن البيانات يدفع النظام نحو الاتفاق. التوزيع يكافئه، والصياغة تضلل نحوه، والخطوة الحاسمة للربط غالبًا ما تكون غائبة تمامًا عن النص.

والشيء الوحيد الذي كنت بحاجة إليه فعلاً هو الاعتراض الذي لم يرد عليه أحد. لهذا السبب تعتبر هذه أصعب مشكلة في استخراج الحجج، ولماذا تستحق الجهد: الفئة النادرة هي الفئة المفيدة.

سلسلة استخراج الحجج

خمسة منشورات حول كيفية تعلم الآلات قراءة الحجج — من أين جاء هذا المجال، ولماذا تعتبر مشكلاته الصعبة صعبة، وكيف نطبقه.