عندما التقت نماذج اللغة الكبيرة بتعدين الحجج: ما الذي تغير وما الذي لم يتغير | أرجومنتري
على مدار معظم تاريخها، كانت عملية استخراج الحجج الحسابية تتطلب مجموعة بيانات مشروحة يدويًا لكل مجال جديد. كانت هذه المتطلبات هي القيود الملزمة في هذا المجال: كانت جهود التوضيح كبيرة، وكانت الإرشادات محل نزاع، ونظام تم ضبطه على مقالات الطلاب كان ينتقل بشكل سيء إلى نصوص الاجتماعات أو التعليقات العامة. أزالت النماذج اللغوية الكبيرة هذا القيد. يمكن لنموذج عام الأداء اكتشاف المكونات وتصنيف العلاقات من خلال موجه، دون الحاجة إلى بيانات تدريب محددة للمجال، وقد وجدت التقييمات المنشورة أن النماذج العامة المدفوعة بالموجه تنافس، وفي بعض الحالات، تتفوق على نماذج التشفير الدقيقة في استخراج الحجج المعتمدة على العلاقات. غير هذا ما يعنيه استخراج الحجج: أصبح قابلاً للاستخدام على النصوص التنظيمية العادية بدلاً من الاقتصار على مجموعات البيانات البحثية المنسقة. ما لم يتغير هو هيكل المشكلات الصعبة. تعكس عدم توازن الفئات كيف يكتب الناس، وليس كيف يتم تدريب النماذج. سواء كانت المساهمة تدعم أو تهاجم يعتمد على الأصل بدلاً من صياغتها. وغالبًا ما تستهدف الاعتراضات ضمانًا غير مُصرح به لا يظهر في النص. كما قدمت النماذج الكبيرة صعوبة جديدة خاصة بها: الثقة المعلنة أفضل ضبطًا من احتمالات الرموز الخام لكنها لا تزال غير موثوقة كإشارة ترتيب، لذا لا يمكن استخدام يقين النموذج لتحديد أي حجة مستخرجة هي الأكثر أهمية.
اختفى عنق الزجاجة في النص. لم تتحرك المشاكل الهيكلية قيد أنملة — وظهرت مشكلة جديدة، ترتدي زي الحل.
- كان استخراج الحجج يحتاج سابقًا إلى مجموعة بيانات مشروحة يدويًا لكل مجال. النماذج العامة المدفوعة لا تحتاج إلى ذلك، وهو ما جعلها قابلة للاستخدام على النصوص التجارية العادية.
- تجد التقييمات المنشورة أن النماذج العامة المدفوعة تنافس، وأحيانًا تكون أفضل من، المعايير الأساسية المعدلة في تصنيف العلاقات.
- عدم التوازن، الاعتماد على السياق والضمان غير المعلن هي خصائص للغة والمهمة، وليست لحجم النموذج.
- ثقة النموذج أفضل من حيث المعايرة مقارنة بالاحتمالات الخام لكنها لا تزال ليست إشارة تصنيف موثوقة — فخ جديد، وليس أداة جديدة.
- ما يساعد هو إجبار العلاقة على أن تُعبّر عنها بالكلمات قبل الالتزام بالتصنيف.
القيد الذي عرّف المجال ببساطة توقف عن التطبيق
على مدى عشرين عامًا، كانت الإجابة على هل يمكننا إجراء استخراج الحجج على بياناتنا؟ سؤالًا آخر: كم عدد الآلاف من مستنداتك التي ترغب في أن يتم توضيحها يدويًا أولاً، ومن سيكتب الإرشادات؟
لم يكن ذلك تفصيلًا تقنيًا. كانت هذه هي السبب في بقاء استخراج الحجج في مختبرات البحث بينما تم شحن تحليل المشاعر في كل منتج. جعلت متطلبات التوضيح كل مجال جديد مشروعًا بدلاً من تكوين، وكما وصفت المنشور الثاني في هذه السلسلة، كانت الإرشادات نفسها محل جدل حتى بين المتخصصين.
ثم ظهرت نماذج اللغة العامة وتوقف السؤال عن ذلك. يمكنك الآن توجيه واحدة إلى نص اجتماع في مجال لم يتم تعليقه من قبل والحصول على مسودة أولية قابلة للاستخدام. إذا كنت قد تساءلت يومًا لماذا ظهرت هذه القدرة في المنتجات فجأة بدلاً من تدريجياً، فهذه هي السبب.
العدم-إطلاق هو القصة الكاملة
الشيء المحدد الذي تغير هو إزالة الإشراف الخاص بالنطاق. النموذج المدفوع يوفر كفاءة عامة في اللغة ويمكن إبلاغه بما هو الادعاء وما هي المقدمة، في الطلب، في وقت الاستدلال.
لقد وجدت الأعمال المنشورة حول استخراج الحجج المعتمدة على العلاقات نماذج عامة الغرض مع تحفيز قليل من الأمثلة تنافس النماذج الأساسية المدربة بدقة عبر مجموعات بيانات متعددة - وفي بعض الحالات تتفوق عليها. بالنسبة لمجال تم بناء جميع آليات تقييمه على التدريب الخاضع للإشراف ضد مجموعات بيانات مشروحة، فإن ذلك يمثل انقطاعًا حقيقيًا.
تترتب ثلاث عواقب عملية. يصبح تعديل المجال تغيير الموجهات بدلاً من إعادة التدريب. تصبح الوثائق الطويلة قابلة للإدارة، لأن نوافذ السياق قد زادت. ويمكن أن يحمل مجال الأدلة تفسيرًا، لأن النموذج يمكن أن يُطلب منه تبرير نفسه في نفس الاستدعاء — وهو ما يتبين أنه أكثر أهمية مما يبدو.
المشاكل الثلاثة التي لم تتحرك
كل شيء في المقالة السابقة لا يزال ساريًا، ومن المهم أن نكون دقيقين بشأن سبب عدم معالجة المقياس لأي من ذلك.
- عدم توازن الفئات هو خاصية للكتابة، وليس للتدريب. الأشخاص الذين يبنون قضية يكتبون في الغالب جمل داعمة. النموذج الذي قرأ الإنترنت بأكمله قد قرأ في الغالب اتفاقًا أيضًا.
- اعتماد السياق هو خاصية من خصائص المهمة. الدعم والهجوم هما علاقات، وليسا سمات جمل. الجملة نفسها تحت والد مختلف تحمل تسمية مختلفة، ولا يمكن لأي قدر من المعرفة بالعالم تغيير ذلك.
- الضمان غير المعلن هو خاصية من خصائص النص. إذا لم يتم كتابة المبدأ الذي يربط الدليل بالاستنتاج، فإنه غير موجود في المدخل. نموذج أكبر يقرأ نفس الجملة الغائبة.
هناك واحد رابع، أكثر دقة. النموذج الطليق ينتج مخرجات طليقة، لذا فإن أخطائه تأتي بصياغة جيدة ومتسقة داخليًا. كان تصنيف العلاقة الخاطئ من مشفر يبدو كضوضاء. بينما يبدو تصنيف العلاقة الخاطئ من نموذج اللغة كحجة.
الفخ الجديد: الثقة في يقين النموذج الخاص
لأن هذه النماذج يمكن أن تُبلغ عن مدى ثقتها، فإنه من المغري استخدام هذا الرقم — لترتيب الحجج المستخرجة، لتحديد أيها مهم، ولتحديد ما يتم عرضه.
وجدت أعمال سوراف كادافاث وزملائه أن التقييم الذاتي المعبّر عنه يكون أكثر دقة بشكل ملحوظ من احتمالات الرموز الخام. وغالبًا ما يُستشهد بهذه النتيجة كترخيص للاعتماد على الرقم. ومع ذلك، كانت التقييمات اللاحقة أقل تشجيعًا باستمرار: أن يكون أفضل من البديل لا يعني أنه موثوق، وتقل دقة التقييم بالضبط حيث تحتاج إليها، في الحالات الصعبة وغير العادية.
هناك أيضًا خطأ في الفئة يختبئ في الممارسة. تقيس الثقة مدى تأكد النموذج من أنه وجد حجة حقيقية. لا تقول شيئًا عن ما إذا كانت تلك الحجة مركزية في النقاش. الإحصائية المصاغة بوضوح هي استخراج سهل وعالي الثقة؛ بينما الجملة المحجوزة التي تصادف أن تكون الأطروحة الفعلية هي جملة صعبة. الترتيب حسب الثقة يعزز الأدلة ويقلل من الادعاءات — وهو بالضبط الفشل الذي يفتتح به المنشور النهائي في هذه السلسلة.
اختبره على نص تعرفه جيدًا
خذ اجتماعًا تتذكر نتيجته بوضوح واسأل أي أداة ذكاء اصطناعي عن الحجة الرئيسية. إذا قدمت لك الجملة الأكثر دقة والأفضل إثباتًا بدلاً من الجملة الفضفاضة التي دفعت القرار، فقد شاهدت للتو كيف حلت الثقة محل الأهمية — والآن تعرف أنه لا ينبغي عليك الوثوق بذلك الترتيب.
ماذا يعني المساعدة: جعلها تقول لماذا أولاً
أبسط تحسين موثوق متاح مع هذه النماذج هو تقريبًا محرج في بساطته. اطلب السبب قبل التسمية.
يتطلب من النموذج كتابة ما تفعله المساهمة لوالدها - وهذا يعزز الاعتراض المذكور أعلاه، لأنه يوفر سببًا آخر يجعل هذا الاعتراض قائمًا - قبل الالتزام بحكم دعم أو هجوم، مما يحسن الحكم بشكل ملحوظ. الخطوة المكتوبة تجبر علاقة الوالدين على الدخول في سياق عمل النموذج، وهو بالضبط المعلومات التي تفشل صياغة الجملة في توفيرها.
هذه هي النسخة الآلية من تقنية إنسانية بحتة. وهذا هو السبب في أن تقنية ستيلمانينغ تعمل: توضيح ما تفعله الحجة فعليًا، قبل الحكم عليها، يغير الحكم.
هل تم حل استخراج الحجج؟
لا، وشكل ما تبقى الآن أوضح من أي وقت مضى.
ما تم حله، من الناحية العملية، هو الوصول. يمكن لأي منظمة اليوم إجراء استخراج الحجج على نصوصها الخاصة دون برنامج توضيح، وهو ما كان غير قابل للتفكير قبل بضع سنوات. هذه تغييرات حقيقية وكبيرة.
ما لم يتم حله هو الهيكل: أي مساهمة تستجيب لأي منها، وفي أي اتجاه، عندما يكون المبدأ الرابط غير مذكور وقد دربت البيانات الجميع - البشر والآلات - على توقع الاتفاق. الموقف الصادق هو أن الاستخراج الآن ينتج مسودة جيدة في أي مجال، وأن الشخص لا يزال عليه التحقق من الاختلافات. وهو تقسيم عمل أفضل بكثير من ذلك الذي لم يبن فيه أحد الهيكل على الإطلاق.
كيفية استخدام هذا البئر
- لا تصنف حسب الثقة. إنها تقيس يقين الاستخراج، وليس الأهمية، وتروج بشكل منهجي للأدلة على الادعاءات.
- اسأل عن العلاقة، لا عن المشاعر. السؤال المفيد هو ما الذي تفعله هذه المسألة لوالدها — وليس كيف تشعر حيال الموضوع.
- اجعلها تبرر التسمية قبل إعطائها. إن السبب المكتوب هو ما يضع علاقة الوالدين في السياق، وهو المكان الذي تكتشف فيه الأخطاء.
- اقضِ وقت مراجعتك على الاختلافات. فهناك تكون النماذج في أضعف حالاتها وحيث تتركز قيمة القرار.
مسودة أفضل، ليست حكما
العائق الذي أبقى استخراج الحجج في المختبر قد زال، ولن يعود. من المهم أن نكون واضحين بشأن ذلك: إنه الفرق بين تقنية بحث وشيء يمكنك الإشارة إليه في اجتماعاتك الخاصة.
لكن المشاكل التي كانت صعبة في عام 1958 لا تزال صعبة الآن. لا يزال الأمر غير مكتوب، ولا يزال الاختلاف نادرًا، ولا يزال التصنيف يعتمد على الوالد بدلاً من الصياغة. ما تغير هو من يحصل على المشكلة - وهو تغيير كافٍ لمجال قضى عشرين عامًا في انتظار المعلقين.
سلسلة استخراج الحجج
خمسة منشورات حول كيفية تعلم الآلات لقراءة الحجج — من أين جاء هذا المجال، ولماذا تعتبر مشكلاته الصعبة صعبة، وكيف نطبقه.
كيف أصبح كتاب فلسفي من عام 1958 رفضه المنطقيون هو المواصفة لمهمة تعلم الآلة.
عقد من مجموعات البيانات المعلّقة يدويًا التي حولت استخراج الحجج من فكرة إلى مهمة قابلة للقياس.
الخلاف نادر في البيانات ويعتمد على السياق الذي لا تحتويه الجملة.
تطبيقه: فئات الحجج، ادعاء رئيسي واحد لكل فئة، ولماذا الثقة هي إشارة الترتيب الخاطئة.
المصادر والمزيد من القراءة
حالة المجال قبل LLM - مفيدة كأساس يتم قياس التحول ضده.
التقييم الذاتي المعبّر عنه يتفوق على احتمالات الرموز الخام — والنتيجة تُقرأ غالبًا كإذن للاعتماد على الرقم.
نتائج المعايير الخاضعة للإشراف التي يتم مقارنة أساليب LLM بها.
المذكرة — الخطوة غير المكتوبة التي لا توفرها المقياس، لأنها غائبة عن النص بدلاً من أن تكون غائبة عن النموذج.
الأسئلة المتكررة
كيف غيرت نماذج اللغة الكبيرة استخراج الحجج؟
لقد أزالوا متطلبات وجود مجموعة بيانات مشروحة يدويًا في كل مجال جديد. يمكن لنموذج عام مُحفز تحديد الادعاءات والمقدمات والعلاقات دون الحاجة إلى بيانات تدريب محددة للمجال، مما حول استخراج الحجج من تقنية بحث إلى شيء يمكن استخدامه على النصوص التنظيمية العادية.
هل النماذج اللغوية الكبيرة أفضل من النماذج المعدلة بدقة في استخراج الحجج؟
في مجال استخراج الحجج المعتمدة على العلاقات، وجدت التقييمات المنشورة أن النماذج العامة المدعومة تنافس، وفي بعض الحالات، تتفوق على نماذج التشفير المعدلة عبر مجموعات بيانات متعددة. الميزة العملية الأكبر هي أنها لا تحتاج إلى بيانات تدريب مشروحة لأي مجال جديد على الإطلاق.
ما المشاكل التي لم تحلها نماذج اللغة الكبيرة؟
الثلاثة الهيكلية. تعكس عدم التوازن في الفئات كيف يكتب الناس بدلاً من كيفية تدريب النماذج. الدعم مقابل الهجوم يعتمد على الوالد، وليس على الصياغة. وغالبًا ما تستهدف الاعتراضات ضمانًا غير مذكور غير موجود في النص، لذا لا يمكن لأي قدر من قدرة النموذج أن يوفره.
هل يمكنك الوثوق في درجة ثقة النموذج؟
ليس كإشارة تصنيف. الثقة المعلنة أفضل ضبطًا من احتمالات الرموز الخام لكنها تظل غير موثوقة من حيث المطلق، وتقيس يقين الاستخراج بدلاً من الأهمية — لذا فإن التصنيف بناءً عليها يعزز بشكل منهجي التفاصيل المدعومة جيدًا على حساب الجمل الأكثر مرونة التي تحمل المطالبات الفعلية.
ما الذي يحسن فعليًا تصنيف العلاقات باستخدام نماذج اللغة الكبيرة؟
يتطلب من النموذج أن يوضح، بالكلمات، ما الذي تفعله المساهمة لوالدها قبل الالتزام بتصنيف الدعم أو الهجوم. الخطوة المكتوبة تجبر علاقة الوالدين على الدخول في سياق العمل، وهو بالضبط المعلومات التي تفشل صياغة الجملة في تقديمها.
هل تم حل مشكلة استخراج الحجج الآن؟
تم حل الوصول - يمكن لأي منظمة تشغيله على نصها الخاص دون برنامج توضيحي. الهيكل ليس كذلك. لا يزال من الصعب تحديد أي مساهمة تستجيب لأي منها، وفي أي اتجاه، لذا فإن الاستخراج ينتج مسودة جيدة ولا يزال شخص ما يراجع الاختلافات.
Argumentree Team
Decision Science
The Argumentree team explores the science of better decisions—from ancient philosophy to modern AI.
مسودة يمكنك تصحيحها
الاستخراج ينتج الهيكل؛ أنت تراجع الاختلافات. ألصق نصًا وشاهد تقسيم العمل.
قم بتشغيله على نصك الخاص
لا برنامج توضيحي، لا مجموعة بيانات، لا جولة تدريبية — فقط شجرة منظمة للمؤيدين والمعارضين للمراجعة.
ابدأ مجانًا