کلاسی که بیشترین اهمیت را دارد، کلاسی است که کمترین تعداد را دارد.

در مجموعه‌های متنی که سیستم‌های استخراج استدلال بر روی آن‌ها آموزش دیده و ارزیابی می‌شوند، عدم توافق نادر است. اکثریت قاطع روابط حاشیه‌نویسی شده، حمایت هستند: این دلیل از آن ادعا پشتیبانی می‌کند. روابط حمله — این اعتراض آن دلیل را تضعیف می‌کند — اقلیت کوچکی هستند، در برخی از مجموعه‌های داده کمتر از یک دهم لینک‌های برچسب‌گذاری شده.

آن واقعیت واحد باعث ایجاد پایدارترین حالت شکست در این حوزه می‌شود. سیستمی که هر بار به سادگی پیش‌بینی می‌کند که حمایت وجود دارد، در اکثر مواقع درست است و هر مدلی که از آن توزیع یاد می‌گیرد، همان تعصب را جذب می‌کند. این امر قابل قبول می‌شود.

که دقیقاً برعکس دلیلی است که شما برای استقرار یکی از آن‌ها دارید. هیچ‌کس شش ماه بعد به یک تصمیم مراجعه نمی‌کند و نمی‌پرسد که همه درباره چه چیزی توافق کرده‌اند. آن‌ها به دنبال اعتراض هستند — و اعتراض کلاسی است که مدل در مورد آن کمترین اطمینان را دارد و کمترین احتمال پیش‌بینی را دارد.

چرا عدم تعادل در اینجا بدتر از جاهای دیگر است

عدم تعادل کلاس یک مشکل معمول در یادگیری ماشین است که راه‌حل‌های معمول یادگیری ماشین دارد — وزن‌دهی مجدد به ضرر، نمونه‌برداری بیش از حد از کلاس نادر، گزارش نمرات میانگین کل به جای دقت. همه این‌ها روش‌های استاندارد است و همه آن‌ها به نوعی کمک می‌کند.

آنچه استخراج استدلال را دشوارتر می‌کند این است که عدم تعادل یک اثر نمونه‌برداری نیست که بتوانید با جمع‌آوری داده‌های بیشتر آن را اصلاح کنید. این عدم تعادل نشان‌دهنده نحوه نوشتن مردم است. در یک مقاله قانع‌کننده، نویسنده در حال ساختن یک استدلال است، بنابراین بیشتر جملات به‌طور عمدی از پایان‌نامه حمایت می‌کنند. مقیاس‌گذاری مجموعه داده‌ها، عدم تعادل را نیز با خود مقیاس‌گذاری می‌کند.

به همین دلیل است که گزارش‌های میدانی macro-F1 و نمرات جداگانه برای هر کلاس به جای دقت خام را ارائه می‌دهند. مدلی که هرگز حمله را پیش‌بینی نمی‌کند می‌تواند یک عدد کلی قابل احترام را ارائه دهد در حالی که برای هدفی که شما به آن نیاز داشتید بی‌فایده است. خواندن فقط عدد اصلی کاملاً شکست را پنهان می‌کند.

تن صدا نه تنها غیرمفید است — بلکه به طور فعال گمراه‌کننده است

رویکرد شهودی این است که به زبان نگاه کنیم. کلمات منفی، احتیاط، عبارات خصمانه — مطمئناً اینها نشانه یک حمله هستند.

آنها این کار را نمی‌کنند و مثال‌های متضاد موارد حاشیه‌ای نیستند. به ادعایی که یک پروژه پرخطر است توجه کنید. جمله فشار زمانی به ریسک می‌افزاید به صورت منفی بیان شده و از آن ادعا حمایت می‌کند — این جمله دلیل دیگری برای پرخطر بودن پروژه ارائه می‌دهد. حال به صرفه‌جویی‌های بلندمدت هزینه اولیه را جبران خواهد کرد توجه کنید که به ادعایی که هزینه‌ها غیرقابل تحمل هستند متصل است. واژه‌های مثبت در سراسر متن وجود دارد و این جمله به ادعا حمله می‌کند.

اینکه چیزی حمایت می‌کند یا حمله می‌کند، ویژگی رابطه است، نه جمله. همان جمله که به والد متفاوتی متصل شده، برچسبش تغییر می‌کند. به همین دلیل، تحلیل احساسات، که در کار خود بسیار خوب است، ابزار مناسبی نیست: آن جمله را می‌خواند و پاسخ در جمله نیست.

اعتراض به مرحله‌ای که هرگز نوشته نشده بود

سومین دلیل عمیق‌ترین است و به تئولمین برمی‌گردد. بسیاری از اعتراضات واقعی اصلاً به حقایق اعتراض نمی‌کنند. آن‌ها به <em>استنتاج</em> — اصل ناگفته‌ای که شواهد را به نتیجه متصل می‌کند — اعتراض می‌کنند.

کسی مطالعه‌ای را ذکر می‌کند که نشان‌دهنده بهبود ۱۳ درصدی در بهره‌وری است و نتیجه‌گیری می‌کند که این سیاست باید اتخاذ شود. اعتراض این است که جمعیت مورد مطالعه هیچ شباهتی به این سازمان ندارد. هیچ واقعیتی به چالش کشیده نشده است. چیزی که به چالش کشیده شده، دلیل است: اینکه یک نتیجه در آنجا به اینجا منتقل می‌شود. این اصل در هیچ‌کجای متن وجود ندارد، زیرا هیچ‌کس هرگز آن را نگفته است.

همانطور که اولین پست در این سری پوشش داد، بازسازی ضمانت بینش مرکزی تولمین بود و همچنان کمترین مشکل حل‌شده در این حوزه باقی مانده است. سیستمی که از آن خواسته می‌شود یک رابطه را طبقه‌بندی کند، گاهی اوقات باید یک گزاره را بازسازی کند که در ورودی آن نیست و سپس تصمیم بگیرد که آیا اعتراض به آن گزاره، شواهد یا نتیجه‌گیری هدف‌گیری می‌کند.

اما مطمئناً یک مدل بزرگ‌تر این مشکل را حل می‌کند؟

این انتظار معقولی است و به مدت طولانی به اندازه کافی نادرست بوده است که جالب باشد.

مقیاس به دانش و تسلط کمک می‌کند و واقعاً استخراج استدلال را بهبود بخشیده است — آن داستان پست بعدی در این سری است. اما هیچ‌یک از سه مشکل بالا یک مشکل دانشی نیست. عدم تعادل ویژگی‌ای از نحوه نوشتن افراد است. وابستگی به زمینه ویژگی‌ای از تعریف وظیفه است. ضمانت گمشده ویژگی‌ای از متن است.

یک مدل بزرگتر که همان متن را می‌خواند هنوز هیچ جمله‌ای که اصل مورد نیازش را بیان کند پیدا نمی‌کند، هنوز عمدتاً توافق را در هر چیزی که بر روی آن تنظیم شده می‌بیند و هنوز باید تصمیم بگیرد که اعتراض به کدام یک از سه هدف محتمل معطوف شده است. قابلیت افزایش یافت؛ ساختار مسئله تغییر نکرد.

چه چیزی واقعاً کمک می‌کند

• امتیازدهی به کلاس‌ها به‌طور جداگانه. یک عدد سرخطی به مدلی که هرگز عدم توافق را پیش‌بینی نمی‌کند، اجازه می‌دهد تا شایسته به نظر برسد. F1 به ازای هر کلاس، شکست را بلافاصله قابل مشاهده می‌کند.
• از والد بپرسید، هرگز از موضوع. تنها سوالی که برچسب صحیحی به همراه دارد این است که این مشارکت چه تأثیری بر چیزی که مستقیماً بالای آن قرار دارد دارد.
• استدلال را قبل از حکم روشن کنید. اصرار بر توجیه کتبی رابطه قبل از تعهد به حمایت یا حمله، خطا را در حالی که هنوز قابل شناسایی است، نمایان می‌کند.
• یک انسان را در حلقه برای کلاس نادر نگه دارید. عدم توافق جایی است که مدل‌ها ضعیف‌ترین هستند و ارزش در آنجا بالاترین است — دقیقاً جایی که باید توجه بازبینی صرف شود.

کلاس مفید، کلاس نادری است

همه چیز در مورد داده‌ها یک سیستم را به سمت توافق سوق می‌دهد. توزیع آن را پاداش می‌دهد، عبارت‌بندی به سمت آن گمراه می‌کند و مرحله‌ی حیاتی اتصال اغلب به‌طور کامل از متن غایب است.

و تنها چیزی که واقعاً به آن نیاز داشتید، اعتراضی بود که هیچ‌کس به آن پاسخ نداد. به همین دلیل این سخت‌ترین مشکل در استخراج استدلال است و به همین دلیل ارزش تلاش را دارد: کلاس نادر، کلاس مفید است.

سری استخراج استدلال

پنج پست درباره اینکه چگونه ماشین‌ها یاد گرفتند استدلال‌ها را بخوانند — این حوزه از کجا آمده، چرا مسائل سخت آن دشوار هستند و چگونه آن را به کار می‌بریم.