محدودیتی که میدان را تعریف می‌کرد به سادگی دیگر اعمال نشد

برای بیست سال، پاسخ به آیا می‌توانیم استخراج استدلال را بر روی داده‌های خود انجام دهیم؟ یک سوال دیگر بود: چند هزار سند شما آماده‌اید که ابتدا به صورت دستی حاشیه‌نویسی شوند و چه کسی راهنما را خواهد نوشت؟

این یک جزئیات فنی نبود. این دلیل بود که استخراج استدلال در آزمایشگاه‌های تحقیقاتی باقی ماند در حالی که تحلیل احساسات در هر محصولی عرضه شد. نیاز به حاشیه‌نویسی هر دامنه جدید را به یک پروژه تبدیل کرد تا یک پیکربندی، و همان‌طور که پست دوم در این سری توصیف کرد، خود دستورالعمل‌ها حتی در میان متخصصان نیز مورد مناقشه بودند.

سپس مدل‌های زبان عمومی به وجود آمدند و دیگر این سوال مطرح نشد. اکنون می‌توانید یکی از آن‌ها را به یک متن جلسه در یک حوزه‌ای که هیچ‌کس هرگز آن را نشانه‌گذاری نکرده است، اشاره کنید و یک نتیجه اولیه قابل استفاده دریافت کنید. اگر هرگز به این فکر کرده‌اید که چرا این قابلیت به طور ناگهانی در محصولات ظاهر شد و نه به تدریج، این دلیل آن است.

صفر شات تمام داستان است

چیز خاصی که تغییر کرد، حذف نظارت خاص دامنه است. یک مدل تحریک‌شده توانایی عمومی با زبان را به همراه دارد و می‌توان در زمان استنتاج به آن گفت که یک ادعا چیست و یک پیش‌فرض چیست، در درخواست.

کار منتشر شده در زمینه استخراج استدلال مبتنی بر رابطه، مدل‌های عمومی با تحریک کم‌نمونه را یافته است که در رقابت با مبنای کدگذاری دقیق در چندین مجموعه داده قرار دارند — و در برخی موارد از آن‌ها پیشی گرفته‌اند. برای زمینه‌ای که تمام دستگاه ارزیابی آن بر اساس آموزش نظارت شده با استفاده از مجموعه‌های داده حاشیه‌نویسی شده ساخته شده است، این یک ناپیوستگی واقعی است.

سه نتیجه عملی به دنبال دارد. انطباق دامنه به تغییر سریع تبدیل می‌شود نه آموزش مجدد. اسناد طولانی قابل مدیریت می‌شوند، زیرا پنجره‌های زمینه بزرگ‌تر شده‌اند. و میدان شواهد می‌تواند یک توضیح را حمل کند، زیرا مدل می‌تواند در همان تماس از خود دفاع کند — که مشخص می‌شود بیشتر از آنچه به نظر می‌رسد اهمیت دارد.

سه مشکلی که حرکت نکردند

همه چیز در پست قبلی هنوز معتبر است و ارزش دارد که دقیقاً توضیح دهیم چرا مقیاس هیچ یک از این موارد را حل نمی‌کند.

• عدم تعادل کلاس ویژگی‌ای از نوشتن است، نه از آموزش. افرادی که در حال ساختن یک پرونده هستند عمدتاً جملات حمایتی می‌نویسند. مدلی که تمام اینترنت را خوانده است، عمدتاً توافقات را نیز خوانده است.
• وابستگی به زمینه ویژگی‌ای از وظیفه است. حمایت و حمله روابطی هستند، نه ویژگی‌های جملات. یک جمله مشابه تحت یک والد متفاوت برچسب متفاوتی دارد و هیچ مقدار دانش جهانی این را تغییر نمی‌دهد.
• ضمانت ناگفته یک ویژگی از متن است. اگر اصل پیوند دهنده شواهد به نتیجه هرگز نوشته نشده باشد، در ورودی وجود ندارد. یک مدل بزرگتر همان جمله غایب را می‌خواند.

یک مورد چهارم و ظریف‌تر وجود دارد. یک مدل روان خروجی روانی تولید می‌کند، بنابراین اشتباهات آن به خوبی بیان شده و از نظر داخلی سازگار هستند. یک برچسب رابطه نادرست از یک کدگذار مانند نویز به نظر می‌رسد. یک برچسب رابطه نادرست از یک مدل زبانی مانند یک استدلال به نظر می‌رسد.

کمک: چرا اول بگویید

بهترین بهبودی که با این مدل‌ها در دسترس است تقریباً به طرز شرم‌آوری ساده است. قبل از برچسب، دلیل را بخواهید.

الزام آوردن یک مدل به نوشتن اینکه یک مشارکت چه تأثیری بر والد خود دارد — این اعتراض فوق را تقویت می‌کند، زیرا دلیل دیگری را ارائه می‌دهد که این اعتراض معتبر است — قبل از اینکه به یک حکم حمایت یا حمله متعهد شود، به طور قابل توجهی حکم را بهبود می‌بخشد. این مرحله نوشته شده رابطه والد را به زمینه کاری مدل تحمیل می‌کند، که دقیقاً همان اطلاعاتی است که wording جمله قادر به ارائه آن نیست.

این نسخه ماشینی یک تکنیک کاملاً انسانی است. به همین دلیل استیل‌منینگ کار می‌کند: بیان اینکه یک استدلال در واقع چه کاری انجام می‌دهد، قبل از قضاوت درباره آن، قضاوت را تغییر می‌دهد.

آیا استخراج استدلال حل شده است؟

نه، و شکل آنچه باقی مانده اکنون از همیشه واضح‌تر است.

آنچه که به طور عملی حل شده است، دسترسی است. هر سازمانی می‌تواند امروز بدون برنامه‌نویسی حاشیه‌نویسی، استخراج استدلال را بر روی متن خود انجام دهد، که چند سال پیش غیرقابل تصور بود. این یک تغییر واقعی و بزرگ است.

آنچه حل نشده است، ساختار است: کدام مشارکت به کدام پاسخ می‌دهد و در کدام جهت، زمانی که اصل ارتباطی بیان نشده و داده‌ها همه — انسان و ماشین — را به انتظار توافق عادت داده‌اند. موضع صادقانه این است که استخراج اکنون در هر حوزه‌ای پیش‌نویس خوبی تولید می‌کند و یک نفر هنوز باید اختلافات را بررسی کند. که این تقسیم کار به مراتب بهتر از وضعیتی است که هیچ‌کس اصلاً ساختار را نساخته باشد.

چگونه از این چاه به خوبی استفاده کنیم

• بر اساس اعتماد رتبه‌بندی نکنید. این میزان قطعیت استخراج را اندازه‌گیری می‌کند، نه اهمیت را، و به‌طور سیستماتیک شواهد را بر ادعاها ترجیح می‌دهد.
• از رابطه بپرسید، نه از احساس. سوال مفید این است که این چه تأثیری بر والدینش دارد — هرگز اینکه در مورد موضوع چه احساسی دارد.
• قبل از ارائه، آن را توجیه کنید. دلایل نوشته شده است که رابطه والدین را در زمینه قرار می‌دهد و جایی است که می‌توانید خطاها را شناسایی کنید.
• زمان بررسی خود را بر روی اختلافات صرف کنید. جایی است که مدل‌ها ضعیف‌ترین هستند و ارزش تصمیم‌گیری متمرکز است.

یک پیش‌نویس بهتر، نه یک حکم

گلوگاه‌هایی که استخراج استدلال را در آزمایشگاه نگه می‌داشت، از بین رفته و باز نخواهد گشت. این نکته‌ای است که باید به وضوح به آن توجه کرد: این تفاوتی است بین یک تکنیک تحقیقاتی و چیزی که می‌توانید در جلسات خود به آن اشاره کنید.

اما مشکلاتی که در سال 1958 سخت بودند، اکنون نیز سخت هستند. حکم هنوز نوشته نشده است، عدم توافق هنوز نادر است و برچسب هنوز به والدین بستگی دارد نه به نحوه بیان. آنچه تغییر کرده این است که چه کسی حق دارد این مشکل را داشته باشد — که برای زمینه‌ای که بیست سال منتظر annotators بود، تغییر کافی است.

سری استخراج استدلال

پنج پست درباره اینکه چگونه ماشین‌ها یاد گرفتند استدلال‌ها را بخوانند — این حوزه از کجا آمده، چرا مسائل سخت آن سخت هستند و چگونه آن را به کار می‌بریم.