آموزش ماشینها برای خواندن استدلالها: دههی مجموعههای حاشیهنویسی شده | Argumentree
استخراج استدلال به عنوان یک نظریه برای دههها وجود داشت قبل از اینکه به یک وظیفه محاسباتی قابل اندازهگیری تبدیل شود. آنچه این تغییر را ایجاد کرد، حاشیهنویسی بود: افرادی که با هزاران سند نشسته و به صورت دستی مشخص میکردند که کدام بخشها ادعا، کدامها مقدمه و کدامها از کدامها حمایت یا حمله میکنند. کریستین استاب و ایریا گورویچ مقالات قانعکننده را به این روش حاشیهنویسی کردند و مجموعهای را تولید کردند که معمولاً AAEC نامیده میشود. آندریاس پلدزوس و مانفرد استده مجموعهای از میکرومتنهای کوتاه استدلالی را بهطور خاص برای مطالعه ساختار استدلال ایجاد کردند. جونسوک پارک و کلر کاردی نظرات عمومی ارسال شده به قانونگذاری ایالات متحده را حاشیهنویسی کردند، که ژانر بسیار نامنظمی است. دشواری هرگز فقط در تلاش برای برچسبگذاری نبود — بلکه این بود که حاشیهنویسان انسانی در مورد اینکه یک استدلال چیست، اختلاف نظر دارند و وظیفهای که انسانها نمیتوانند در مورد آن توافق کنند، نمیتواند به طور قابل اعتمادی نمرهگذاری شود. بنابراین توافق بین حاشیهنویسان به دروازهبان کل این حوزه تبدیل شد: این توافق سقف عملی عملکرد ماشین را تعریف میکند، زیرا یک مدل نمیتواند به عنوان سازگارتر از حاشیهنویسی که بر اساس آن قضاوت میشود، اندازهگیری شود. مجموعهها همچنین عدم تقارن دائمی این حوزه را آشکار کردند — شناسایی اجزای استدلالی قابل مدیریت بود، در حالی که شناسایی روابط بین آنها اینگونه نبود.
شما نمیتوانید به یک ماشین آموزش دهید که استدلالها را پیدا کند تا زمانی که انسانها بر سر اینکه یک استدلال چیست به توافق برسند. این بخش سخت ماجرا بود و بر همه چیزهایی که بعداً در این حوزه اندازهگیری شد تأثیر گذاشت.
- استخراج استدلال تنها زمانی به یک حوزه واقعی تبدیل شد که مردم هزاران سند — ادعاها، مقدمات و ارتباطات بین آنها — را به صورت دستی نشانهگذاری کردند.
- تفسیرگران در مورد روابط به ویژه اختلاف نظر دارند. توافق بین تفسیرگران به عنوان دروازهبان عمل کرد، زیرا محدودیتی برای نمرهدهی به هر مدل ایجاد میکند.
- سه مجموعه داده دهه را شکل دادند: مقالات قانعکننده، میکرومتنهای استدلالی و نظرات در مورد قوانین عمومی — از تمیز تا نامنظم.
- هر مجموعهای یک ژانر است. مدلی که بر روی مقالات دانشجویی آموزش دیده است، به یک متن جلسه منتقل نمیشود و برای مدت طولانی هیچکس مجموعه متنی جلسه نداشت.
- این مجموعهها عدم تقارن دائمی را آشکار کردند: یافتن مؤلفهها قابل حل است، اما یافتن روابط نیست.
دو کارشناس، یک پاراگراف، دو پاسخ متفاوت
دو annotator آموزشدیده را یک پاراگراف از یک مقاله دانشجویی بدهید و یک سوال ساده بپرسید: کدام جمله ادعا است و کدام جملات دلایل آن هستند؟ آنها اغلب در این مورد اختلاف نظر خواهند داشت. نه درباره موضوع، نه درباره اینکه آیا استدلال خوبی است — بلکه درباره اینکه کجا قرار دارد.
این واقعیتی است که دهه اول استخراج استدلال محاسباتی را شکل داد و آسان است که آن را دست کم بگیریم. همه چیز در ادامه به آن وابسته است: شما نمیتوانید یک معیار برای وظیفهای بسازید که مردم نمیتوانند به طور مداوم آن را انجام دهند و نمیتوانید ادعا کنید که یک مدل عملکرد انسانی را در قضاوتی که انسانها آن را به اشتراک نمیگذارند، شکست میدهد.
خودتان در آخرین رشته ایمیلی که در آن بحث کردهاید امتحان کنید. علامتگذاری ادعا معمولاً آسان است. علامتگذاری اینکه هر اعتراض به کدام جمله مربوط میشود جایی است که شما شروع به تردید خواهید کرد — و آن تردید تمام داستان این دهه است.
چرا این نظریه به مدت بیست سال بلااستفاده ماند
تا اوایل دهه ۱۹۹۰، دستگاه نظری کامل شده بود. تولمین آناتومی این حوزه را ارائه داده بود، والتون فهرست الگوهای استدلال را، و فریمن تمایز بین حمله به یک نتیجه و حمله به استنتاج آن را مشخص کرده بود. همانطور که در اولین پست این سری پوشش دادیم، یک استدلال به عنوان یک گراف برچسبگذاری شده دوباره توصیف شده بود.
یک گراف برچسبگذاری شده چیزی است که یک کامپیوتر میتواند بر اساس آن امتیازدهی شود — در اصل. در عمل، شما به چیزی نیاز دارید که بر اساس آن امتیازدهی کنید. بدون دادههای حاشیهنویسی شده، دو گروه تحقیقاتی که نتایج متفاوتی را ادعا میکنند، هیچ راهی برای حل و فصل آن ندارند و یک حوزه که نتایج آن قابل مقایسه نیست، یک حوزه نیست. این یک مجموعه از دموها است.
بنابراین دههای که استخراج استدلال را به یک رشته تبدیل کرد، دههای از الگوریتمها نبود. این دهه، دههای از راهنماهای حاشیهنویسی بود.
سه مجموعهای که وظیفه را تعریف کردند
گروههای تحقیقاتی مختلف ژانرهای متفاوتی را نشانهگذاری کردند و انتخاب ژانر بیشتر از آنچه که هر کسی در ابتدا انتظار داشت، اهمیت داشت.
- مقالات قانعکننده (استاب و گورویچ). مقالات استدلالی دانشآموزان، با یادداشتهایی برای ادعاها، مقدمات و روابط حمایت/حمله بین آنها. نوشتار ساختاریافته توسط افرادی که بهطور واضح سعی در استدلال داشتند — به اندازهای که متن میتواند مطلوب باشد.
- میکرومتنهای استدلالی (پلدزوس و استده). متنهای کوتاه و کنترلشده که بهطور خاص برای مطالعه ساختار استدلال ساخته شدهاند، هر کدام یک استدلال فشرده با شکلی عمدی. کوچک، تمیز و طراحی شدهاند بهگونهای که سوالات ساختاری پاسخ داشته باشند.
- نظرات عمومی در مورد تدوین مقررات (پارک و کاردی). نظراتی که توسط عموم به مشاورههای نظارتی ایالات متحده ارسال شده است. واقعی، ویرایشنشده و اغلب پرحرف — بسیار نزدیکتر به متنی که سازمانها در واقع دارند.
توجه به این پیشرفت از تمیز به نامنظم چیز مفیدی است. عملکرد با حرکت به سمت پایین فهرست کاهش مییابد و این کاهش بیشتر در روابط مشاهده میشود. مقالات مورد دوستانه بودند و حتی در آنجا نیز اعداد روابط متوسط بودند.
توافق بین annotator ها سقف واقعی است
گزارش پروژههای حاشیهنویسی نشان میدهد که چقدر اغلب حاشیهنویسان مستقل با یکدیگر توافق دارند و در استخراج استدلال، آن عدد یک پاورقی نیست. این عدد سقف است.
اگر دو انسان آموزشدیده که از همان دستورالعملها پیروی میکنند تنها بهطور متوسط درباره اینکه کدام پیشفرض به کدام ادعا مربوط میشود توافق داشته باشند، در این صورت یک مدل که بر اساس یکی از آنها ارزیابی شده است نمیتواند بهطور معناداری بهعنوان برنده دیگری توصیف شود. خود اندازهگیری قبل از اینکه مدل ناپایدار شود، ناپایدار میشود.
توافق در مورد اجزا به طور مداوم بیشتر از روابط است — مردم عمدتاً در مورد اینکه کدام جمله یک ادعا است توافق دارند و در مورد اینکه به چه چیزی پاسخ میدهد اختلاف نظر دارند. آن عدم تقارن واحد همه چیزهایی را که معیارها بعداً نشان میدهند پیشبینی کرد.
آزمون حاشیهنویسی را بر روی تیم خود اجرا کنید
یک رشته ایمیل تصمیمگیری را بگیرید و از دو همکار، بهطور جداگانه، بخواهید که قویترین اعتراض را مشخص کنند و بگویند که این اعتراض به کدام دلیل خاص مربوط میشود. اگر آنها اهداف متفاوتی را انتخاب کنند، اختلاف نظر شما هرگز درباره حقایق نبوده است — و هیچ ابزاری برای خلاصهسازی این موضوع را نشان نخواهد داد، زیرا خلاصهها آنچه گفته شده را ثبت میکنند نه آنچه به آن هدفگذاری شده است.
راهنماها نظریهای هستند که به عمل درآمدهاند
راهنمای حاشیهنویسی به نظر کار دفتری میرسد. این بیشتر شبیه به یک مشخصه است. هر ابهامی که نظریه باز گذاشته باید قبل از شروع حاشیهنویسان حل شود و هر حل یک تعهد واقعی است.
آیا یک سوال بلاغی یک ادعا است؟ آیا بازنویسی در نتیجه به عنوان یک مؤلفه جدید محسوب میشود یا همان مؤلفه قبلی است؟ زمانی که یک جمله از دو ادعا به طور همزمان حمایت میکند، آیا به هر دو متصل میشود، یا به نزدیکتر، یا به عمومیتر؟ اگر کسی قبل از رد یک نکته، به آن اعتراف کند، آیا این اعتراف به عنوان حملهای به موضع خودشان محسوب میشود؟
هیچیک از اینها پاسخهای واضحی ندارند و هر مجموعه داده بهطور کمی متفاوت به آنها پاسخ داده است. به همین دلیل است که مدلها بهخوبی بین مجموعههای داده منتقل نمیشوند: آنها بخشی از یک ژانر را یاد میگیرند و بخشی دیگر پاسخهای یک تیم به آن سوالات را.
اما آیا نمیتوانید دادههای بیشتری را حاشیهنویسی کنید؟
این پاسخ طبیعی است و برای شناسایی مؤلفه به طور کلی کار کرد. نوارهای بیشتر حاشیهنویسی شده شناسایی نوار بهتری تولید کردند. آن بخش از حوزه به طور پیوسته و قابل پیشبینی بهبود یافت.
برای روابط این اتفاق نیفتاد و دلیل آن ساختاری است نه مربوط به حجم. روابط به زمینهای خارج از جمله وابستهاند — که annotating آن به طور مداوم هزینهبر است. روابط عدم توافق نادر هستند، بنابراین مقیاسگذاری مجموعه دادهها عدم تعادل را نیز مقیاسگذاری میکند. و مرحله اتصال اغلب بیان نشده است، بنابراین annotator چیزی را که در متن قابل مشاهده است علامتگذاری نمیکند؛ آنها بازسازی خود از آن را علامتگذاری میکنند.
دادههای بیشتر به جای حل کردن، هر سه مشکل را بیشتر میکند. این استدلال موضوع پست بعدی است.
آنچه دهه به جا گذاشت
دو چیز، هر دو هنوز باربر هستند.
اولین مورد خود تعریف وظیفه است. تجزیه و تحلیل چهار بخشی که هر مقاله استخراج استدلال اکنون با آن آغاز میشود — یافتن اجزا، برچسبگذاری آنها، پیوند دادن آنها، طبقهبندی پیوندها — محصول این پروژههای حاشیهنویسی است، نه فلسفه. تولمین هرگز یک خط لوله پیشنهاد نکرد.
دومین مورد مجموعه معیارها است. زمانی که یک سیستم مدرن عددی را گزارش میدهد، معمولاً آن را بر اساس مقالات یا متنهای کوچک حاشیهنویسی شده در این دهه گزارش میکند. این نکته هنگام مقایسه اعداد در مقالات ارزش یادآوری دارد: نام یک معیار مشابه در دو مجموعه مختلف، اندازهگیری یکسانی نیست و بسیاری از مقایسههای منتشر شده به آرامی این موضوع را نادیده میگیرند.
این چه معنایی در خارج از آزمایشگاه دارد
- اگر انسانها نتوانند در مورد محل بحث به توافق برسند، هیچ ابزاری به شما اطمینان نخواهد داد. ساختار استخراجشده را به عنوان یک پیشنویس برای اصلاح در نظر بگیرید، نه حکمی برای پذیرش.
- ژانر بیشتر از حجم اهمیت دارد. سیستمی که بر روی مقالات منظم تنظیم شده است، با یک مشکل بسیار متفاوت در یک متن جلسه که پر از وقفهها و افکار نیمهکاره است، مواجه میشود.
- اختلاف نظر درباره اهداف، سیگنال واقعی است. وقتی دو نفر فکر میکنند که یک اعتراض به چیزهای مختلفی اشاره دارد، آن فاصله معمولاً جایی است که تصمیم واقعاً متوقف شده است.
- فقط اعداد معیار را در یک مجموعه مقایسه کنید. همان معیار در یک مجموعه داده متفاوت یک اندازهگیری متفاوت است، هرچقدر هم که برچسب مشابه به نظر برسد.
جایی که استدلال وجود دارد
دههی حاشیهنویسی کمزرق و برقترین بخش این داستان است و بخشی که همه چیز بر آن استوار است. هیچ مدلی، هرچقدر هم بزرگ، از این واقعیت فرار نمیکند که تابلو امتیاز آن توسط افرادی ساخته شده است که گاهی در مورد اینکه یک استدلال کجا قرار دارد با یکدیگر اختلاف نظر داشتند.
این یک چیز مفید است که به جلسات خود ببرید. اگر پیدا کردن استدلال برای دو یادداشتبردار آموزشدیده با یک راهنمای مکتوب دشوار است، این واقعیت که تیم شما مدام در حال بازنگری یک تصمیم است، یک مشکل انضباطی نیست. این همان مشکل است، بدون راهنما.
سری استخراج استدلال
پنج پست درباره اینکه چگونه ماشینها یاد گرفتند استدلالها را بخوانند — این حوزه از کجا آمده، چرا مسائل سخت آن سخت هستند و چگونه آن را به کار میبریم.
چگونه یک کتاب فلسفی از سال 1958 که منطقدانان آن را رد کردند، به مشخصات یک وظیفه یادگیری ماشین تبدیل شد.
اختلاف در دادهها نادر است و به زمینهای بستگی دارد که جمله شامل آن نمیشود.
مدلهای بدون نمونهبرداری گلوگاههای متنی را حذف کردند و مشکلات ساختاری را دقیقاً در جایی که بودند باقی گذاشتند.
اعمال آن: دستههای استدلال، یک ادعای اصلی در هر دسته، و اینکه چرا اعتماد سیگنال رتبهبندی نادرستی است.
منابع و مطالعه بیشتر
پروژه حاشیهنویسی مقاله قانعکننده و دستورالعملهای آن — مجموعهای که وظیفه را قابل اندازهگیری کرد.
درمان کامل تجزیه همان مجموعه داده، با نتایج مؤلفه و رابطه که معمولاً از آن استناد میشود.
عملیاتی کردن مدل فریمن برای استخراج خودکار استدلال — پل ارتباطی از نظریه به طرح حاشیهنویسی.
مجموعه نظرات عمومی در مورد قوانین CDCP — واقعی، نامنظم و بسیار سختتر از مقالات.
نظرسنجی که دهه را تجمیع کرد — تعریف وظایف، مجموعههای متنی و شیوههای ارزیابی.
سوالات متداول
یک مجموعه داده استخراج استدلال چیست؟
مجموعهای از اسناد که در آنها افراد ساختار استدلالی را بهصورت دستی علامتگذاری کردهاند: کدام بخشها ادعا هستند، کدامها مقدمهاند و کدام مقدمه از کدام ادعا حمایت میکند یا به آن حمله میکند. این همان چیزی است که اجازه میدهد سیستمهای رقیب بر روی دادههای یکسان مقایسه شوند، که ایده را به یک حوزه تحقیقاتی تبدیل میکند.
AAEC کورپوس چیست؟
مجموعه مقالات حاشیهنویسی شده استدلال، که توسط کریستین استاب و ایریا گورویچ از مقالات قانعکننده دانشآموزان ساخته شده است. این مجموعه اجزای استدلال و روابط بین آنها را حاشیهنویسی میکند و یکی از معیارهای استاندارد برای استخراج استدلال باقی مانده است.
چرا توافق بین annotator ها اینقدر مهم است؟
زیرا این سقفی برای اندازهگیری تعیین میکند. اگر دو انسان آموزشدیده که از یک راهنما پیروی میکنند در مورد اینکه کدام پیشفرض به کدام ادعا مربوط میشود، اختلاف نظر داشته باشند، مدلی که بر اساس یکی از آنها امتیازدهی شده نمیتواند بهطور معناداری نشان دهد که بر دیگری برتری دارد. ارزیابی قبل از اینکه مدل ناپایدار شود، ناپایدار میشود.
چرا مدلهای آموزشدیده شده بر روی یک مجموعه داده در مجموعه داده دیگر عملکرد ضعیفتری دارند؟
زیرا هر مجموعه یک ژانر به علاوه یک مجموعه از تصمیمات راهنما است. مقالات دانشجویی ساختارمند و عمدی هستند؛ نظرات عمومی پراکندهاند. یک مدل بخشی از ژانر را میآموزد و بخشی از پاسخهای یک تیم حاشیهنویسی به موارد مبهم را یاد میگیرد و هیچکدام بهطور تمیز منتقل نمیشوند.
آیا میتوانید دادههای بیشتری را برای اصلاح تشخیص رابطه حاشیهنویسی کنید؟
این به شناسایی مؤلفهها به طور قابل توجهی کمک کرد و شناسایی روابط به مراتب کمتر. روابط به زمینهای فراتر از جمله وابستهاند، روابط عدم توافق نادر هستند، بنابراین مقیاسگذاری مجموعه دادهها نیز عدم تعادل را مقیاسگذاری میکند و مرحله اتصال اغلب بیان نشده است — بنابراین، annotator در حال علامتگذاری یک بازسازی است نه چیزی قابل مشاهده.
امروز از کدام مجموعههای داده به عنوان معیار استفاده میشود؟
مقالات قانعکننده و میکرومتنهای استدلالی همچنان رایجترین هستند، با استفاده از مجموعههای نظرات عمومی برای ارزیابیهای سختتر و پیچیدهتر. از آنجا که هر کدام از تصمیمات مختلفی برای حاشیهنویسی استفاده میکنند، نام یکسان معیار در دو مجموعه داده، اندازهگیری یکسانی نیست — که منبعی مکرر برای مقایسههای گمراهکننده است.
Argumentree Team
Decision Science
The Argumentree team explores the science of better decisions—from ancient philosophy to modern AI.
مرحله یادداشتبرداری را رد کنید
یک متن را بچسبانید و یک درخت ساختاری از مزایا و معایب دریافت کنید که میتوانید آن را اصلاح کنید — پیشنویس بهطور خودکار ایجاد میشود و قضاوت همچنان با شماست.
بحث را به یک درخت استدلال تبدیل کنید
استدلال ساختاریافته از ترنسکریپتهای خودتان — نیازی به راهنماییهای حاشیهنویسی نیست.
شروع رایگان