जिस कक्षा का सबसे अधिक महत्व है, वह सबसे कम है।

जिस कॉर्पोरा पर तर्क-खनन प्रणाली प्रशिक्षित और मापी जाती हैं, वहां असहमति दुर्लभ है। एनोटेटेड संबंधों का विशाल बहुमत समर्थन है: यह कारण उस दावे का समर्थन करता है। हमले के संबंध — यह आपत्ति उस कारण को कमजोर करती है — एक छोटी अल्पसंख्यक है, कुछ डेटा सेट में लेबल किए गए लिंक का एक दसवां हिस्सा भी नहीं।

वह एकल तथ्य क्षेत्र के सबसे जिद्दी विफलता मोड का उत्पादन करता है। एक ऐसा सिस्टम जो हर बार समर्थन की भविष्यवाणी करता है, अधिकांश समय सही होता है, और उस वितरण से सीखने वाला कोई भी मॉडल उसी पूर्वाग्रह को अवशोषित कर लेता है। यह सहमत हो जाता है।

जो बिल्कुल उल्टा है उस कारण के लिए जिसे आप लागू करेंगे। कोई भी छह महीने बाद एक निर्णय पर वापस नहीं आता यह सोचते हुए कि सभी ने किस बात पर सहमति जताई थी। वे आपत्ति चाहते हैं — और आपत्ति वह वर्ग है जिसके बारे में मॉडल सबसे कम आत्मविश्वास रखता है और जिसे भविष्यवाणी करने की सबसे कम संभावना होती है।

यहाँ असंतुलन अन्य स्थानों की तुलना में क्यों अधिक खराब है

क्लास असंतुलन एक सामान्य मशीन-लर्निंग समस्या है जिसमें सामान्य मशीन-लर्निंग उपाय होते हैं — हानि का पुनर्वजनन करना, दुर्लभ वर्ग का अधिक नमूना लेना, सटीकता के बजाय मैक्रो-औसत स्कोर रिपोर्ट करना। यह सब मानक प्रथा है, और यह सभी कुछ हद तक मदद करता है।

जो तर्क खनन को कठिन बनाता है वह यह है कि असंतुलन एक नमूना कला नहीं है जिसे आप अधिक डेटा इकट्ठा करके सुधार सकते हैं। यह दर्शाता है कि लोग कैसे लिखते हैं। एक प्रेरक निबंध में लेखक एक मामला बना रहा है, इसलिए अधिकांश वाक्य जानबूझकर थिसिस का समर्थन करते हैं। कॉर्पस का पैमाना असंतुलन को इसके साथ बढ़ाता है।

इसलिए क्षेत्रीय रिपोर्ट मैक्रो-F1 और अलग-अलग प्रति-क्लास स्कोर प्रदान करती हैं, न कि कच्ची सटीकता। एक मॉडल जो कभी भी हमले की भविष्यवाणी नहीं करता, वह एक सम्मानजनक दिखने वाली कुल संख्या प्रस्तुत कर सकता है जबकि वह उस चीज़ के लिए बेकार है जिसके लिए आप इसे चाहते थे। केवल शीर्षक संख्या पढ़ना पूरी तरह से विफलता को छुपा देता है।

स्वर केवल अनुपयोगी नहीं है — यह सक्रिय रूप से भ्रामक है

स्वाभाविक दृष्टिकोण भाषा को देखना है। नकारात्मक शब्द, हेजिंग, प्रतिकूल वाक्यांश — निश्चित रूप से ये एक हमले का संकेत देते हैं।

वे ऐसा नहीं करते हैं, और प्रतिकृतियाँ किनारे के मामले नहीं हैं। एक दावे पर विचार करें कि एक परियोजना जोखिम भरी है। वाक्य समय सीमा का दबाव जोखिम को बढ़ाता है नकारात्मक रूप से व्यक्त किया गया है और उस दावे का समर्थन करता है — यह बताता है कि परियोजना जोखिम भरी है। अब विचार करें दीर्घकालिक बचत प्रारंभिक निवेश को संतुलित करेगी, जो एक दावे से जुड़ी है कि लागतें अत्यधिक हैं। पूरे वाक्य में सकारात्मक शब्द हैं, और यह दावे पर हमला करता है।

चाहे कुछ समर्थन करता है या हमला करता है, यह संबंध की एक विशेषता है, वाक्य की नहीं। एक ही वाक्य जब एक अलग माता-पिता से जुड़ता है, तो इसका लेबल बदल जाता है। यही कारण है कि भावना विश्लेषण, जो अपने काम में बहुत अच्छा है, गलत उपकरण है: यह वाक्य को पढ़ता है, और उत्तर वाक्य में नहीं है।

एक कदम पर आपत्ति जो कभी लिखी नहीं गई

तीसरा कारण सबसे गहरा है, और यह टौल्मिन की ओर जाता है। कई वास्तविक आपत्तियाँ तथ्यों को बिल्कुल भी चुनौती नहीं देतीं। वे <em>निष्कर्ष</em> — साक्ष्य को निष्कर्ष से जोड़ने वाले अप्रकट सिद्धांत को चुनौती देती हैं।

कोई एक अध्ययन का हवाला देता है जो 13% उत्पादकता में सुधार दिखाता है और निष्कर्ष निकालता है कि इस नीति को अपनाया जाना चाहिए। आपत्ति यह है कि अध्ययन की जनसंख्या इस संगठन के जैसी नहीं थी। कोई तथ्य चुनौती नहीं दी गई है। जो चुनौती दी गई है वह यह है कि वहाँ का परिणाम यहाँ स्थानांतरित होता है। यह सिद्धांत ट्रांसक्रिप्ट में कहीं नहीं दिखाई देता, क्योंकि किसी ने भी ऐसा नहीं कहा।

जैसा कि इस श्रृंखला में पहला पोस्ट ने कवर किया, वारंट पुनर्निर्माण टौल्मिन की केंद्रीय अंतर्दृष्टि थी और यह क्षेत्र की सबसे कम हल की गई समस्या बनी हुई है। एक प्रणाली को एक संबंध को वर्गीकृत करने के लिए कहा जाता है, तो उसे कभी-कभी एक प्रस्ताव का पुनर्निर्माण करना पड़ता है जो इसके इनपुट में नहीं होता, और फिर यह तय करना होता है कि क्या आपत्ति उस प्रस्ताव, साक्ष्य, या निष्कर्ष को लक्षित करती है।

लेकिन निश्चित रूप से एक बड़ा मॉडल इसे ठीक कर देता है?

यह एक उचित अपेक्षा है, और यह काफी समय से आंशिक रूप से गलत रही है, जो दिलचस्प है।

स्केल ज्ञान और प्रवाह में मदद करता है, और इसने वास्तव में तर्क खनन में सुधार किया है — वह कहानी इस श्रृंखला में अगला पोस्ट है। लेकिन उपरोक्त तीन समस्याओं में से कोई भी ज्ञान की समस्या नहीं है। असंतुलन लोगों के लिखने के तरीके की एक विशेषता है। संदर्भ निर्भरता कार्य परिभाषा की एक विशेषता है। गायब वारंट पाठ की एक विशेषता है।

एक बड़ा मॉडल वही ट्रांसक्रिप्ट पढ़ने पर भी उस सिद्धांत को व्यक्त करने वाला कोई वाक्य नहीं पाता, जो इसकी आवश्यकता है, जो भी इसे ट्यून किया गया था, उसमें ज्यादातर सहमति ही देखता है, और फिर भी यह तय करना होता है कि तीन संभावित लक्ष्यों में से किसी एक पर आपत्ति का लक्ष्य था। क्षमता बढ़ी; समस्या की संरचना नहीं बदली।

क्या वास्तव में मदद करता है

• क्लासेस को अलग-अलग स्कोर करें। एकल हेडलाइन नंबर एक मॉडल को सक्षम दिखाता है जो कभी असहमति की भविष्यवाणी नहीं करता। प्रति-क्लास F1 विफलता को तुरंत स्पष्ट करता है।
• माता-पिता के बारे में पूछें, विषय के बारे में कभी नहीं। एकमात्र प्रश्न जो सही लेबल देता है वह है कि यह योगदान उसके ठीक ऊपर की चीज़ के लिए क्या करता है।
• निर्णय से पहले तर्क को स्पष्ट करें। समर्थन या हमले के लिए प्रतिबद्ध होने से पहले संबंध का लिखित औचित्य मजबूर करना उस त्रुटि को उजागर करता है जब इसे अभी भी पकड़ा जा सकता है।
• दुर्लभ वर्ग के लिए एक मानव को प्रक्रिया में रखें। असहमति वह स्थान है जहाँ मॉडल सबसे कमजोर होते हैं और जहाँ मूल्य सबसे अधिक होता है — यही समीक्षा का ध्यान देने का सही स्थान है।

उपयोगी वर्ग ही दुर्लभ होता है।

डेटा के बारे में सब कुछ एक प्रणाली को सहमति की ओर धकेलता है। वितरण इसे पुरस्कृत करता है, वाक्यांश इसे भटकाता है, और महत्वपूर्ण जोड़ने वाला कदम अक्सर पाठ से पूरी तरह अनुपस्थित होता है।

और एक चीज़ जिसकी आपको वास्तव में ज़रूरत थी, वह थी वह आपत्ति जिसका किसी ने उत्तर नहीं दिया। यही कारण है कि यह तर्क खनन में सबसे कठिन समस्या है, और यही कारण है कि यह प्रयास के लायक है: दुर्लभ वर्ग ही उपयोगी वर्ग है।

तर्क खनन श्रृंखला

पाँच पोस्ट इस बारे में कि मशीनों ने तर्क पढ़ना कैसे सीखा — यह क्षेत्र कहाँ से आया, इसके कठिन समस्याएँ कठिन क्यों हैं, और हम इसे कैसे लागू करते हैं।