Kariyeri Bitirecek Olan Kitap

Stephen Toulmin 1958'de The Uses of Argument adlı eserini yayımladığında, profesyonel mantıkçılardan gelen tepki olumsuzdu. Resmi mantıkla ilgili olmayan bir akıl yürütme kitabı yazmıştı ve etkili bir şekilde haritanın dışına çıktığı söylendi. Toulmin daha sonra bir meslektaşının kitabına anti-mantık kitabı demeye başladığını anlattı.

Kariyerini sona erdirmedi. Yaptığı şey, tamamen farklı bir kitle bulmaktı. Retorik ve iletişim bölümleri — özellikle Amerika Birleşik Devletleri'nde — kitabı aldı ve üzerine müfredatlar oluşturdu, çünkü Toulmin, formel mantığın asla yapmadığı bir şeyi yapmıştı. Gerçek bir kişinin bir argüman oluşturduğunda neye benzediğini tanımlamıştı.

Altmış yıl kadar sonra, bir makineden bir toplantı tutanağını okumasını ve neyin tartışıldığını söylemesini isterseniz, yanıt vermek için Toulmin'in kelime dağarcığını kullanacaktır. Bu serinin hikayesi budur ve bu gönderi bunun yayılımıdır: mantıkçıların reddettiği bir felsefe kitabının nasıl bir makine öğrenimi görevine yönelik bir spesifikasyon haline geldiği.

Toulmin'in Gerçekten Değiştirdiği Şey

Formal mantık geçerlilikle ilgilidir: bu önermeler verildiğinde, bu sonuç çıkar mı? Harika bir araçtır ve insanların gerçekten söyledikleri hakkında neredeyse hiçbir şey tanımlar. Hiç kimse, sülalelere göre tartışmaz.

Toulmin'in hamlesi farklı bir soru sormaktı — bu geçerli mi değil, bunun yapısı nedir. Gerçek bir argümanı altı parçaya böldü ve bunlardan üçü ağır yükü taşıyor:

• İddia — ileri sürülen pozisyon. Birinin kabul etmesini istediğiniz şey.
• Gerekçeler — desteklemek için sunulan gerçekler. Kanıt, veriler, örnek.
• Gerekçe — gerekçeden iddiaya geçişi lisanslayan ilke. Neredeyse hiç yüksek sesle ifade edilmez.

Emirname ilginç olanıdır ve argüman madenciliğinin sıkıcı değil zor olmasının sebebidir. Köprü yapısal olarak sağlam değil, bu yüzden kapatmalıyız gizli bir önermeyi içerir: sağlam olmayan yapıların kapatılması gerektiği. Hiç kimse o cümleyi söylemez. Herkes bunu varsayar. Metni okuyan bir makine, metinde olmayan bir adımı yeniden inşa etmek zorundadır.

Diğer üç bölüm — destek, nitelik, karşıt görüş — ihtiyat ve istisnaları ele alır. Birlikte, bir argümanı bir zincir yerine bir yapı olarak tanımlarlar ve bu yapısal bakış açısı, tüm süreci daha sonra hesaplanabilir hale getiren şeydir.

Walton ve Tartışmayı Kıran Soru

Eğer Toulmin alana anatomisini verdiyse, Douglas Walton ona bir saha rehberi verdi. 1990'lar ve 2000'ler boyunca çalışan Walton, günlük akıl yürütmenin tekrarlayan kalıplarını — uzman görüşüne başvurma, analojiden argüman, sonuçlardan argüman, işaretten argüman — argümantasyon şemaları olarak katalogladı.

Katalog faydalıdır. Güçlü kılan ise ikinci yarısıdır: her şema, o modelin nerede başarısız olduğunu ortaya koyan kritik sorular ile birlikte gelir. Uzman görüşüne başvurmak için: bu kişi gerçekten bu alanda bir uzman mı? Diğer uzmanlar bu konuda hemfikir mi? İddia, kanıtlarla tutarlı mı?

Bu, bir toplantıda oturan herkes için gelenekteki en faydalı şeydir ve uygulanması hiçbir maliyet gerektirmez. Birisi otoriteden argüman sunduğunda, sonuca katılmak zorunda değilsiniz. Desenin kendisinin davet ettiği kritik soruyu sorarsınız. Bu saldırgan değildir; argümanın talep ettiği şey budur.

Freeman ve Hesaplanabilir Hale Getiren Ayrım

James Freeman'ın 1991 tarihli argüman makro yapısı üzerine çalışması, makineler için en önemli parçayı ekledi. İnsanların gündelik olarak anlaşmazlık olarak adlandırdığı iki şey arasında sert bir çizgi çekti.

Bir sonucu eleştirebilirsiniz — onun yanlış olduğunu savunabilirsiniz. Ya da çıkarımı eleştirebilirsiniz — sunulan her gerçeği kabul edip sonucun bunlardan çıkmadığını reddedebilirsiniz. Çalışmanız hatalıdır ve çalışmanız iyidir ama düşündüğünüzü göstermiyor tamamen farklı hamlelerdir ve bunları bir bütün olarak ele almak, gerçek bir anlaşmazlıkta çoğu bilgiyi kaybettirir.

Freeman ayrıca yalnızca birlikte çalışan önermeleri, her birinin bağımsız durduğu önermelerden ayırdı — bir bacağın çıkarılması durumunda çöken bir argüman ile yalnızca zayıflayan bir argüman arasındaki fark. Bu ayrımlara sahip olduğunuzda, bir argüman artık düz yazı değildir. O, etiketli bir grafiktir ve etiketli bir grafik, bir bilgisayarın puanlayabileceği bir şeydir.

Sonra Yirmi Yıl Hiçbir Şey Olmadı

Teori 1990'ların başında yerleşmişti. Hesaplama alanı 2010'lara kadar gelmedi ve sebebi pek göz alıcı değil: karşılaştıracak hiçbir şey yoktu.

Bir araştırma alanı, rekabet eden yaklaşımların aynı veriler üzerinde karşılaştırılabildiği zaman bir araştırma alanı haline gelir. Bu, birinin binlerce belgeyle oturup, hangi bölümlerin iddia, hangi bölümlerin önermeler olduğunu ve hangilerinin hangilerini desteklediğini veya saldırdığını elle işaretlemesini gerektiriyordu. Christian Stab ve Iryna Gurevych, ikna edici makaleler için bunu yaptılar. Andreas Peldszus ve Manfred Stede, yapıyı incelemek için özel olarak kısa argüman metinlerinden oluşan bir korpus oluşturdu.

Bu çalışma, bu serideki bir sonraki yazıda düzgün bir şekilde ele alınıyor. Burada önemli olan, ortaya çıkan şekildir. Sistemleri puanlayabildiğinizde, hangi kısımların zor olduğunu görebilirsiniz — ve cevap hemen ortaya çıktı ve aslında hiç değişmedi.

Tazminat Bulmak Kolaydır. Ondan Sonrası Kolay Değil.

Yayınlanan kıyaslamalar tutarlı bir hikaye anlatıyor. İkna edici makale veri kümesinde, argüman bileşenlerini tanımlamak ve etiketlemek yaklaşık %73 F1 seviyesine ulaşıyor. Bu bileşenlerin birbirleriyle nasıl ilişkili olduğunu belirlemek — neyin neye bağlı olduğu ve bunun destekleyip desteklemediği — yaklaşık %48 civarında. Joonsuk Park ve Claire Cardie tarafından oluşturulan kamu yorumu verilerinin CDCP veri kümesinde, ilişki tespiti yaklaşık %34'e düşüyor.

O boşluk alandır. Zayıf modellerin bir artefaktı değildir ve o zamandan beri her mimari değişikliğe dayanmıştır. Tespit sürekli olarak gelişti. İlişkiler neredeyse hiç değişmedi.

Nedenler yapısaldır, teknik değil ve bunlar bu serideki üçüncü yazının konusudur: verilerde anlaşmazlık nadirdir, bağlamdan bağımsızdır ve bağlayıcı adım genellikle belirtilmemiştir — Toulmin'in garantisi, altmış yıl sonra hala eksik.

Ama bu sadece doğal dil işleme değil mi?

Aynı makineleri kullanıyor, bu yüzden itiraz makul. Fark, neyin geri kazanıldığıdır.

Duygu analizi bir metnin nasıl hissettirdiğini sorar. Özetleme ne söylediğini sorar. İsimlendirilmiş varlık tanıma kimlerin ve nelerin bulunduğunu sorar. Üçü de içerikle ilgilidir. Argüman madenciliği yapı hakkında sorular sorar — hangi cümle hangi diğer cümle üzerinde argüman oluşturuyor ve hangi yönde.

Bu ayrımın pratik bir yönü var. Bir cümle, bağlı olduğu iddiayı desteklerken olumsuz bir şekilde ifade edilebilir: zaman baskısı riski artırır, projenin riskli olduğu argümanını güçlendirir. Tonla puanlama yapan herhangi bir sistem bunu her seferinde tersine çevirir. Bilgi argüman madenciliğinin geri kazandığı şey kelimelerde değildir. Onlar arasındaki ilişkilerde bulunur.

Büyük Modellerin Değiştirdiği ve Değiştirmediği Şeyler

En son bölüm herkesin bildiği bölüm. Genel amaçlı dil modelleri, öncelikle anotasyonlu bir veri kümesi üzerinde eğitilmeden argüman madenciliği görevlerini yerine getirebilir, bu da alanın sahip olduğu en büyük pratik engeli ortadan kaldırır: her yeni alan için binlerce elle etiketlenmiş örneğe ihtiyaç duymak.

Bu, gerçek bir kesintidir ve argüman madenciliğini yalnızca derlenmiş deneme derlemeleri yerine sıradan iş metinlerinde kullanılabilir hale getiren şeydir. Bu, dördüncü yazıda ele alınmaktadır.

Ne yaptığı, boşluğu kapatmak değil. Yapısal sorunlar hala yapısal. Tüm interneti okumuş bir model, bu itirazın o sebebe mi yoksa arkasındaki sonuca mı yönelik olduğunu hala belirlemek zorunda ve metin hala bunu belirtmiyor.

Bu Altmış Yılın Kendi Argümanlarınız Hakkında Önerdiği Şeyler

• İhtilaf genellikle burada yaşanır. Her konuda hemfikir olan iki kişi hala anlaşamıyorsa, belirtilmemiş bir ilkeye itiraz ediyor demektir. Onu adlandırın ve konuşma kısalır.
• Çıkarıma saldırmak, gerçeklere saldırmakla aynı şey değildir. Hangi birini yaptığını yüksek sesle belirtmek, diğer kişinin yanlış bir şeyi savunmasını engeller.
• Her otoriteye başvuru, kendi test sorusuyla birlikte gelir. Walton bunları yazdı. Onları kullanmak düşmanlık değildir; bu, modelin amaçlandığı gibi çalışmasıdır.
• Yapı hayatta kalan şeydir. Altı ay sonra kimse kelimeleri hatırlamaz. İhtiyaç duydukları şey, hangi itirazın yapıldığı ve bununla ilgili birinin cevap verip vermediğidir.

Anti-Logic Kitabı

Toulmin'in eleştirmenleri bir konuda haklıydı: Argümanın Kullanımları gerçekten de formel mantık hakkında bir kitap değildi. Bu, insanların gerçek riskler söz konusu olduğunda ve önermeler tartışmalı olduğunda nasıl akıl yürüttükleri hakkında bir kitaptı ve kimsenin bir silogizma zamanı yoktu.

Bu, daha zor bir problem ve daha faydalı olanı olarak ortaya çıktı. Bugün bir transkripti okuyan ve neyin iddia edildiğini, hangi gerekçelerle ve neye karşı argümanlar sunulduğunu söyleyen her sistem, onun tanımına dayanıyor. Anti-logic kitabı için fena değil.

Argüman madenciliği serisi

Makinelerin argümanları okumayı nasıl öğrendiğine dair beş gönderi — bu alanın nereden geldiği, zor problemlerinin neden zor olduğu ve bunu nasıl uyguladığımız.