Wakati LLM zilipokutana na Uchimbaji wa Hoja: Nini Kilichobadilika na Nini Hakikubadilika | Argumentree

TL;DR

Kizuizi cha mwili kimeondoka. Matatizo ya muundo hayakusonga hata inchi moja — na jipya lilifika, likivaa mavazi ya suluhisho.

Uchimbaji wa hoja ulihitaji korpasi iliyochorwa kwa mkono kwa kila eneo. Mifano ya jumla iliyochochewa haina haja ya hivyo, na ndicho kilichofanya iweze kutumika kwenye maandiko ya biashara ya kawaida.
Tathmini zilizochapishwa zinaonyesha kuwa mifano ya jumla iliyoanzishwa inashindana na, na wakati mwingine ni bora kuliko, viwango vya encoder vilivyobadilishwa katika uainishaji wa uhusiano.
Ukosefu wa usawa, utegemezi wa muktadha na dhamana isiyosemwa ni mali za lugha na kazi, si saizi ya mfano.
Uaminifu wa mfano umewekwa vizuri zaidi kuliko uwezekano wa moja kwa moja lakini bado si ishara ya kuaminika ya kupanga — mtego mpya, si chombo kipya.
Kile kinachosaidia ni kulazimisha uhusiano kuandikwa kwa maneno kabla ya lebo kuwekewa.

Kizuizi Kilichofafanua Uwanja Kilisimama Kutumika Tu.

Kwa miaka ishirini, jibu la je, tunaweza kufanya uchimbaji wa hoja kwenye data zetu? lilikuwa swali lingine: ni maelfu mangapi ya hati zako uko tayari kuandikwa kwa mkono kwanza, na nani atandika mwongozo?

Hiyo haikuwa maelezo ya kiufundi. Ilikuwa sababu ambayo uchimbaji wa hoja ulibaki katika maabara za utafiti wakati uchambuzi wa hisia ulitolewa katika kila bidhaa. Mahitaji ya uandishi wa maelezo yalifanya kila eneo jipya kuwa mradi badala ya usanidi, na kama post ya pili katika mfululizo huu ilivyoelezea, miongozo yenyewe ilipingwa hata kati ya wataalamu.

Kisha mifano ya lugha ya jumla ilifika na swali hilo halikuulizwa tena. Sasa unaweza kuelekeza moja kwenye nakala ya mkutano katika eneo ambalo hakuna mtu aliyewahi kuweka alama na kupata toleo la kwanza linaloweza kutumika. Ikiwa umewahi kujiuliza kwa nini uwezo huu ulionekana katika bidhaa ghafla badala ya polepole, hiyo ndiyo sababu.

Zero-Shot Ndiyo Hadithi Nzima

Kitu maalum kilichobadilika ni kuondolewa kwa usimamizi wa kipekee wa eneo. Mfano uliohamasishwa unaleta ujuzi wa jumla na lugha na unaweza kuelekezwa ni nini dai na ni nini msingi, katika kichocheo, wakati wa ufafanuzi.

Kazi iliyochapishwa juu ya uchimbaji wa hoja kulingana na uhusiano imegundua mifano ya matumizi ya jumla yenye uhamasishaji wa kidogo inayoshindana na viwango vya encoder vilivyobadilishwa katika seti nyingi za data — na katika matukio mengine mbele yao. Kwa uwanja ambao vifaa vyake vyote vya tathmini vilijengwa juu ya mafunzo yanayosimamiwa dhidi ya maktaba yaliyoandikwa, hiyo ni tofauti halisi.

Matokeo matatu ya vitendo yanafuata. Ubadilishaji wa eneo unakuwa kubadilisha maelekezo badala ya kufundisha upya. Hati ndefu zinakuwa rahisi kushughulikia, kwa sababu madirisha ya muktadha yamekua. Na uwanja wa ushahidi unaweza kubeba maelezo, kwa sababu mfano unaweza kuombwa kujitetea katika wito huo huo — jambo ambalo linaonekana kuwa na umuhimu zaidi kuliko inavyosikika.

Tatizo Tatu Ambazo Hazikusonga

Kila kitu katika post iliyopita bado kinatumika, na inafaa kuwa sahihi kuhusu kwa nini ukubwa haujashughulikia chochote kati yake.

Usawa wa darasa ni sifa ya uandishi, si ya mafunzo. Watu wanaojenga kesi kwa kawaida huandika sentensi za kuunga mkono. Mfano ambao umesoma mtandao mzima umesoma kwa kiasi kikubwa makubaliano pia.
Kutekeleza kwa muktadha ni sifa ya kazi. Msaada na shambulio ni uhusiano, si sifa za sentensi. Sentensi hiyo hiyo chini ya mzazi tofauti ina lebo tofauti, na hakuna kiasi chochote cha maarifa ya ulimwengu kinachobadilisha hilo.
Wakati wa kutangazwa haujaandikwa ni mali ya maandiko. Ikiwa kanuni inayounganisha ushahidi na hitimisho haikuandikwa kamwe, haipo katika ingizo. Mfano mkubwa unasoma sentensi hiyo isiyo na maandiko.

Kuna ya nne, ya chini zaidi. Mfano unaozungumza vizuri unatoa matokeo yanayoeleweka vizuri, hivyo makosa yake yanakuja yakiwa na maneno mazuri na yana uhusiano wa ndani. Lebo mbaya ya uhusiano kutoka kwa encoder ilionekana kama kelele. Lebo mbaya ya uhusiano kutoka kwa mfano wa lugha inaonekana kama hoja.

Trap Mpya: Kuamini Uhakika wa Mfano Mwenyewe

Kwa sababu mifano hii inaweza kuripoti jinsi wanavyokuwa na uhakika, ni rahisi kutumia nambari hiyo — kuorodhesha hoja zilizopatikana, kuamua ni zipi zina umuhimu, kuamua ni zipi zitakazoonyeshwa.

Kazi ya Saurav Kadavath na wenzake iligundua kwamba tathmini ya kibinafsi iliyosemwa ina ulinganifu mzuri zaidi kuliko uwezekano wa tokeni wa kawaida. Matokeo hayo mara nyingi yanakabiliwa kama ruhusa ya kuamini nambari hiyo. Tathmini inayofuata imekuwa ikionyesha matokeo yasiyokuwa ya kutia moyo: kuwa bora kuliko mbadala si sawa na kuwa na uaminifu, na ulinganifu unaharibika hasa pale unavyohitaji, katika kesi ngumu na zisizo za kawaida.

Kuna pia kosa la aina linalofichika katika mazoezi. Kujiamini kunaonyesha jinsi ambavyo mfano ulikuwa na uhakika kwamba uligundua hoja halisi. Hakuna kinachosemwa kuhusu ikiwa hoja hiyo ni kati ya mjadala. Takwimu iliyoandikwa kwa uwazi ni uchimbaji rahisi wa kujiamini kwa juu; sentensi iliyo na masharti ambayo kwa bahati ndiyo thesis halisi ni ngumu. Kuweka alama kwa kujiamini kunakuza ushahidi na kupunguza madai — ambayo ndiyo hasa kushindwa ambayo chapisho la mwisho katika mfululizo huu linafungua nalo.

Jaribu kwenye nakala unayoijua vizuri

Chukua mkutano ambao matokeo yake unakumbuka wazi na uulize chombo chochote cha AI ni nini hoja kuu. Ikiwa kinakupa sentensi sahihi zaidi, yenye ushahidi mzuri badala ya ile isiyo thabiti ambayo kwa kweli iliongoza uamuzi, umeshuhudia jinsi ujasiri unavyoweza kuchukua nafasi ya umuhimu — na sasa unajua usiamini uainishaji huo.

Nini Kifaa: Kufanya Iseme Kwa Nini Kwanza

Uboreshaji wa kuaminika zaidi unaopatikana na mifano hii ni rahisi kupita kiasi. Uliza kuhusu mantiki kabla ya lebo.

Kuhitaji mfano kuandika kile mchango unachofanya kwa mzazi wake — hii inaimarisha pingamizi lililopo juu yake, kwa sababu inatoa sababu nyingine ambayo pingamizi hilo lina nguvu — kabla ya kujitolea kwa uamuzi wa kusaidia au kushambulia inaboresha kwa kiasi uamuzi huo. Hatua iliyoandikwa inalazimisha uhusiano wa mzazi kuingia katika muktadha wa kazi wa mfano, ambayo ndiyo taarifa hasa ambayo maneno ya sentensi yanashindwa kutoa.

Hii ni toleo la mashine la mbinu ya kibinadamu kabisa. Ndio sababu steelmanning inafanya kazi: kuelezea kile hoja inachofanya kwa kweli, kabla ya kuikadiria, kunabadilisha uamuzi.

Je, Uchimbaji wa Hoja umetatuliwa?

Hapana, na umbo la kilichobaki sasa linaonekana wazi zaidi kuliko lilivyokuwa wakati wowote.

Kile kilichotatuliwa, kwa upande wa vitendo, ni upatikanaji. Shirika lolote linaweza kufanya uchimbaji wa hoja kwenye maandiko yake mwenyewe leo bila mpango wa alama, jambo ambalo halikuwaza miaka michache iliyopita. Hiyo ni mabadiliko halisi na makubwa.

Kilichobaki kutatuliwa ni muundo: ni mchango upi unajibu upi, na katika mwelekeo upi, wakati kanuni ya kuunganisha haijatajwa na data imewafundisha kila mtu — binadamu na mashine — kutarajia makubaliano. Nafasi ya ukweli ni kwamba uchimbaji sasa unatoa rasimu nzuri katika eneo lolote, na kwamba mtu bado anahitaji kuangalia tofauti. Hii ni mgawanyiko wa kazi bora zaidi kuliko ile ambapo hakuna mtu aliyejenga muundo kabisa.

Jinsi ya Kutumia Hii Vizuri

Usipange kwa kujiamini. Inapima uhakika wa uchimbaji, si umuhimu, na kwa mfumo inakuza ushahidi zaidi ya madai.
Uliza kuhusu uhusiano, si hisia. Swali muhimu ni nini hii inafanya kwa mzazi wake — kamwe si jinsi inavyohisi kuhusu mada hiyo.
Fanya iwe na sababu inayostahili kabla ya kuipa. Sababu iliyoandikwa ndiyo inayoleta uhusiano wa mzazi katika muktadha, na ndipo unapata makosa.
Tumia muda wako wa kupitia kwenye tofauti. Hapo ndiko mifano ilivyo dhaifu zaidi na ambapo thamani ya uamuzi imekusanywa.

Rasimu Bora, Si Hukumu

Kizuizi kilichoshikilia uchimbaji wa hoja katika maabara kimeondoka, na hakitarudi. Hiyo ni muhimu kuwa na ufahamu wazi: ni tofauti kati ya mbinu ya utafiti na kitu ambacho unaweza kukielekeza katika mikutano yako mwenyewe.

Lakini matatizo ambayo yalikuwa magumu mwaka wa 1958 bado ni magumu sasa. Warrant bado haijaandikwa, kutokubaliana bado ni nadra, na lebo bado inategemea mzazi badala ya maneno. Kilichobadilika ni nani anayeweza kuwa na tatizo — ambayo, kwa uwanja uliochukua miaka ishirini kusubiri waandishi wa maelezo, ni mabadiliko ya kutosha.

mfululizo wa uchimbaji wa hoja

Machapisho tano kuhusu jinsi mashine zilivyojifunza kusoma hoja — wapi uwanja ulitoka, kwa nini matatizo yake magumu ni magumu, na jinsi tunavyoyatumia.

Kutoka Toulmin hadi Transformers

Jinsi kitabu cha falsafa cha mwaka 1958 ambacho wanahisabati walikikataa kilivyokuwa kiwango cha kazi ya kujifunza kwa mashine.

Kufundisha Mashine Kusoma Hoja

Muongo wa maktaba ya maandiko yaliyotolewa kwa mikono ambayo iligeuza uchimbaji wa hoja kutoka wazo kuwa kazi inayoweza kupimwa.

Kwa nini Ugunduzi wa Mashambulizi ni Mgumu Hivyo

Mkutano wa maoni ni nadra katika data na unategemea muktadha ambao sentensi haina.

Jinsi Argumentree Inavyopata Hoja

Kuitumia: makundi ya hoja, mada kuu moja kwa kila kundi, na kwa nini ujasiri ni ishara mbaya ya kiwango.

Vyanzo na Kusoma Zaidi

Lawrence, J., & Reed, C. (2019). Uchimbaji wa Hoja: Utafiti. Linguistics ya Kompyuta, 45(4), 765–818.

Hali ya awali ya uwanja kabla ya LLM — inafaida kama kipimo ambacho mabadiliko yanapimwa.

Kadavath, S., et al. (2022). Mifano ya Lugha (Kimsingi) Inajua Kile Inachokijua. arXiv:2207.05221.

Uthibitisho wa kujitathmini kwa maneno unashinda uwezekano wa tokeni mbichi — matokeo mara nyingi yanachukuliwa kama ruhusa ya kuamini nambari hiyo.

Stab, C., & Gurevych, I. (2017). Kuchambua Miundo ya Hoja katika Insha za Kuashiria. Linguistics ya Kompyuta, 43(3), 619–659.

Matokeo ya kipimo kilichosimamiwa ambayo mbinu za LLM zinalinganishwa nazo.

Toulmin, S. E. (1958). Matumizi ya Hoja. Cambridge University Press.

Warrant — hatua isiyoandikwa ambayo kiwango hakitoi, kwa sababu inakosekana katika maandiko badala ya katika mfano.

Maswali Yanayoulizwa Mara kwa Mara

Jinsi gani mifano mikubwa ya lugha ilivyobadilisha uchimbaji wa hoja?

Waliondoa hitaji la mkusanyiko wa maandiko ulioandikwa kwa mkono katika kila eneo jipya. Mfano wa jumla uliohamasishwa unaweza kubaini madai, misingi na uhusiano bila data maalum ya mafunzo ya eneo, ambayo iligeuza uchimbaji wa hoja kutoka kuwa mbinu ya utafiti kuwa kitu kinachoweza kutumika kwenye maandiko ya kawaida ya shirika.

Je, LLMs ni bora kuliko mifano iliyobadilishwa kwa ajili ya uchimbaji wa hoja?

Kuhusu uchimbaji wa hoja unaotegemea uhusiano, tathmini zilizochapishwa zimegundua kuwa mifano ya jumla iliyoanzishwa inashindana na katika baadhi ya matukio ni bora kuliko viwango vya encoder vilivyobadilishwa katika seti nyingi za data. Faida kubwa zaidi ni kwamba hazihitaji data ya mafunzo iliyotolewa kwa ajili ya eneo jipya kabisa.

Ni matatizo gani ambayo LLMs hayakuyatatua?

Vile vile vya muundo. Tofauti ya darasa inaonyesha jinsi watu wanavyoandika badala ya jinsi mifano inavyofundishwa. Msaada dhidi ya shambulio unategemea mzazi, si maneno. Na pingamizi mara nyingi yanaelekezwa kwenye dhamana isiyoelezwa ambayo haipo katika maandiko, hivyo hakuna kiwango cha uwezo wa mfano kinachoweza kuipatia.

Je, unaweza kuamini alama ya kujiamini ya mfano?

Siyo kama ishara ya uainishaji. Ujasiri ulioelezwa umewekwa vizuri zaidi kuliko uwezekano wa tokeni za asili lakini unabaki kuwa usio na uhakika kwa viwango vya jumla, na unapima uhakika wa uchimbaji badala ya umuhimu — hivyo uainishaji kwa hiyo kwa mfumo unakuza maelezo yenye ushahidi mzuri zaidi kuliko sentensi zisizo na uthibitisho ambazo zina madai halisi.

Nini hasa kinaboresha uainishaji wa uhusiano na LLMs?

Inahitaji mfano kusema, kwa maneno, kile mchango unachofanya kwa mzazi wake kabla ya kujitolea kwa lebo ya kusaidia au kushambulia. Hatua iliyoandikwa inalazimisha uhusiano wa mzazi kuingia katika muktadha wa kazi, ambayo ndiyo taarifa ambayo maneno ya sentensi yenyewe yanashindwa kutoa.

Je, uchimbaji wa hoja ni tatizo lililopatiwa suluhisho sasa?

Upatikanaji umetatuliwa — shirika lolote linaweza kulendesha kwenye maandiko yake mwenyewe bila mpango wa maelezo. Muundo haujatatuliwa. Kuamua ni mchango upi unajibu upi, na katika mwelekeo upi, bado ni vigumu, hivyo uvunaji unatoa rasimu nzuri na mtu bado anapitia tofauti hizo.

Argumentree Team

Decision Science

The Argumentree team explores the science of better decisions—from ancient philosophy to modern AI.

Rasimu unayoweza kurekebisha

Uondoaji unazalisha muundo; unakagua tofauti. Bandika nakala na uone mgawanyiko wa kazi.

Nini maana ya uchimbaji wa hoja?

Ukurasa wa rejeleo wa uwanja — kazi, historia, na kwa nini uhusiano ndio sehemu ngumu.