NLP研究綜述上的一篇文章火了。

據(jù)paperswithcode統(tǒng)計(jì)，這篇文章被贊800多次，轉(zhuǎn)發(fā)200多次。

來自Meta AI，亞馬遜，劍橋大學(xué)，紐約大學(xué)等的研究人員。，瞄準(zhǔn)NLP目前最關(guān)鍵的任務(wù):泛化——

針對目前圈里缺乏分類評(píng)價(jià)體系的問題，提出了一種分類評(píng)價(jià)體系。

為此，他們對過去400多篇與概括相關(guān)的論文進(jìn)行了分析和分類，并進(jìn)行了600多次個(gè)體實(shí)驗(yàn)通過回顧以往與泛化相關(guān)的研究，他們也對未來提出了更多的展望

此外，研究人員還建立了一個(gè)網(wǎng)站，方便概括領(lǐng)域的研究人員搜索同行的成果。

目前，該內(nèi)容已經(jīng)發(fā)表在arxiv上，并引起了圈內(nèi)研究者的關(guān)注。

有網(wǎng)友表示，過去很難搜索到相關(guān)內(nèi)容，并向團(tuán)隊(duì)致敬:

還有日本相關(guān)愛好者關(guān)注轉(zhuǎn)發(fā):

那么，這篇綜述具體提出了什么。

為泛化創(chuàng)建一個(gè)分類。

在說研究成果之前，先簡單描述一下什么是概括。

這個(gè)任務(wù)大致可以理解為根據(jù)過去的經(jīng)驗(yàn)遷移到新的任務(wù)和問題的能力，也就是根據(jù)中學(xué)老師的語氣舉一反三的水平。

事實(shí)上，人們在日常生活中形成單詞和句子時(shí)，往往會(huì)進(jìn)行概括舉個(gè)例子，當(dāng)你明白紅色可以用來形容蘋果的時(shí)候，你自然會(huì)說紅色的番茄紅色的草莓之類的詞，但這是機(jī)器的問題

概括能力還是要靠大量的基礎(chǔ)常識(shí)，否則詞語的自由組合必然會(huì)產(chǎn)生反諷效果。比如綠色吃小狗量子比美女大…

開個(gè)玩笑，在NLP領(lǐng)域，泛化一直被視為重點(diǎn)方向，很多從業(yè)者把這種能力視為AGI的關(guān)鍵。

可是，長期以來，對于如何推廣NLP模型，以及評(píng)估其推廣性能的條件，卻鮮有一致的標(biāo)準(zhǔn)和意見泛化行為已經(jīng)通過隨機(jī)訓(xùn)練—測試分段進(jìn)行了簡單的評(píng)估

在這篇文章中，通過回顧過去幾十年在自然語言處理領(lǐng)域概括能力的成就，研究者希望用一個(gè)系統(tǒng)來定義和討論概括問題

因此，他們提出了一套分類并設(shè)計(jì)了五個(gè)維度供同行在概括領(lǐng)域參考:

動(dòng)機(jī)動(dòng)機(jī)

一般化類型

偏移類型

偏移源

偏移軌跡

它還統(tǒng)計(jì)了研究較多的類型和相對較少的類型，以便呈現(xiàn):

讓我們擴(kuò)展一下這些分類維度。

動(dòng)機(jī)維度

比如市場上主流的概化任務(wù)，意在提高模型的實(shí)用性希望模型經(jīng)過某類文本數(shù)據(jù)集的訓(xùn)練后，在其他場景下也能給出合理的響應(yīng)，并具有足夠的魯棒性，其動(dòng)機(jī)是提高實(shí)用性

但有些泛化研究并不著眼于實(shí)際場景，只是單純想提高模型的認(rèn)知能力，希望它能更快地學(xué)習(xí)此前，一些科學(xué)家研究了LSTM如何優(yōu)化嵌套語法結(jié)構(gòu)，這也是為了這個(gè)目的

此外，動(dòng)機(jī)維度還包括研究模式是否正確理解了任務(wù)，以及在應(yīng)用中是否保證了公平性和包容性。

下圖顯示了2018—2022年不同動(dòng)機(jī)的泛化研究比例，其中實(shí)用性仍然是最大的:

一般化類型維度

這個(gè)維度是根據(jù)概括任務(wù)的類型來分類的。

在實(shí)際研究中，一些泛化研究側(cè)重于各種信息的重組和組合，如紅蘋果—GT，紅草莓就屬于這一類。

另外，還有句子內(nèi)容和結(jié)構(gòu)變化的泛化問題，跨不同任務(wù)的泛化，跨不同語言的泛化都屬于從類型維度分類

研究人員給出了六種分類，如下:

類型尺寸

這個(gè)維度是從技術(shù)實(shí)現(xiàn)的過程來分類的。根據(jù)不同泛化任務(wù)中測試集，訓(xùn)練集和預(yù)測結(jié)果各變量概率分布的偏差，研究者將其分為三種主要類型:

協(xié)變偏移，標(biāo)簽偏移和完全偏移。

其中協(xié)變量偏移在眾多研究中占的比重最大，因?yàn)樵谟?xùn)練模型的過程中往往很難保證每個(gè)輸入都滿足穩(wěn)定分布基于泛化任務(wù)的定義，可以直觀的想象這種情況不會(huì)少見

除了上述三種類型，研究者還進(jìn)一步增加了兩種類型的遷移，即假設(shè)遷移和多次遷移。

源維度

其中包括:自然偏移，訓(xùn)練模型和調(diào)整語料過程中的人為偏移，使用生成數(shù)據(jù)導(dǎo)致的偏移等。

值得一提的是，不同數(shù)據(jù)集之間的變量偏移量占比最高。

軌跡尺寸

最后，研究者提出了一種新的基于變量偏差位置的分類維度。

考慮到自始至終的整個(gè)模型訓(xùn)練和參數(shù)驗(yàn)證步驟，變量概率分布發(fā)生偏移的位置是—

訓(xùn)練和測試之間，微調(diào)和測試之間，預(yù)訓(xùn)練和訓(xùn)練之間，預(yù)訓(xùn)練和測試之間，以及整個(gè)過程。

其中，早期研究論文中的變量偏差集中在從訓(xùn)練到測試的過程中，但2020年后，更多的偏差問題發(fā)生在微調(diào)和測試之間。

為NLP泛化測試的統(tǒng)一標(biāo)準(zhǔn)奠定基礎(chǔ)。

據(jù)研究人員分析，最近幾年來，與泛化相關(guān)的論文數(shù)量激增:

首先，他們使用計(jì)算機(jī)從ACL語料庫中選擇標(biāo)題或摘要中含有概括，概括，概括或概括等詞的論文。

并手動(dòng)檢查所選的論文，以刪除那些實(shí)際上沒有談到概括的論文。

然后他們統(tǒng)計(jì)了每年這些論文的數(shù)量以及占ACL論文總數(shù)的比例。

結(jié)果顯示，這些論文的絕對數(shù)量和相對比例都有很大提高，特別是2018年以來。

接下來，他們用前面介紹的分類來注釋這些論文。

對于每篇論文，第一個(gè)注釋者給它五個(gè)標(biāo)簽，然后第二個(gè)注釋者將檢查這些標(biāo)簽。

如果兩個(gè)評(píng)論員之間有分歧，他們會(huì)先討論，試圖解決問題如果兩者不能達(dá)成一致，那么就會(huì)出現(xiàn)第三個(gè)注釋者

以上不止一步，整個(gè)標(biāo)注過程相當(dāng)嚴(yán)謹(jǐn)。

經(jīng)過仔細(xì)分類統(tǒng)計(jì)，結(jié)果顯示跨領(lǐng)域泛化最受關(guān)注，占比超過30%，其次是健壯性和任務(wù)理解。

此外，半數(shù)以上的研究都遇到了自然引起的變量偏差問題，這也是相關(guān)從業(yè)者最關(guān)心的問題。

分類的意義不止于此這樣，研究者提出了一個(gè)新的框架來系統(tǒng)化和理解泛化研究，最終目的是為建立一個(gè)可靠的統(tǒng)一的NLP泛化測試標(biāo)準(zhǔn)奠定基礎(chǔ)

他們認(rèn)為，他們的系統(tǒng)分類框架為泛化發(fā)展提供了必要的基礎(chǔ)，為相關(guān)研究者提供了更有效的工具，幫助大家快速找到可以參考的相似結(jié)果。

在發(fā)表這篇文章的同時(shí)，這組研究人員還發(fā)表了一個(gè)網(wǎng)頁，計(jì)劃及時(shí)跟進(jìn)NLP泛化研究的最新進(jìn)展。

研究者指出，他們希望通過這些系統(tǒng)化的框架和這個(gè)在線工具，盡可能統(tǒng)一大家對NLP概括測試的認(rèn)識(shí)，因?yàn)楝F(xiàn)有的研究幾乎都處于各抒己見的狀態(tài)。

他們認(rèn)為NLP模型的重要泛化測試應(yīng)該托管在一個(gè)共享平臺(tái)上，也應(yīng)該有一個(gè)列表，讓它更加方便透明。

在大型社區(qū)中，NLP研究人員和領(lǐng)域?qū)＜矣懻摬Q定哪些測試應(yīng)該優(yōu)先。

當(dāng)然，研究人員也明確表示，目前的工作還沒有為泛化測試提供標(biāo)準(zhǔn)化的數(shù)據(jù)或程序，這些還得一步一步來。

研究人員來自科技巨頭和頂尖大學(xué)。

除了來自Meta和亞馬遜等科技巨頭的研究人員，還有來自愛丁堡大學(xué)，劍橋大學(xué)，NYU和香港科技大學(xué)的學(xué)者。

第一篇論文是Dieuwke Hupkes，目前是Meta AI的研究科學(xué)家，主要研究方向是面向NLP的人工神經(jīng)網(wǎng)絡(luò)。

研究人員補(bǔ)充說，下一步，他們將分析并確定哪些關(guān)于NLP的泛化測試將被優(yōu)先考慮。

他們指出，如果研究進(jìn)展順利，即使是明年，NLP的泛化測試標(biāo)準(zhǔn)也會(huì)發(fā)生顯著變化。

論文地址:

門戶網(wǎng)站: