Meta Platforms今天公開了NLLB—200的系統(tǒng)代碼NLLB—200是由Meta開發(fā)的人工智能系統(tǒng)，可以翻譯200種語言的文本

Meta還發(fā)布了一套工具，幫助研究人員更容易地將NLLB—200應(yīng)用于軟件項(xiàng)目。

根據(jù)Meta的說法，NLLB—200可以理解的200種語言中有許多都沒有得到其他人工智能翻譯系統(tǒng)的良好支持目前，廣泛使用的翻譯工具支持的非洲語言不到25種，而NLLB—200支持的非洲語言多達(dá)55種

Meta，翻譯準(zhǔn)確性是NLLB—200優(yōu)于其他工具的另一個(gè)方面Meta采用BLEU評測系統(tǒng)的準(zhǔn)確度標(biāo)準(zhǔn)，BLEU是一種用來衡量機(jī)器翻譯文本質(zhì)量的算法據(jù)Meta統(tǒng)計(jì)，NLLB 200的BLEU評分比以前提高了44%

Meta的CEO馬克·扎克伯格說:我們剛剛開放了一個(gè)自研的AI模型，可以翻譯200種不同語言mdashmdash當(dāng)前的翻譯系統(tǒng)不支持其中的許多語言我們稱這個(gè)項(xiàng)目為不讓一種語言掉隊(duì)，我們使用的人工智能建模技術(shù)正在對全球數(shù)十億人使用的語言進(jìn)行高質(zhì)量的翻譯

NLLB—200有超過500億個(gè)參數(shù)，這些配置決定了人工智能系統(tǒng)處理數(shù)據(jù)的方式人工智能系統(tǒng)的參數(shù)越多，精度越高

NLB—200擁有如此大量的參數(shù)，這并不是它能夠高精度支持200種語言的唯一因素，因?yàn)镹LLB—200系統(tǒng)還借鑒了Meta工程師開發(fā)的許多其他AI創(chuàng)新。

使用Meta開發(fā)的LASER Toolkit來支持機(jī)器學(xué)習(xí)相關(guān)的研究使用這個(gè)工具包，研究人員可以訓(xùn)練神經(jīng)網(wǎng)絡(luò)用一種語言執(zhí)行特定的任務(wù)，然后相對容易地將神經(jīng)網(wǎng)絡(luò)適配到其他語言，這對翻譯非常有用

LASER的原始版本包括一個(gè)名為LSTM的神經(jīng)網(wǎng)絡(luò)，這是一個(gè)專門的組件，可以將文本轉(zhuǎn)換為人工智能系統(tǒng)可以理解的數(shù)學(xué)表示這種數(shù)學(xué)表示有助于生成更準(zhǔn)確的翻譯結(jié)果在LASER3中，Meta用Transformer代替了LSTM神經(jīng)網(wǎng)絡(luò)前者是一種高級的自然語言處理模型，可以更有效地執(zhí)行相同的任務(wù)

梅塔還使用了其他幾種方法來提高NLLB—200的功能例如，Meta升級了收集訓(xùn)練數(shù)據(jù)的系統(tǒng)，并對AI訓(xùn)練工作流程進(jìn)行了更改

用Meta開發(fā)的研究超級集群超級計(jì)算機(jī)訓(xùn)練NLLB—200Meta在今年1月首次推出Research SuperCluster時(shí)表示，該系統(tǒng)配備了6080顆英偉達(dá)最新的A100數(shù)據(jù)中心GPU，最終將升級到16000顆GPU

Meta計(jì)劃使用NLLB—200在臉書，Instagram和其他平臺上提供更好的自動(dòng)翻譯功能預(yù)計(jì)該系統(tǒng)每天將支持超過250億次翻譯

在努力在內(nèi)部推廣NLLB—200的同時(shí)，Meta還計(jì)劃幫助其他商業(yè)組織將該系統(tǒng)應(yīng)用到他們自己的軟件項(xiàng)目中。

除了NLLB—200，Meta還開放了可用于訓(xùn)練AI的源代碼，以及一個(gè)名為FLORES—200的數(shù)據(jù)集，用于評估翻譯的準(zhǔn)確性Meta將提供高達(dá)20萬美元，幫助非營利組織采用NLLB—200此外，Meta將與維基媒體基金會合作，將自動(dòng)翻譯技術(shù)應(yīng)用于維基百科的文章