原文標(biāo)題:《ChatGPT 造孽！中國高校因它算力荒》

不做大模型，就沒有算力用。

這是 ChatGPT 點燃 AI 風(fēng)口后，國內(nèi)某 top3 高校 AI 實驗室的殘酷現(xiàn)狀。

同一個實驗室里，非大模型團(tuán)隊 6 人用 4 塊 3090 卡，比起同實驗室的大模型團(tuán)隊 10 個人用 10 塊 A800 卡，本就已經(jīng)不算富裕。

現(xiàn)在，校企合作也更偏愛大模型。去年 11 月 ChatGPT 發(fā)布后，與非大模型團(tuán)隊合作的企業(yè)驟減，近期找上門的，也是張口就問:

“你們做大模型不？”

做，有高校和企業(yè)的通力支持；不做？那就只能眼睜睜看著算力花落別家。

哪怕某量化私募基金的有 10000 張 A100 卡，還對高校研究團(tuán)隊開放申請，也不見得能落一張到你頭上。

“要是我們組能分到一些就好了?！笨吹竭@條微博，非大模型團(tuán)隊帶隊的數(shù)據(jù)科學(xué)方向博士小哥羨慕不已，因為缺算力，他都愁得快仰天長嘯了:我們也值得投資?。。?！

現(xiàn)在，大伙爭先恐后撲向 ChatGPT 背后 GPT-3.5 般的各種大模型，算力流向亦然。

其他 AI 領(lǐng)域本就不足的算力更荒了，尤其是國內(nèi)學(xué)界手里的算力分配下來，貧富差距肉眼可見。

一整個實驗室就 4 塊 3090 卡

巨大規(guī)模算力以月為單位的租用成本，對研究團(tuán)隊來說不是小數(shù)目。大模型正當(dāng)其道，學(xué)界研究大模型的實驗室或團(tuán)隊擁有算力資源的優(yōu)先分配權(quán)。

就拿小哥在學(xué)校的親身體驗來說，在他們研究室，大模型小組 10 個人有 10 塊 A800 卡可用，而另一個研究傳統(tǒng)機(jī)器學(xué)習(xí)方向的實驗室，整個實驗室只有 4 塊 3090 卡。

擁抱主流趨勢是一重原因，另一重原因是實驗室需要運轉(zhuǎn)和維護(hù)的經(jīng)費，獲得撥款的一種形式是申請國家項目，但必要步驟是提供論文成果。

雙重原因下，本就不多的算力資源，不得不優(yōu)先分配給大模型這樣熱門且相對容易出成果的研究。哪怕對學(xué)界來說，訓(xùn)一個大模型其實練不太動 —— 因為數(shù)據(jù)、算力和資金都有些捉襟見肘。

為了獲得更多的資源，有的非大模型實驗室甚至額外專門成立研究大模型的團(tuán)隊。

當(dāng)然，想要獲得資金和資源，校企合作也是不可或缺的一種方式。

這種推動產(chǎn)研融合的重要支撐形式持續(xù)已久，2020 年，KDD 中校企合作論文占比超過 50%，這個比例在 ICCV 中達(dá)到 45%。

舉例來說，2021 年，清華大學(xué) KEG、PACMAN、NLP 等實驗室著手推進(jìn)訓(xùn)練千億參數(shù)的稠密模型，但團(tuán)隊用于訓(xùn)練模型的計算資源并不充足。最終，校外企業(yè)智譜 AI 租用了近百臺 A100 的服務(wù)器，免費提供所需算力，這才有了雙語預(yù)訓(xùn)練語言大模型 GLM-130B 的誕生。

但在眾人爭先恐后撲向 GPT-3.5 般大模型的當(dāng)下，非大模型團(tuán)隊開始不太好談這類合作了。

去年 11 月 ChatGPT 發(fā)布后，與小哥所在團(tuán)隊洽談校企合作事宜的公司數(shù)量急劇減少。在其他高校，AI 領(lǐng)域的非大模型團(tuán)隊也總是面臨企業(yè)詢問，“要不要 / 會不會做大模型”。

本就稀缺的算力，在學(xué)界有成為追逐熱點的砝碼的傾向，算力資源分配的馬太效應(yīng)由此逐漸擴(kuò)大，帶給學(xué)術(shù)研究很大困擾。

ChatGPT 加劇算力分配貧富分化

算力是 AI 飛速發(fā)展必不可少的指標(biāo)，2018 年，OpenAI 發(fā)布的報告中點出一個算力趨勢:

自 2012 年以來，AI 訓(xùn)練任務(wù)所運用的算力每 3.43 個月就會翻倍。到 2018 年，AI 算力需求增長了 30 萬倍。

產(chǎn)學(xué)研對算力需求暴增，我們能提供的算力有多少？

據(jù)中國算力集團(tuán)統(tǒng)計，截至 2022 年 6 月底，我國數(shù)據(jù)中心機(jī)架使用總規(guī)模超過 590 萬標(biāo)準(zhǔn)機(jī)架，服務(wù)器規(guī)模約 2000 萬臺，算力總規(guī)模排名全球第 2。

這個排名還算不錯，但攤開來看仍舊遠(yuǎn)遠(yuǎn)不夠，畢竟放眼全球，沒有哪個國家不是嗷嗷待哺，等著更多的算力資源“投喂”。

再退一步講，買得起顯卡，擁有的算力上去了，電費也是天文數(shù)字。

況且我國還有特殊情況 ——

開放原子開源基金會業(yè)務(wù)發(fā)展部部長朱其罡在本月舉辦的 CCF YOCSEF 上發(fā)言闡述現(xiàn)狀稱，超算領(lǐng)域的核心技術(shù)，一個是 IBM LSF 超算系統(tǒng)，一個是開源系統(tǒng)。目前，國內(nèi)多數(shù)超算中心都基于開源系統(tǒng)做封裝，但這個版本調(diào)度資源的效率和能力都有很大的提升空間。

以及，因為眾所周知的原因，A100、H100 這倆目前性能最強(qiáng)的 GPU，還沒找到可規(guī)模替代的方案。

綜上，算力不夠已是積弊，但 ChatGPT 時代，算力需求劇烈擴(kuò)張，除了大量訓(xùn)練算力，大量推理算力也需要支撐。

所以現(xiàn)在的情況是，因為 ChatGPT 顯示出大模型的推理能力，訓(xùn)練和研究大模型的算力需求增加；同時因為大模型熱度爆棚，蜂擁至大模型的算力資源也增加。

分配給大模型領(lǐng)域的算力資源豐富起來，其他 AI 領(lǐng)域缺衣少食的情況逐漸加劇，研發(fā)能力受到掣肘。

可以說，ChatGPT 成為如今的 AI 屆白月光后，加劇了算力分配的貧富分化。

這般“富”甲一方的大模型，是不是 AI 研究路徑上最好的？還沒人能夠回答。

但值得引起注意和重視的是，GPT 系列為首的大模型不應(yīng)該吸引全部目光，整個 AI 領(lǐng)域還有各種各樣的研究方向，還有更加細(xì)分的垂直領(lǐng)域，以及帶來更多生產(chǎn)力的模型和產(chǎn)品。

當(dāng) ChatGPT 的熱度趨于平緩，學(xué)界的算力資源分配差距會縮小嗎？

所有非大模型方向的實驗室和團(tuán)隊，恐怕都在期待之中。