最近，霉霉說(shuō)地道中文的視頻在全網(wǎng)瘋傳。

沒(méi)有機(jī)械的翻譯腔，霉霉用自然而地道的語(yǔ)氣講述自己最近的游歷，甚至連嘴型都卡點(diǎn)對(duì)上，效果堪稱絕絕子。

還沒(méi)有看過(guò)視頻的小伙伴們，原視頻奉上

視頻作者表示，想要做出效果這樣的視頻，其中有三個(gè)很重要的因素:掌握地道的口語(yǔ)翻譯、語(yǔ)音克隆和替換嘴型，但沒(méi)有提到具體用到的模型。

看到視頻效果如此好，不少網(wǎng)友就開(kāi)始試圖找到“復(fù)刻之法”。

一位網(wǎng)友就表示需要至少三步才能達(dá)到這種效果，Whisper識(shí)別、Tortoise-TTS合成帶原始說(shuō)話人音色的語(yǔ)音、Wav2lip換嘴型。

視頻火了之后，吸引了更多人開(kāi)始嘗試，其中背后一款A(yù)I工具也被網(wǎng)友迅速扒出。

這不扒不知道，一扒嚇一跳，這個(gè)工具竟然還是來(lái)自國(guó)內(nèi)的一個(gè)初創(chuàng)團(tuán)隊(duì)搞的。

全網(wǎng)爆火，HeyGen被網(wǎng)友瘋玩

全網(wǎng)火爆，網(wǎng)友紛紛動(dòng)手玩了起來(lái)。

網(wǎng)友Gorden Sun也復(fù)刻了一段霉霉說(shuō)中文的視頻，在排隊(duì)等待7000個(gè)視頻后，用HeyGen制作的視頻翻譯終于完成了。并直言:“效果*目前*，沒(méi)有之一”。

從視頻可以看到，無(wú)論是口型*，卡點(diǎn)和嘴型都對(duì)的。

不過(guò)作者也表示，雖然聲音克隆稍有缺陷，畢竟HeyGen只通過(guò)40秒的視頻來(lái)克隆音頻，如果刻意對(duì)比原視頻，情感還原度稍有欠缺。

HeyGen雖然可以免費(fèi)試用，但只能生成1分鐘時(shí)長(zhǎng)視頻，且生成需要等待很長(zhǎng)時(shí)間，而付費(fèi)版*的也要24美元/月。因此，就有熱心網(wǎng)友貼出了如何用開(kāi)源的工具，做出和HeyGen生成效果同樣的視頻。

比如，語(yǔ)音轉(zhuǎn)文字whisper、文字翻譯GPT、聲音克隆+生成音頻so-vits-svc、生成符合音頻的嘴型視頻GeneFace++。

除了這種中英互譯的視頻，HeyGen在外網(wǎng)也是一片火爆景象，各種玩法都有。

比如，這位網(wǎng)友就用HeyGen制作了說(shuō)6種不同語(yǔ)言的視頻。

HeyGen火爆程度可見(jiàn)一斑，而近日根據(jù)推特上一位分析師Will的統(tǒng)計(jì)顯示，今年8-9月，各大文生圖類AI網(wǎng)站的訪問(wèn)量均開(kāi)始呈現(xiàn)下降趨勢(shì)，但HeyGen的訪問(wèn)量卻上升了92%，流量躍居各大獨(dú)立AI網(wǎng)站之首。

圖源:網(wǎng)友Will推特

那么，這個(gè)被眾多網(wǎng)友狂推，成為AI獨(dú)立網(wǎng)站之首的HeyGen，到底是什么來(lái)頭？

國(guó)內(nèi)創(chuàng)業(yè)團(tuán)隊(duì)，7個(gè)月收入百萬(wàn)美元

2020年12月，HeyGen的背后玩家“詩(shī)云科技”在深圳成立。

據(jù)36氪此前報(bào)道，公司成立之初，就以“用AI生成內(nèi)容，讓用戶以更低成本完成內(nèi)容創(chuàng)作”為愿景，已獲得來(lái)自紅杉中國(guó)、真格基金等風(fēng)投們累計(jì)近千萬(wàn)投資。

HeyGen要做AI視頻創(chuàng)作領(lǐng)域的Midjourney，在團(tuán)隊(duì)方面竟也有一些相似之處。目前，HeyGen的團(tuán)隊(duì)只有大概30人，分布在全球各地，以遠(yuǎn)程辦公形式進(jìn)行合作。

HeyGen的前身，一款名為“Movio”的AI視頻翻譯平臺(tái)，背后所依靠的模型是自家的多模態(tài)內(nèi)容生成引擎“Surreal Engine”。

2022年7月，詩(shī)云科技推出多模態(tài)內(nèi)容生成引擎Surreal Engine，將內(nèi)容生產(chǎn)分為Understanding、Framing(視框化)、Rendering(渲染)三個(gè)步驟。區(qū)別于市面上的兩大3D內(nèi)容創(chuàng)作巨頭:Epic Game的Unreal Engine和Nvidia的Omniverse，Surreal Engine讓普通人也可以輕松進(jìn)行高維度、可交互的內(nèi)容創(chuàng)作。

得益于此，HeyGen的最新版本Joshua Avatar 2.0在實(shí)時(shí)生成人物視頻方面逼真度方面表現(xiàn)出色。

這不，連公司創(chuàng)始人都親自上陣打廣子了～

不僅如此，HeyGen的產(chǎn)品正式上線后的一年不到，創(chuàng)始人Joshua Xu就發(fā)表博文表示:HeyGen在7個(gè)月內(nèi)實(shí)現(xiàn)了100萬(wàn)美元的ARR，并保持連續(xù)9個(gè)月50%的月環(huán)比增長(zhǎng)率。

目前，HeyGen可以支持50多種語(yǔ)言和300多種不同的音色，用戶可以上傳自己的照片進(jìn)行個(gè)性化形象定制，HeyGen也貼心地為用戶提供了上百款數(shù)字人素材和模板。

盈利模式方面，HeyGen主要依靠C端客戶付費(fèi)，視頻生成付費(fèi)模式分為“創(chuàng)作者和商務(wù)(Business)”兩種，*24美元/月。也支持“聲音克隆、人像精調(diào)”單獨(dú)付費(fèi)。未來(lái)將逐步開(kāi)放API接口、團(tuán)隊(duì)協(xié)作和企業(yè)功能。

HeyGen可以基本保證1080P的分辨率，滿足廣告、電商、新聞等行業(yè)的需求，還能幫助用戶制作PPT。此外，HeyGen還提供了文本轉(zhuǎn)視頻、音頻上傳、視頻分享和多種場(chǎng)景視頻等功能。

當(dāng)然，HeyGen還處在成長(zhǎng)期，并不是*的。目前，一些技術(shù)問(wèn)題還會(huì)存在——比如生成的AI視頻存在視頻抖動(dòng)、眨眼頻率過(guò)高等問(wèn)題。

不過(guò)，HeyGen目前正在趁著這一熱度全力沖刺。上周四，HeyGen就在一場(chǎng)線上會(huì)議中展示商業(yè)版本的各項(xiàng)新功能——商業(yè)用戶可以用HeyGen生成長(zhǎng)達(dá)3小時(shí)的內(nèi)容，畫(huà)質(zhì)最高可提升至4K，這一切工作都可以在新上線的并排腳本編輯器、集成的校對(duì)模塊中進(jìn)行。