最近三星實(shí)驗(yàn)室有個(gè)新的AI換臉工具叫MegaPortraits，在國(guó)外爆了簡(jiǎn)單來(lái)說(shuō)，這個(gè)AI工具可以捕捉到真人的面部動(dòng)作，讓靜態(tài)人像模仿真人的表情和動(dòng)作，讓其動(dòng)起來(lái)

該技術(shù)的工作方式是將源圖像與行駛圖像的運(yùn)動(dòng)混合，然后將行駛圖像的運(yùn)動(dòng)嵌入到源圖像中在每一幀中產(chǎn)生運(yùn)動(dòng)的AI模型是從源圖像和駕駛圖像中的兩個(gè)隨機(jī)幀中訓(xùn)練出來(lái)的，其中駕駛圖像指的是上述兩組gif中最左邊的真人

因此，即使當(dāng)驅(qū)動(dòng)圖像的外觀與源圖像的外觀大不相同時(shí)，具有中等分辨率的視頻數(shù)據(jù)和具有高分辨率的圖像數(shù)據(jù)也可以用于實(shí)現(xiàn)渲染圖像的質(zhì)量水平和運(yùn)動(dòng)的所需變化。

MegaPortraits的研究人員解釋說(shuō):我們的訓(xùn)練設(shè)置是相對(duì)標(biāo)準(zhǔn)的我們?cè)诿恳徊綇臄?shù)據(jù)集中抽取兩個(gè)幀:源幀和驅(qū)動(dòng)幀我們的模型將驅(qū)動(dòng)幀的運(yùn)動(dòng)強(qiáng)加到源幀的外觀上，以產(chǎn)生輸出圖像

他們還說(shuō):主要的學(xué)習(xí)信號(hào)是從源幀和驅(qū)動(dòng)幀來(lái)自同一視頻的訓(xùn)練集中獲得的，因此我們的模型預(yù)測(cè)被訓(xùn)練為匹配驅(qū)動(dòng)幀。

本站了解到，MegaPortraits的研究人員表示，Mega Portraits的換臉工具目前在肩部和服裝區(qū)域表現(xiàn)不佳，他們將在未來(lái)重點(diǎn)改善這一問(wèn)題。