MOFA-Video是一種能夠?qū)螐垐D片通過(guò)各種控制信號(hào)動(dòng)畫(huà)化的方法。它采用了稀疏到密集(S2D)運(yùn)動(dòng)生成和基于流的運(yùn)動(dòng)適應(yīng)技術(shù)，可以有效地使用軌跡、關(guān)鍵點(diǎn)序列及其組合等不同類(lèi)型的控制信號(hào)來(lái)動(dòng)畫(huà)化單張圖片。在訓(xùn)練階段，通過(guò)稀疏運(yùn)動(dòng)采樣生成稀疏控制信號(hào)，然后訓(xùn)練不同的MOFA-Adapters來(lái)通過(guò)預(yù)訓(xùn)練的SVD生成視頻。在推理階段，不同的MOFA-Adapters可以組合起來(lái)共同控制凍結(jié)的SVD。

需求人群：

"MOFA-Video主要面向需要將靜態(tài)圖像轉(zhuǎn)化為動(dòng)態(tài)視頻的專(zhuān)業(yè)人士和研究人員，如動(dòng)畫(huà)制作者、游戲開(kāi)發(fā)者、視覺(jué)效果設(shè)計(jì)師等。它能夠提供高度的控制性和靈活性，使得用戶可以根據(jù)需要生成各種動(dòng)態(tài)效果。"

MOFA-Video 它支持運(yùn)動(dòng)軌跡、人臉關(guān)鍵點(diǎn)并支持將其混合控制圖像轉(zhuǎn)換為視頻。

混合控制: 結(jié)合圖像、控制信號(hào)和關(guān)鍵點(diǎn)生成動(dòng)畫(huà)。

運(yùn)動(dòng)畫(huà)筆: 結(jié)合圖像、軌跡和畫(huà)筆生成動(dòng)畫(huà)。

控制比例: 調(diào)整動(dòng)畫(huà)的控制比例，從純 SVD 到完全控制。

通過(guò)光流直接控制: 利用圖像和光流直接生成動(dòng)畫(huà)。

使用場(chǎng)景示例：

動(dòng)畫(huà)制作者使用MOFA-Video將角色設(shè)計(jì)圖轉(zhuǎn)化為動(dòng)態(tài)動(dòng)畫(huà)。

游戲開(kāi)發(fā)者利用MOFA-Video為游戲角色添加動(dòng)態(tài)表情和動(dòng)作。

視覺(jué)效果設(shè)計(jì)師使用MOFA-Video生成具有特定運(yùn)動(dòng)軌跡的視頻效果。

產(chǎn)品特色：

軌跡基礎(chǔ)圖像動(dòng)畫(huà)：使用軌跡控制信號(hào)生成動(dòng)畫(huà)。

關(guān)鍵點(diǎn)基礎(chǔ)面部圖像動(dòng)畫(huà)：從驅(qū)動(dòng)視頻或音頻中提取關(guān)鍵點(diǎn)進(jìn)行動(dòng)畫(huà)。

零樣本功能：包括混合控制、運(yùn)動(dòng)畫(huà)筆、控制規(guī)模和直接通過(guò)光流控制。

架構(gòu)分析：MOFA-Adapter的架構(gòu)分析，包括有無(wú)變形、調(diào)整和S2D技術(shù)的效果對(duì)比。

領(lǐng)域特定調(diào)整：展示領(lǐng)域特定調(diào)整前后的效果對(duì)比。

技術(shù)特點(diǎn)

MOFA-Video的核心功能是它的多功能性和高度的用戶交互性。用戶可以像使用畫(huà)筆一樣，在視頻上指引運(yùn)動(dòng)的方向和路徑。更為先進(jìn)的是，這項(xiàng)技術(shù)還可以實(shí)現(xiàn)面部表情的轉(zhuǎn)移，即將一個(gè)視頻中的表情遷移到另一個(gè)全新生成的視頻中，從而創(chuàng)造出具有不同情緒表達(dá)的新角色。

此外，MOFA-Video通過(guò)其多域感知運(yùn)動(dòng)適配器，可以精確控制視頻中的每一個(gè)細(xì)節(jié)動(dòng)作，無(wú)論是簡(jiǎn)單的表情變化還是復(fù)雜的動(dòng)作場(chǎng)景。它的技術(shù)實(shí)現(xiàn)基于穩(wěn)定的視頻擴(kuò)散模型，這種模型能夠通過(guò)接收稀疏的運(yùn)動(dòng)提示來(lái)生成密集的運(yùn)動(dòng)場(chǎng)，實(shí)現(xiàn)從靜態(tài)圖像到動(dòng)態(tài)視頻的轉(zhuǎn)換。

應(yīng)用潛力

MOFA-Video技術(shù)在多個(gè)領(lǐng)域都展示了廣泛的應(yīng)用潛力。在電影制作、游戲開(kāi)發(fā)、虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)等行業(yè)，這種技術(shù)不僅能提高生產(chǎn)效率，還能為創(chuàng)意表達(dá)提供更多可能性。例如，電影導(dǎo)演可以使用這項(xiàng)技術(shù)來(lái)實(shí)現(xiàn)復(fù)雜的動(dòng)作場(chǎng)景，而游戲開(kāi)發(fā)者可以創(chuàng)造出更為逼真的角色動(dòng)作。

用戶體驗(yàn)與實(shí)時(shí)表現(xiàn)

MOFA-Video還特別強(qiáng)調(diào)了用戶體驗(yàn)和實(shí)時(shí)性能。它提供了一個(gè)基于Gradio的簡(jiǎn)單易用的用戶界面，即使是沒(méi)有編程技能的用戶也能輕松地生成動(dòng)畫(huà)。這一點(diǎn)在需要快速動(dòng)畫(huà)生成的應(yīng)用場(chǎng)景，如實(shí)時(shí)游戲動(dòng)畫(huà)和虛擬現(xiàn)實(shí)交互中，顯得尤為重要。

未來(lái)展望

隨著MOFA-Video技術(shù)的不斷進(jìn)化，我們有理由相信它將推動(dòng)動(dòng)畫(huà)和創(chuàng)意產(chǎn)業(yè)的新發(fā)展，為未來(lái)的視頻生產(chǎn)和動(dòng)畫(huà)制作開(kāi)辟新的可能性。它的零樣本學(xué)習(xí)能力和多模態(tài)控制功能，將使動(dòng)畫(huà)制作更加靈活和多樣化，滿足未來(lái)市場(chǎng)對(duì)于高質(zhì)量動(dòng)畫(huà)內(nèi)容的需求。

綜上所述，騰訊的MOFA-Video不僅是技術(shù)的一次重大突破，也是對(duì)創(chuàng)意和媒體產(chǎn)業(yè)未來(lái)發(fā)展的一次重要貢獻(xiàn)。我們期待這項(xiàng)技術(shù)在未來(lái)能夠帶來(lái)更多創(chuàng)新和突破，為用戶和產(chǎn)業(yè)帶來(lái)更多價(jià)值。

效果

基于軌跡的動(dòng)畫(huà)

基于關(guān)鍵點(diǎn)的面部圖像動(dòng)畫(huà)

· 來(lái)自驅(qū)動(dòng)視頻的關(guān)鍵點(diǎn)

· 驅(qū)動(dòng)音頻的關(guān)鍵點(diǎn)

零樣本功能

· 混合控制

· 運(yùn)

動(dòng)畫(huà)筆

· 通過(guò)光流

消融研究

更新日志：

我們發(fā)布了基于關(guān)鍵點(diǎn)的臉部圖像動(dòng)畫(huà)推理腳本