MOFA-Video是一種能夠將單張圖片通過各種控制信號動畫化的方法。它采用了稀疏到密集(S2D)運動生成和基于流的運動適應技術，可以有效地使用軌跡、關鍵點序列及其組合等不同類型的控制信號來動畫化單張圖片。在訓練階段，通過稀疏運動采樣生成稀疏控制信號，然后訓練不同的MOFA-Adapters來通過預訓練的SVD生成視頻。在推理階段，不同的MOFA-Adapters可以組合起來共同控制凍結的SVD。

需求人群：

"MOFA-Video主要面向需要將靜態(tài)圖像轉化為動態(tài)視頻的專業(yè)人士和研究人員，如動畫制作者、游戲開發(fā)者、視覺效果設計師等。它能夠提供高度的控制性和靈活性，使得用戶可以根據(jù)需要生成各種動態(tài)效果。"

MOFA-Video 它支持運動軌跡、人臉關鍵點并支持將其混合控制圖像轉換為視頻。

混合控制: 結合圖像、控制信號和關鍵點生成動畫。

運動畫筆: 結合圖像、軌跡和畫筆生成動畫。

控制比例: 調整動畫的控制比例，從純 SVD 到完全控制。

通過光流直接控制: 利用圖像和光流直接生成動畫。

使用場景示例：

動畫制作者使用MOFA-Video將角色設計圖轉化為動態(tài)動畫。

游戲開發(fā)者利用MOFA-Video為游戲角色添加動態(tài)表情和動作。

視覺效果設計師使用MOFA-Video生成具有特定運動軌跡的視頻效果。

產(chǎn)品特色：

軌跡基礎圖像動畫：使用軌跡控制信號生成動畫。

關鍵點基礎面部圖像動畫：從驅動視頻或音頻中提取關鍵點進行動畫。

零樣本功能：包括混合控制、運動畫筆、控制規(guī)模和直接通過光流控制。

架構分析：MOFA-Adapter的架構分析，包括有無變形、調整和S2D技術的效果對比。

領域特定調整：展示領域特定調整前后的效果對比。

技術特點

MOFA-Video的核心功能是它的多功能性和高度的用戶交互性。用戶可以像使用畫筆一樣，在視頻上指引運動的方向和路徑。更為先進的是，這項技術還可以實現(xiàn)面部表情的轉移，即將一個視頻中的表情遷移到另一個全新生成的視頻中，從而創(chuàng)造出具有不同情緒表達的新角色。

此外，MOFA-Video通過其多域感知運動適配器，可以精確控制視頻中的每一個細節(jié)動作，無論是簡單的表情變化還是復雜的動作場景。它的技術實現(xiàn)基于穩(wěn)定的視頻擴散模型，這種模型能夠通過接收稀疏的運動提示來生成密集的運動場，實現(xiàn)從靜態(tài)圖像到動態(tài)視頻的轉換。

應用潛力

MOFA-Video技術在多個領域都展示了廣泛的應用潛力。在電影制作、游戲開發(fā)、虛擬現(xiàn)實和增強現(xiàn)實等行業(yè)，這種技術不僅能提高生產(chǎn)效率，還能為創(chuàng)意表達提供更多可能性。例如，電影導演可以使用這項技術來實現(xiàn)復雜的動作場景，而游戲開發(fā)者可以創(chuàng)造出更為逼真的角色動作。

用戶體驗與實時表現(xiàn)

MOFA-Video還特別強調了用戶體驗和實時性能。它提供了一個基于Gradio的簡單易用的用戶界面，即使是沒有編程技能的用戶也能輕松地生成動畫。這一點在需要快速動畫生成的應用場景，如實時游戲動畫和虛擬現(xiàn)實交互中，顯得尤為重要。

未來展望

隨著MOFA-Video技術的不斷進化，我們有理由相信它將推動動畫和創(chuàng)意產(chǎn)業(yè)的新發(fā)展，為未來的視頻生產(chǎn)和動畫制作開辟新的可能性。它的零樣本學習能力和多模態(tài)控制功能，將使動畫制作更加靈活和多樣化，滿足未來市場對于高質量動畫內容的需求。

綜上所述，騰訊的MOFA-Video不僅是技術的一次重大突破，也是對創(chuàng)意和媒體產(chǎn)業(yè)未來發(fā)展的一次重要貢獻。我們期待這項技術在未來能夠帶來更多創(chuàng)新和突破，為用戶和產(chǎn)業(yè)帶來更多價值。

效果

基于軌跡的動畫

基于關鍵點的面部圖像動畫

· 來自驅動視頻的關鍵點

· 驅動音頻的關鍵點

零樣本功能

· 混合控制

· 運

動畫筆

· 通過光流

消融研究

更新日志：

我們發(fā)布了基于關鍵點的臉部圖像動畫推理腳本