騰訊混元發(fā)布并開源圖生視頻模型

獵云網(wǎng)從騰訊混元微信公眾號獲悉，騰訊混元發(fā)布圖生視頻模型并對外開源，同時上線對口型與動作驅(qū)動等玩法，并支持生成背景音效及 2K 高質(zhì)量視頻。

基于圖生視頻的能力，用戶只需上傳一張圖片，并簡短描述希望畫面如何運動、鏡頭如何調(diào)度等，混元即可按要求讓圖片動起來，變成5秒的短視頻，還能自動配上背景音效。此外，上傳一張人物圖片，并輸入希望“對口型”的文字或音頻，圖片中的人物即可“說話”或“唱歌”；使用“動作驅(qū)動”能力，還能一鍵生成同款跳舞視頻。

目前用戶通過混元AI視頻官網(wǎng)即可體驗，企業(yè)和開發(fā)者可在騰訊云申請使用API接口使用。此次開源的圖生視頻模型，是混元文生視頻模型開源工作的延續(xù)，模型總參數(shù)量保持 130 億，模型適用于多種類型的角色和場景，包括寫實視頻制作、動漫角色甚至CGI角色制作的生成。

混元視頻生成模型開源以來，一直保持較高的熱度，去年12月登頂huggingface全站趨榜第一，目前Github平臺上Star數(shù)超過8.9K。多位開發(fā)者自發(fā)制作基于社區(qū)Hunyuanvideo的插件與衍生模型，積累超過 900 個衍生版本。更早開源的混元DiT文生圖模型，在國內(nèi)外衍生模型數(shù)量多達1600多個。

目前，混元開源系列模型已經(jīng)完整覆蓋文本、圖像、視頻和3D生成等多個模態(tài)，在Github 累計獲得超 2.3 萬開發(fā)者關(guān)注和star。