2024年7月4日， MediaTek與快手共同宣布，推出高效端側(cè)視頻生成技術(shù)，共同探索并推進(jìn)生成式AI技術(shù)的革新。該技術(shù)是對(duì)2024世界移動(dòng)通信大會(huì)（MWC 2024）上初次亮相的視頻生成技術(shù)的延續(xù)與提升，結(jié)合快手的AI模型I2V（image to video）Adapter與MediaTek天璣9300、天璣8300移動(dòng)平臺(tái)強(qiáng)勁的AI算力，在端側(cè)實(shí)現(xiàn)由靜態(tài)圖像生成動(dòng)態(tài)視頻的創(chuàng)新體驗(yàn)。通過這項(xiàng)技術(shù)，用戶只需在設(shè)備上選取圖片，應(yīng)用即可智能地識(shí)別照片中的人物和場(chǎng)景，生成自然流暢的視頻佳作，顯著提升了視頻制作的創(chuàng)意表現(xiàn)和效率。

雙方的合作充分借助MediaTek天璣移動(dòng)平臺(tái)先進(jìn)的AI技術(shù)，攜手攻克了模型底層適配優(yōu)化及上層開發(fā)的系列技術(shù)及工程難題，為用戶帶來讓人耳目一新的端側(cè)生成式AI體驗(yàn)，將改變用戶創(chuàng)作和分享內(nèi)容的方式。 

I2V-Adapter是快手AI團(tuán)隊(duì)提出的一種適用于基于Stable Diffusion文生視頻擴(kuò)散模型的輕量級(jí)適配模塊，作為即插即用的擴(kuò)散模型輕量級(jí)模塊，專門用于由圖像到視頻的生成任務(wù)。該模塊能夠在不需要改變現(xiàn)有文本到視頻生成（T2V）模型原始結(jié)構(gòu)和預(yù)訓(xùn)練參數(shù)的情況下，將靜態(tài)圖像轉(zhuǎn)換成動(dòng)態(tài)視頻。此外，其解耦設(shè)計(jì)使得該方案能夠與DreamBooth、LoRa、ControlNet等模塊無縫兼容，實(shí)現(xiàn)客制化和可控的圖像到視頻生成。

MediaTek天璣9300和天璣8300移動(dòng)平臺(tái)集成了先進(jìn)的NPU（神經(jīng)網(wǎng)絡(luò)處理單元），為生成式AI而設(shè)計(jì)，提供強(qiáng)勁算力和能效。在圖像生成視頻的應(yīng)用中，NPU可顯著加速AI模型的運(yùn)算，結(jié)合與快手I2V Adapter模型的適配和優(yōu)化，實(shí)現(xiàn)更快的視頻生成速度，同時(shí)兼具低功耗特性。天璣移動(dòng)平臺(tái)可結(jié)合深度學(xué)習(xí)和實(shí)時(shí)渲染技術(shù)，對(duì)圖像內(nèi)容進(jìn)行深度分析，捕捉關(guān)鍵幀，并據(jù)此生成流暢、逼真的視頻畫面效果。同時(shí)，MediaTek的實(shí)時(shí)渲染技術(shù)可確保視頻在各類設(shè)備上均能帶來高畫質(zhì)表現(xiàn)。

全球短視頻市場(chǎng)正迎來高速增長(zhǎng)期，行業(yè)對(duì)創(chuàng)新、高效的視頻生成技術(shù)的需求日益迫切。MediaTek與快手基于對(duì)市場(chǎng)需求和趨勢(shì)的深刻洞察，為廣大用戶帶來更加先進(jìn)、便捷的視頻生成工具，共同推動(dòng)短視頻生態(tài)的繁榮發(fā)展。未來，雙方將持續(xù)深化合作，推動(dòng)生成式AI技術(shù)的進(jìn)一步發(fā)展，滿足市場(chǎng)不斷變化的需求，共同開創(chuàng)和探索短視頻技術(shù)的新紀(jì)元。

本網(wǎng)站及其公眾號(hào)為公益性網(wǎng)絡(luò)平臺(tái)，所發(fā)圖文僅供傳播信息、介紹知識(shí)、說明問題之用；相關(guān)版權(quán)歸原作者所有，轉(zhuǎn)載請(qǐng)務(wù)必注明出處和作者。

稿件一經(jīng)選用，即視為作者同意本網(wǎng)免費(fèi)將其使用于本網(wǎng)或與本網(wǎng)有合作關(guān)系的非贏利性各類出版物、互聯(lián)網(wǎng)與手機(jī)端媒體及專業(yè)學(xué)術(shù)文庫等。

由稿件引起的著作權(quán)問題及其法律責(zé)任由作者自行承擔(dān)。

了解更多動(dòng)態(tài)，請(qǐng)掃描二維碼，關(guān)注我們的微信公眾號(hào)：