漂亮人妇荡欲在线观看,女人私密部位高清图片,特黄特色视频免费大片,舌头伸进去添的我乱叫,大胸美女揉胸,激情久久综合网,日本xx片

西交大開源SadTalker模型 圖片+音頻秒變視頻!

站長之家(ChinaZ.com)4月19日 消息:最近,西安交通大學(xué)的研究人員提出了SadTalker模型,通過從音頻中學(xué)習(xí)生成3D運(yùn)動系數(shù),使用全新的3D面部渲染器來生成頭部運(yùn)動,可以實現(xiàn)圖片+音頻就能生成高質(zhì)量的視頻。

image.png

為了實現(xiàn)音頻驅(qū)動的真實頭像視頻生成,研究人員將3DMM的運(yùn)動系數(shù)視為中間表征,并將任務(wù)分為兩個主要部分(表情和姿勢),旨在從音頻中生成更真實的運(yùn)動系數(shù)(如頭部姿勢、嘴唇運(yùn)動和眼睛眨動),并單獨學(xué)習(xí)每個運(yùn)動以減少不確定性。最后通過一個受face-vid2vid啟發(fā)設(shè)計的3D感知的面部渲染來驅(qū)動源圖像。

image.png

論文鏈接:https://arxiv.org/pdf/2211.12194.pdf

項目主頁:https://sadtalker.github.io/

研究人員使用SadTalker模型從音頻中學(xué)習(xí)生成3D運(yùn)動系數(shù),使用全新的3D面部渲染器來生成頭部運(yùn)動。該技術(shù)可以控制眨眼頻率,音頻可以是英文、中文、歌曲。

這項技術(shù)在數(shù)字人創(chuàng)作、視頻會議等多個領(lǐng)域都有應(yīng)用,能夠讓靜態(tài)照片動起來,但目前仍然是一項非常有挑戰(zhàn)性的任務(wù)。SadTalker模型的出現(xiàn)解決了生成視頻的質(zhì)量不自然、面部表情扭曲等問題。該技術(shù)可以應(yīng)用于數(shù)字人創(chuàng)作、視頻會議等多個領(lǐng)域。