近日，一篇由迪士尼研究所和幾所大學的研究人員撰寫的論文發布，文章介紹了一種基于深度學習的程序語言動畫新方法。
該系統對人類說話錄音進行采樣，并使它自動生成匹配的嘴型動畫。該方法可以應用到從提高管道動畫的效率到使VR社交更有說服力，它可以在VR社交中實時化地呈現角色的演講內容。
迪士尼研究所、加拿大東加利福尼亞理工大學和卡內基梅隆大學的研究人員撰寫了這篇題為《廣義語音動畫深度學習方法》的論文。論文描述了一種已經用“深度學習/神經網絡”方法訓練的系統，利用單個揚聲器8小時的參考畫面（2543句），教導系統根據不同的語音單元（稱為音素）配合生成不同嘴型及其組合。
經過訓練的系統可以自主分析來自任何揚聲器的音頻，并自動產生相應的嘴型，然后將其用于動畫模型的自動語音生成。
在VR中，該系統可以通過用戶語音實時對應虛擬角色的嘴型，使其更加逼真。
一些社交應用已經在使用各種系統進行嘴形跟蹤。Oculus為Unity提供了一個嘴型同步插件，其原理是基于音頻輸入來確定角色說話嘴型。然而與迪士尼提供的新系統相比，細節性和準確性都差了些。
責任編輯：吳一波
相關推薦
迪士尼將和AR公司合作建設神秘實驗室
7月18日上午，美國增強現實創業公司MagicLeapCEO羅尼·阿伯維茨(RonyAbovitz)表示，該公司將與迪士尼的合作在舊金山開發一處秘密實驗室，邀請開發者在其發布產品前在那里測試項目。該實驗室其實并不算秘密，阿伯維茨披露它的位置——位于盧卡斯影業舊金山Presidio園區里的Yoda噴泉附近。阿伯維茨還表示，目前為止已經有數千人見過該公司的技術。但可惜的是
星戰迷福音！聯想要和迪士尼聯合推出星戰版AR游戲設備
聯想與迪士尼聯合推出《星球大戰》AR游戲硬件
進擊的迪士尼：這家動畫巨頭為什么頻頻在 VR/AR 上露出了獠牙？