10月19日,2023世界VR產業大會在江西省南昌市成功開幕,中央廣播電視總臺編務會議成員、世界超高清視頻產業聯盟理事長姜文波在開幕演講環節做了題為《文化元宇宙》的主旨發言。
相信“元宇宙”這個概念已無需再具體闡釋,在姜文波看來,“文化元宇宙”便是利用各種視聽技術構建歷史文化場景和歷史文化人物,同時又能讓當代人照進該場景與虛擬人實現對話,能以虛實融合的技術講述歷史文化故事等。
文化元宇宙的共性技術共包含四個方面:
1)超寫實數字人制作技術
可根據人物的特征通過三維數字技術、自然語言大模型等創作出的超寫實數字人,不僅形象像真人一般,更能實現語言交流、唱歌跳舞等交互行為。
2)大場景三維掃描與重建技術
通過采集真實世界的文化場景以及三維信號,通過LED大屏、投影、全息等方式能還原三維空間沉浸式的虛擬場景。
3)三維菁彩聲技術(Audio Vivid)
可采集真實世界的三維空間聲音,通過三維菁彩聲的編解碼技術,再以音響、耳機等的渲染實現還原三維的聲像以及特定的人、對象的聲音等。
4)XR虛實融合超高清制作技術
通過LED大屏、投影、全息等方式構建一個虛擬的空間,現實人可以照進這個空間實現與數字人的互動。
電視媒體虛擬制作技術的演進中是先從字母、圖像等的包裝開始的,基于UE、Unity等渲染引擎的實時渲染,實現了虛擬場景的元素、場景與真實環境進行無縫對接,大幅度提升了藝術的效果,已經廣泛應用于電視節目的制作中,如央視春晚大部分節目運用到了AR的技術來渲染整體的節目效果。另外,在今年的杭州亞運會開幕式上,首次使用了虛擬數字人參與點燃了火炬。
隨著超高清、物聯網、5G、大數據等技術的快速演進,也為視聽媒體虛擬制造提供了強有力的支持,VR、AR、XR、VP等虛擬現實技術也應用的愈加普遍,不僅提升了視聽媒體的視音頻的質量,也增強了其多維性、智能化、交互性,為視聽媒體打造沉浸式的虛擬空間提供了可能。
超寫實數字人制作技術也是文化元宇宙的一項重要技術,當前主要是從數字主播開始興起,主要有三個發展階段,包括2D動畫生成的數字人(1.0階段)、3D動捕等生成的數字人(2.0階段)、AIGC生成的數字人(3.0階段)。而AIGC超寫實數字人的核心技術主要包括基于4D光場的超寫實數字人建模,及基于大模型構建的具有自然語言對話系統的數字人,還包括有多模態數字人實時驅動與交互下的呈現系統而成的數字人。
大場景三維掃描與重建技術中,一是超大規模場景下的輕量化、智能掃描方式,主要是通過無人機快速地形勘測,VISlam技術實時預覽,現場CG仿真路徑規劃以及無人機自主導航精細采集等一系列前沿技術實現高度智能和輕量化的超大范圍場景采集。二是通過基于百億像素級實現的超寫實建模,采用語義引導金字塔分層多視圖立體重構實現準確精細的超大規模場景重構,采用分布式GPU并行處理技術大幅提升運算效率。三是通過AI光影渲染技術對三維模型的渲染,實現不同光照下景色重現,通過AI重光照技術進行百億像素紋理圖像融合處理,利用神經輻射場技術渲染照片級寫實圖像及視頻內容。
三維菁彩聲技術,這是我國自主研發的三維聲技術,也是全球首個基于AI技術的音頻編解碼標準,是面向我國研發高質高效、自主可控的環繞聲/三維聲編解碼和渲染技術的需要,聚焦三維聲音頻采集制作、編碼傳輸、渲染呈現關鍵技術,在汽車音響、廣播、家庭電視伴音、影音娛樂等領域貫穿創作、分發、呈現全鏈路環節,打破聲道限制。“超高清視頻+三維菁彩聲”已應用于總臺春晚、中秋晚會、杭州亞運會等重大節目及賽事制作中,讓聲音在現實三維空間精準再現帶給觀眾身臨其境的沉浸式感受。
XR虛實融合超高清制作技術,其通過三維渲染引擎在LED屏幕上實時呈現動態虛擬場景,打破了傳統摳像技術的限制,。實現了虛擬空間與現實世界的無縫銜接。技術優勢方面,能實現分布式集群+超高清的實時渲染以構建真實場景,可實現多機位的實時切換,能滿足AI多模態運動捕捉需求等,其已在2021年央視春晚中就實現了應用,以實時變換的虛擬空間重構舞臺表現形式,也應用于《元宵晚會》《國家寶藏》《中國詩詞大會》《315晚會》等節目中。
此外,在XR技術應用基礎上,央視總臺結合VR實時繪制,再現了“神筆馬良”的神來之筆。VR畫師通過佩戴VR眼鏡、手持VR手柄繪制三維立體影像,在現場大屏實時呈現精彩、神奇的繪制放果,為觀眾帶來煥然一新的虛擬視覺體驗,充分展現了技術與藝術的融合魅力。