10月19日,2023世界VR產(chǎn)業(yè)大會在江西省南昌市成功開幕,中央廣播電視總臺編務(wù)會議成員、世界超高清視頻產(chǎn)業(yè)聯(lián)盟理事長姜文波在開幕演講環(huán)節(jié)做了題為《文化元宇宙》的主旨發(fā)言。

相信“元宇宙”這個概念已無需再具體闡釋,在姜文波看來,“文化元宇宙”便是利用各種視聽技術(shù)構(gòu)建歷史文化場景和歷史文化人物,同時又能讓當代人照進該場景與虛擬人實現(xiàn)對話,能以虛實融合的技術(shù)講述歷史文化故事等。
文化元宇宙的共性技術(shù)共包含四個方面:
1)超寫實數(shù)字人制作技術(shù)
可根據(jù)人物的特征通過三維數(shù)字技術(shù)、自然語言大模型等創(chuàng)作出的超寫實數(shù)字人,不僅形象像真人一般,更能實現(xiàn)語言交流、唱歌跳舞等交互行為。
2)大場景三維掃描與重建技術(shù)
通過采集真實世界的文化場景以及三維信號,通過LED大屏、投影、全息等方式能還原三維空間沉浸式的虛擬場景。
3)三維菁彩聲技術(shù)(Audio Vivid)
可采集真實世界的三維空間聲音,通過三維菁彩聲的編解碼技術(shù),再以音響、耳機等的渲染實現(xiàn)還原三維的聲像以及特定的人、對象的聲音等。
4)XR虛實融合超高清制作技術(shù)
通過LED大屏、投影、全息等方式構(gòu)建一個虛擬的空間,現(xiàn)實人可以照進這個空間實現(xiàn)與數(shù)字人的互動。
電視媒體虛擬制作技術(shù)的演進中是先從字母、圖像等的包裝開始的,基于UE、Unity等渲染引擎的實時渲染,實現(xiàn)了虛擬場景的元素、場景與真實環(huán)境進行無縫對接,大幅度提升了藝術(shù)的效果,已經(jīng)廣泛應(yīng)用于電視節(jié)目的制作中,如央視春晚大部分節(jié)目運用到了AR的技術(shù)來渲染整體的節(jié)目效果。另外,在今年的杭州亞運會開幕式上,首次使用了虛擬數(shù)字人參與點燃了火炬。
隨著超高清、物聯(lián)網(wǎng)、5G、大數(shù)據(jù)等技術(shù)的快速演進,也為視聽媒體虛擬制造提供了強有力的支持,VR、AR、XR、VP等虛擬現(xiàn)實技術(shù)也應(yīng)用的愈加普遍,不僅提升了視聽媒體的視音頻的質(zhì)量,也增強了其多維性、智能化、交互性,為視聽媒體打造沉浸式的虛擬空間提供了可能。
超寫實數(shù)字人制作技術(shù)也是文化元宇宙的一項重要技術(shù),當前主要是從數(shù)字主播開始興起,主要有三個發(fā)展階段,包括2D動畫生成的數(shù)字人(1.0階段)、3D動捕等生成的數(shù)字人(2.0階段)、AIGC生成的數(shù)字人(3.0階段)。而AIGC超寫實數(shù)字人的核心技術(shù)主要包括基于4D光場的超寫實數(shù)字人建模,及基于大模型構(gòu)建的具有自然語言對話系統(tǒng)的數(shù)字人,還包括有多模態(tài)數(shù)字人實時驅(qū)動與交互下的呈現(xiàn)系統(tǒng)而成的數(shù)字人。
大場景三維掃描與重建技術(shù)中,一是超大規(guī)模場景下的輕量化、智能掃描方式,主要是通過無人機快速地形勘測,VISlam技術(shù)實時預(yù)覽,現(xiàn)場CG仿真路徑規(guī)劃以及無人機自主導(dǎo)航精細采集等一系列前沿技術(shù)實現(xiàn)高度智能和輕量化的超大范圍場景采集。二是通過基于百億像素級實現(xiàn)的超寫實建模,采用語義引導(dǎo)金字塔分層多視圖立體重構(gòu)實現(xiàn)準確精細的超大規(guī)模場景重構(gòu),采用分布式GPU并行處理技術(shù)大幅提升運算效率。三是通過AI光影渲染技術(shù)對三維模型的渲染,實現(xiàn)不同光照下景色重現(xiàn),通過AI重光照技術(shù)進行百億像素紋理圖像融合處理,利用神經(jīng)輻射場技術(shù)渲染照片級寫實圖像及視頻內(nèi)容。
三維菁彩聲技術(shù),這是我國自主研發(fā)的三維聲技術(shù),也是全球首個基于AI技術(shù)的音頻編解碼標準,是面向我國研發(fā)高質(zhì)高效、自主可控的環(huán)繞聲/三維聲編解碼和渲染技術(shù)的需要,聚焦三維聲音頻采集制作、編碼傳輸、渲染呈現(xiàn)關(guān)鍵技術(shù),在汽車音響、廣播、家庭電視伴音、影音娛樂等領(lǐng)域貫穿創(chuàng)作、分發(fā)、呈現(xiàn)全鏈路環(huán)節(jié),打破聲道限制。“超高清視頻+三維菁彩聲”已應(yīng)用于總臺春晚、中秋晚會、杭州亞運會等重大節(jié)目及賽事制作中,讓聲音在現(xiàn)實三維空間精準再現(xiàn)帶給觀眾身臨其境的沉浸式感受。
XR虛實融合超高清制作技術(shù),其通過三維渲染引擎在LED屏幕上實時呈現(xiàn)動態(tài)虛擬場景,打破了傳統(tǒng)摳像技術(shù)的限制,。實現(xiàn)了虛擬空間與現(xiàn)實世界的無縫銜接。技術(shù)優(yōu)勢方面,能實現(xiàn)分布式集群+超高清的實時渲染以構(gòu)建真實場景,可實現(xiàn)多機位的實時切換,能滿足AI多模態(tài)運動捕捉需求等,其已在2021年央視春晚中就實現(xiàn)了應(yīng)用,以實時變換的虛擬空間重構(gòu)舞臺表現(xiàn)形式,也應(yīng)用于《元宵晚會》《國家寶藏》《中國詩詞大會》《315晚會》等節(jié)目中。
此外,在XR技術(shù)應(yīng)用基礎(chǔ)上,央視總臺結(jié)合VR實時繪制,再現(xiàn)了“神筆馬良”的神來之筆。VR畫師通過佩戴VR眼鏡、手持VR手柄繪制三維立體影像,在現(xiàn)場大屏實時呈現(xiàn)精彩、神奇的繪制放果,為觀眾帶來煥然一新的虛擬視覺體驗,充分展現(xiàn)了技術(shù)與藝術(shù)的融合魅力。