在北京辦公室,來訪的
張瑞博在接受正式采訪前,先拿出一對耳機,讓小編試一下他們的產(chǎn)品。
Lifelike 錄音耳機
并不是用耳機去聽一段音頻,而是先插上然后隨便拍一段視頻,過程中他在小編周圍跺腳,并在耳邊說悄悄話。結束后再戴著耳朵看回放,到他在小編身后跺腳那段時,編輯情不自禁地回頭看了一眼,因為感覺后面真的有人在跺腳。
這就是3D音頻,普通視頻錄制方法同樣可以錄到跺腳的聲音,但它不會讓你聽的時候察覺到聲音的方向。
張瑞博是
森聲科技的創(chuàng)始人兼CEO,他給小編演示的這款產(chǎn)品是公司新推出的
VR 錄音耳機 Lifelike, 目前已成功完成眾籌。除了這款消費級產(chǎn)品外,他們還有一款專業(yè)級的 VR 錄音設備 Sound Pano。
Lifelike 可以錄制帶有方向的 3D 音頻,但并不適合 360 度全景視頻,因為在全景視頻中你會前后上下左右看,而全景的音頻也需要隨著你看的畫面而變化,例如當你聽到后面有人說話,轉頭回來,聲音就應該聽起來變成了前面有人說話,但 Lifelike 錄的聲音是固定的,在你后面就會一直在你后面。
這類耳機技術方面并不復雜,在左右兩個耳機各有一個麥克風,使用者把耳機戴上之后,兩邊的麥克風就能錄到聲音到達耳朵時的變化,這樣生成的 3D 音頻文件能重現(xiàn)真實環(huán)境的效果,增加臨場感。
它的主要用途包括 ASMR,當然也可以用作一般用途來增強視頻的音頻體驗。不過,Lifelike 只有兩個麥克風,要錄制 360 度的 3D 音頻,需要用到配備更多麥克風的 VR 音頻錄制設備。
專業(yè)級與消費級 VR 音頻產(chǎn)品
Lifelike 之外的 Sound Pano 才是森聲針對專業(yè)級 VR 音頻錄制的產(chǎn)品,也就是可以與全景視頻結合,根據(jù)用戶頭部轉動提供相應的 3D 音頻的設備。
Sound Pano
據(jù)介紹,Sound Pano 可以實現(xiàn) 8向 16軌 48K 26bit 無損數(shù)據(jù)采集,精準捕捉聲源的方向、距離和運動軌跡。具有立體聲場感知效果,能還原真實的聲場關系。其定制化軟件還具備 VR 音頻軌跡系統(tǒng),支持32 個音源對象同屏幕實時運算聲場,并擁有自主開發(fā)的 HRTF 算法。
這款售價高達 3萬元的產(chǎn)品,與市面上一、兩千的全景聲錄制設備自然是有非常大區(qū)別。據(jù)張瑞博介紹,Sound Pano 使用的是 QB 方案,而普通消費級 VR 音頻錄制產(chǎn)品通常使用的是 FOA 方案,兩者在錄制過程從頭到尾都明顯不同。
其實 VR 音頻就是要重現(xiàn)場景中的聲場,讓戴上 VR
頭盔身處其中的用戶感受到就在現(xiàn)場一樣的聲音,所以 VR 音頻錄制設備會模擬人的兩只耳朵來聽取環(huán)境中的聲音,就像前文提到的 Lifelike 那樣。QB 和 FOA 方案的產(chǎn)品也是如此,不同的是兩者的方法和效果。
FOA 方案非常小巧,最基礎的方案只要 4 個麥克風就能組成,所以通常可以集成到全景相機中,它通過這 4 個麥克風來獲得 4 個方向的聲音,然后通過 HRTF 算法合成 360 度各個方向的聲音。QB 方案多半體積比較大,因為它涉及到模擬人兩個耳朵之間的寬度問題,對采集的相位、響度等有要求,所以很難做小。另外,從售價可以看出,兩者在成本上也有很大差距。
當然,兩者的聲音效果也會有很大差別,張瑞博表示,F(xiàn)OA 方案在聲場解相度、感覺上面相比 QB 方案有比較大的距離。
小編也體驗了兩種方案制作的 VR 音頻,可以很明顯地發(fā)現(xiàn),QB 方案的聲音在還原場景真實聲音方面更加優(yōu)秀。
但 QB 和 FOA 兩種方案并不是競爭關系,而是有明顯不同的市場定位,前者配合的是售價動輒數(shù)十萬元的專業(yè)級全景相機,制作專業(yè)級的 VR 影視內容;后者更多應用于 UGC 領域,為消費級全景相機拍攝的內容增強體驗。
讓 VR 音頻成為 VR 內容的標配
VR 講求沉浸感,而達到沉浸感除了視覺上努力重現(xiàn)真實場景(或是創(chuàng)造一個以假亂真的世界)外,聽覺也是沉浸感的一個重要組成部分。
高質量的VR視頻需要做到音畫同步,當用戶在一個 360 度空間中環(huán)顧四周,他聽到的聲音也應該有所不同,特別是在空間較小的場景中。
除了增強沉浸感外,張瑞博表示,VR 音頻還能成為導演引導用戶視線的工具。由于 VR 沒有了導演視角,用戶可以在 360 度的場景中四處觀看,而許多 VR 影片是有分場景的。一些導演為了引導用戶會使用視覺提示,但其實用聲音來進行引導會更加自然,就像小編體驗時聽到背后有人跺腳而猛然回頭一樣。
對于未來,張瑞博希望 VR 音頻可以成為 VR 內容的標配。目前在 VR 游戲上 VR 音頻已經(jīng)被大量采用。由于游戲是純 CG 制作,物體在空間里的位置可以很精確地知道,因而在整合聲音和畫面上要容易得多。相比之下,VR 影視內容則需要專業(yè)的 VR 音頻錄制設備來實現(xiàn)聲音的方位感和更好沉浸感。
要讓 VR 音頻成為標配,除了推出專業(yè)級和消費級的錄制設備外,森聲也需要讓自家的音頻 SDK 得到各個內容平臺(播放器)的支持。據(jù)張瑞博透露,第一個支持的內容平臺是橙子VR,公司也在與優(yōu)酷VR、暴風魔鏡等平臺在商談。