在去年年底對外透露了這項技術之后，我們終于能夠親自體驗HypeVR的Volumetric Video Capture(譯為：容積視頻拍攝)技術，借助該技術，體驗者可以在VR視頻四處走動。

 

 

 

今天，大多數的VR視頻作品都是以360°和3D的形式來拍攝的。拍攝質量良好的360° 3D視頻在VR中觀看的效果很不錯(比如你可以去看看Felix & Paul的作品)。但是，假設有天我們能夠實現視網膜級別的分辨率以及完美的幾何學立體效果，就會出現一個360° 3D視頻無法逾越的障礙，那就是在視頻內部的移動。

 

今天所有的360°視頻(無論是不是3D)中，觀眾的視角都會鎖定在一個固定的有利的角度。不像那些實時渲染的VR游戲，觀眾不能在視頻中走動--甚至是你想靠在椅子上，想讓視角隨之變動也是不可能實現的。這樣一來不僅會沉浸感不足，而且也很不舒適。我們即使是靜坐的時候也會經常有頭部的輕微的移動，在這時如果虛擬的畫面跟不上我們的運動，觀看的感覺就會不那么真實，并且也影響舒適度。

 

 

這就是HypeVR開發容積視頻拍攝技術的原因之一。他們要做的，不僅僅是拍攝一些360度的照片然后將其縫合(就像傳統的360°相機那樣)，同時還要拍攝每一幀畫面中的容積數據，這樣一來，一旦作品被回放時，這些信息可以讓體驗者在視頻內走動。

 

在CES 2017展會期間，我看到了HypeVR使用其怪獸級的拍攝設備錄制的原始視頻，以及一個全新的，更加生動的體驗，是HypeVR和英特爾聯手打造的。

 

在戴上Oculus Rift頭顯之后，我走進了一個新的場景：一個時長為30秒的越南山谷的美麗風景片段。我就站在一個湖面中央小島的石頭上。除了這些石頭之外，整個小島被郁郁蔥蔥的野草覆蓋，在離我幾碼遠的地方還有農民和正在吃草的水牛。

 

在我的遠處是一片雨林，以及一處風景秀麗的瀑布。水流潺潺，水面蕩漾著波紋，沖刷著我所在的小島，以及長在水邊的野草。

 

其中的畫面非常逼真且細膩--感覺比任何我曾用頭顯看過的360° 3D視頻的沉浸感都要強。大部分是由于我能夠在視頻內部移動。而且是以正常的平行視差，在一個房間規模的區域內移動。這讓我感覺好像真的就站在畫面中，站在越南的這個地方一樣，而不僅僅是目光處在這個環境中。這是我們在觀看VR視頻時都想要達到的效果，而且VR這種媒介如果想要變得真正有吸引力，就要朝著這個方向努力。

 

我曾經看過讓人印象深刻的使用攝影測量法拍攝的VR體驗內容，但是攝影測量法需要拍攝者花費數小時來構建場景，從每一個能想象到的角度取景，并且把所有的照片組合成一個模型。結果可能會很驚艷，但是使用這種方法是無法拍攝會動的物體的，因為你無法足夠快速地拍攝包含可移動物體的整個場景。

 

 

HypeVR采用了不同的辦法，他們的拍攝設備固定在一個場景中，以每秒60次的速度進行拍攝，同時使用了高質量的視頻捕捉設備以及深度映射激光雷達。之后，拍攝到視頻中的紋理數據會與景深數據進行融合，來創作出每秒60幀的包含場景容積數據的視頻。這也就是說，你能夠看到水波的運動或者汽車開過，但仍然保持了容積數據，可以讓用戶在視頻的某些部分進行移動。

 

采用這種容積視頻拍攝技術所拍攝的視頻中的每一幀實際上都是實時渲染的場景3D模型，在播放時會一幀挨一幀地出現。這不僅允許體驗者在其中走動，就像VR游戲環境中那樣，同樣還是HypeVR的作品如此清晰和沉浸感強的原因--渲染到VR頭顯屏幕的每一幀畫面都是對可用數據的最佳取樣，并且都從每個角度對3D數據進行幾何學修正(不只是針對那些3D效果最佳點，而是針對整個360° 3D視頻)。這種方法也意味著超出視野的內容不會出現問題(這個問題我們在360°相機拍攝的視頻中經常會遇到)。

 

 

 

HypeVR目前所擁有的技術正是我們想要看到的VR視頻應有的效果，但是在制作和分發的過程中還有很多局限需要解決，只有解決了這些問題，這種技術才可以被用來拍攝觀眾們想要看到的影視級VR內容。

 

 

你可以像一般的陰影那樣想象一下：當某件物品從你身邊移動的同時，有來自前方的照明源，在這個物體的后面就會有影子，因為光線無法穿過這個物體。陰影的位置取決于光線和物體的相對位置。

 

雖然HypeVR可以使用激光雷達(激光遇到物體會發生反射，以確定距離)捕捉到場景中的深度數據，這個物體會擋住激光，并且呈現出“容積陰影”。但不像普通的陰影，這些容積陰影會在幾何結構的后方留下一個洞，因為相機無法看到物體后面(恰如光線無法穿透這些物體)。

 

如果你完全靜止地站在拍攝點，這一問題不會有任何影響，因為你不會看到被拍攝的物體后面的容積陰影。但是由于觀看者可以在空間中走動，他們很有可能看到這些物體后面的情況，也就是會看到那些容積陰影。

 

我所看到的HypeVR展示內容中并沒有容積陰影，這也就意味著這家公司已經發現了解決這一問題(這段內容中存在的問題)的有效辦法。

 

 

最簡單的辦法或許是在后期制作時手動修正幾何結構，來填補這些洞。這會是相當簡單的(比如一個人離開相機幾步遠的距離)，但也可能會極為困難(比如把相機放在濃密的森林中，周圍的樹和植物都在投射各種各樣的容積陰影)。

 

另一種辦法是在拍攝之后插入一個3D模型(這個模型會在真實世界中以攝影測量法進行拍攝)到場景中，這樣一來，一開始就不會出現陰影了。這是個簡單的方法，因為整個場景都已經被渲染成了3D幾何結構，就像是一個游戲環境那樣，所以插入更多的3D物體相對來說更加直接。

 

最后一種辦法可能是容積視頻拍攝技術最終的發展方向--一個在繁雜的后期制作過程中進行的實時進行的場景拍攝與CGI模型的融合(類似我們今天看的電影大片的制作方法)。

 

移動拍攝設備或許會讓事情更為復雜，因為這將會引起容積陰影出現在場景中的各個位置。HypeVR告訴我們，他們還沒有進行過移動攝像機的嘗試，以確定其技術是否可以處理平移問題。如果被證明拍攝設備在錄制時不能移動，這也不一定會引發問題。這需要根據移動設備對VR電影拍攝語言的重要性來決定。目前，許多的360° VR視頻制作都是使用固定位置的相機來完成的。

 

 

 

HypeVR所使用的拍攝設備是14臺RED相機，每臺相機都能拍攝60FPS的6K分辨率畫面。同時還有激光雷達數據記錄在每一幀中。處理和重新整合這些數據以達成最終狀態需要花費大量的時間(通常每幀需要花費6分鐘，在本地處理的話)。在所有的畫面都被成功渲染之后，用戶還需要從網上獲取這些視頻，雖然在拍攝時每30秒占用2GB，這還可以忍受。每30秒2GB的視頻其實是一個巨大的進步。在不久之前，HypeVR拍攝的視頻每30秒能達到驚人的5.4TB。

 

像是HypeVR這種容積視頻拍攝技術仍然需要更好的壓縮技術，來壓縮成更加實用的文件體積。而在消費者這邊，更快的網絡連接也扮演了重要的角色，可以讓這種VR視頻能夠更快地進行傳輸，觀眾無需等待過大的下載量就可以觀看。

 

總之
 

目前的容積視頻拍攝技術還有很多挑戰需要面對，但這對于任何新的電影拍攝技術來說都是一樣。HypeVR已經證明，拍攝這種人人都想體驗的引人注目的實景VR視頻是可以做到的，同時還可以避免和減少局限性。在不斷變得更加復雜的影視制作過程中使用這項技術需要明智的導向以及新技術的開發，以獲得更加實際的制作時間和更加完美的最終產品。如果HypeVR公司的作品就是這樣的一個跡象，那么最終的結果會值得這樣努力。