光場(chǎng)技術(shù)：Magic Leap的魔法之躍

Magic Leap從誕生之初就受到萬眾矚目，憑借其三大核心技術(shù)（SLAM、CG、Light Filed）獲得了巨額融資，尤其是其所稱的光場(chǎng)（Light Field）技術(shù)更是被奉為黑科技。但由于遲遲沒有推出商業(yè)化產(chǎn)品，外界對(duì)其質(zhì)疑不斷增加。近日，隨著外媒《The Information》公然“叫板”Magic Leap，國(guó)內(nèi)群眾也出現(xiàn)一邊倒的趨勢(shì)。Magic Leap的前兩項(xiàng)核心技術(shù)SLAM和CG發(fā)展已經(jīng)比較成熟，微軟HoloLens已經(jīng)側(cè)面驗(yàn)證了這兩項(xiàng)技術(shù)是可以商業(yè)化的。外界對(duì)其最大質(zhì)疑集中在第三項(xiàng)核心技術(shù)——光場(chǎng)。Magic Leap所稱的光場(chǎng)技術(shù)真的能如其名一樣實(shí)現(xiàn)魔法之躍嗎？該技術(shù)到底能不能改變VR/AR未來的技術(shù)路線和商業(yè)格局？本文將重點(diǎn)從技術(shù)的可行性方面來分析上述問題。

光場(chǎng)并非“水中月”

首先可以明確的是：光場(chǎng)并不是Magic Leap憑空構(gòu)造出來的新概念，光場(chǎng)技術(shù)的理論研究已經(jīng)持續(xù)三十多年，光場(chǎng)技術(shù)涉及多個(gè)交叉學(xué)科，技術(shù)難度高，但也不至于像超越光速那么遙不可及，國(guó)外多個(gè)研究機(jī)構(gòu)都曾公開展示過光場(chǎng)樣機(jī)。

光場(chǎng)技術(shù)從1981年開始受到世界頂級(jí)科研機(jī)構(gòu)的關(guān)注并展開了持續(xù)的研究。類似電磁場(chǎng)的概念，光場(chǎng)是分布于空間中所有光線的集合。簡(jiǎn)單來說，光場(chǎng)技術(shù)的終極目標(biāo)就是采集空間中所有的光線并投射出來，實(shí)現(xiàn)類似《星球大戰(zhàn)》中的數(shù)字全息顯示。而Magic Leap之前公開的視頻中演示了類似的場(chǎng)景。Magic Leap所稱的光場(chǎng)技術(shù)并非“水中月、鏡中花”，該技術(shù)有足夠理論研究支撐，至少實(shí)驗(yàn)室級(jí)的光場(chǎng)樣機(jī)早已得到驗(yàn)證。

Magic Leap的虛與實(shí)

Magic Leap曾經(jīng)公開過多個(gè)視頻素材，包括體育館的鯨魚、手中的大象、懸浮的太陽系、辦公室的槍擊游戲等。其中部分視頻明確說明“直接錄制，無任何后期特效”。其他未注明的視頻，例如體育館的鯨魚，Magic Leap早就承認(rèn)是特效制作。在2014年的CES大會(huì)上Intel就展示過了類似的效果（Intel CES 2014 flying whale），本質(zhì)上是一種Video-Based AR技術(shù)，將鯨魚的動(dòng)態(tài)圖像疊加在現(xiàn)場(chǎng)拍攝的視頻上。

國(guó)內(nèi)普遍誤解Magic Leap已經(jīng)實(shí)現(xiàn)了裸眼空中懸浮成像技術(shù)，對(duì)其期望甚高。裸眼空中懸浮成像技術(shù)目前進(jìn)展緩慢，該技術(shù)在未來10年都難以實(shí)現(xiàn)。然而Magic Leap的研發(fā)目標(biāo)并不是這樣的技術(shù)，也沒有表明不需要佩戴眼鏡，而且其CEO Rony Abovitz曾展示過一塊透明的鏡片，可見Magic Leap仍然是需要佩戴眼鏡設(shè)備的。該鏡片看似普通透明玻璃片，Magic Leap稱為硅光電技術(shù)（Silicon Photonics，詳見維基百科），光學(xué)頂級(jí)期刊OE上大量文章報(bào)道該技術(shù)研究。以色列Lumus以及微軟HoloLens采用的是光波導(dǎo)技術(shù)（Light Waveguides），可以使顯示器件更輕更薄，但只能為單眼投射單幅圖像。而Magic Leap卻稱其采用的技術(shù)不僅能輕薄化，而且能為單眼提供多幅不同聚焦的圖片，從而實(shí)現(xiàn)光場(chǎng)顯示。

Magic Leap曾公開過三段Demo視頻都標(biāo)注“直接拍攝、無后期特效”，而Demo視頻中體現(xiàn)的光場(chǎng)顯示技術(shù)，可以依靠多種技術(shù)方案實(shí)現(xiàn)。例如Lanman在NVIDIA展示過Near-eye Light Field Display的VR頭盔樣機(jī)，雖然分辨率比較低，但確實(shí)實(shí)現(xiàn)了光場(chǎng)顯示。另一種光場(chǎng)顯示方案是多投影陣列技術(shù)，這也正是Magic Leap所采用的技術(shù)，美國(guó)南加州大學(xué)在2016年CVPR上展示過可實(shí)現(xiàn)1∶1真人秀的裸眼光場(chǎng)顯示，該系統(tǒng)包括了216個(gè)投影儀、6臺(tái)PC主機(jī)，占地一個(gè)房間大小。裸眼光場(chǎng)不需要用戶佩戴特殊眼鏡且能滿足多人同時(shí)從不同角度觀看，因此需要更多的投影儀來增加可視FOV。Magic Leap需要佩戴眼鏡，因此需要的投影儀數(shù)量和計(jì)算量都更少，但仍然是傳統(tǒng)2D圖像處理的好幾倍。

Magic Leap的光場(chǎng)顯示也是采用多投影陣列的技術(shù)方案，并聲稱采用了光纖投影，如果該光纖投影能像普通投影儀一樣穩(wěn)定輸出彩色圖像，那么光場(chǎng)顯示系統(tǒng)的體積可大大減小，但目前該光纖投影的性能是否達(dá)到光場(chǎng)顯示要求并沒有得到佐證。即使光纖投影達(dá)到要求，但光場(chǎng)顯示的計(jì)算量仍然非常巨大，目前的移動(dòng)端處理器都難以實(shí)現(xiàn)實(shí)時(shí)的交互式光場(chǎng)顯示，仍然需要依賴PC電腦。

為了減少光場(chǎng)計(jì)算量，Magic Leap極有可能采用了眼球追蹤技術(shù)。RGB光纖輸入待顯示的圖像，I光纖輸入紅外光并進(jìn)入人眼，根據(jù)紅外相機(jī)捕獲眼球反射的紅外光可以分析出當(dāng)前人眼的注視方向，通過追蹤人眼注視方向來對(duì)感興趣區(qū)域（ROI）圖像進(jìn)行聚焦處理。

光場(chǎng)顯示商業(yè)化的攔路虎

總體來說，Magic Leap聲稱的光場(chǎng)顯示在技術(shù)原理上是可行的，且多個(gè)研究機(jī)構(gòu)都展示過光場(chǎng)顯示樣機(jī)。但Magic Leap要商業(yè)化卻面臨著下列三大難點(diǎn)。

一是光場(chǎng)數(shù)據(jù)量太大，數(shù)據(jù)存儲(chǔ)和傳輸都將面臨問題。未來的AR/MR必然存在內(nèi)容的分享，就像手機(jī)分享2D圖片一樣，但是現(xiàn)有的網(wǎng)絡(luò)帶寬還無法實(shí)現(xiàn)流暢的光場(chǎng)內(nèi)容分享。近幾年，壓縮光場(chǎng)技術(shù)被提出，一方面利用光場(chǎng)數(shù)據(jù)的冗余性可大大降低數(shù)據(jù)存儲(chǔ)量，另一方面隨著5G網(wǎng)絡(luò)和LiFi技術(shù)的發(fā)展，這個(gè)問題會(huì)迎刃而解。

二是光場(chǎng)計(jì)算量大。要實(shí)現(xiàn)逼真的光場(chǎng)顯示，其計(jì)算量是傳統(tǒng)2D圖像的好幾倍，現(xiàn)有的移動(dòng)端通用處理器難以負(fù)擔(dān)如此大的計(jì)算量。微軟HoloLens設(shè)計(jì)的全息處理單元（HPU）成功克服了通用移動(dòng)處理器性能不足的問題。Magic Leap曾提及光場(chǎng)芯片（Light-Field Chip），該芯片能否實(shí)現(xiàn)實(shí)時(shí)的交互式光場(chǎng)處理，只能留給時(shí)間來驗(yàn)證了?，F(xiàn)階段的光場(chǎng)處理仍然需要依賴PC電腦。

三是小型化、便攜性。從美國(guó)南加州大學(xué)基于多投影的Life-Size光場(chǎng)顯示來看，要實(shí)現(xiàn)逼真的裸眼（Glass-Free）光場(chǎng)顯示所需要設(shè)備的總體積約占一個(gè)房間。當(dāng)然Magic Leap通過佩戴眼鏡降低了對(duì)投影數(shù)量和計(jì)算量的要求，設(shè)備體積不至于那么大。第*臺(tái)計(jì)算機(jī)誕生時(shí)也占據(jù)了整個(gè)房間，發(fā)展到現(xiàn)在的筆記本電腦歷經(jīng)了60多年。便攜式的高性能光場(chǎng)顯示樣機(jī)在10年內(nèi)是難以實(shí)現(xiàn)的，因此Magic Leap必須在設(shè)備體積和光場(chǎng)顯示效果之間尋找平衡點(diǎn)，才能在短時(shí)間內(nèi)實(shí)現(xiàn)小型化，雖然犧牲了光場(chǎng)性能，但相比其他AR產(chǎn)品仍然邁出了重大的第*步。

光場(chǎng)采集更接地氣

光場(chǎng)可以分為“光場(chǎng)顯示”和“光場(chǎng)采集”，兩方面技術(shù)的理論研究都已經(jīng)比較成熟。Magic Leap屬于前者，現(xiàn)有的顯示器件（LCD、OLED等）在每個(gè)像素點(diǎn)發(fā)出的光學(xué)是各項(xiàng)同性的。簡(jiǎn)單來說，當(dāng)你從不同角度去看電腦屏幕時(shí)，看到的圖像是一樣的。而光場(chǎng)顯示要求每個(gè)像素點(diǎn)在不同方向上發(fā)出不同的光線，現(xiàn)有顯示器件都無法滿足。光場(chǎng)顯示現(xiàn)在面臨的最大困難就是顯示器件的革新，這需要材料學(xué)、光學(xué)、半導(dǎo)體等多個(gè)基礎(chǔ)學(xué)科的共同努力。近幾年，這方面的研究不斷取得突破，如David Fattal等人在《Nature》上展示的用于裸眼3D顯示的多方向性背光，相信不久的未來光場(chǎng)顯示器件會(huì)大量普及。

相比于光場(chǎng)顯示，光場(chǎng)采集技術(shù)更接地氣。因?yàn)楣鈭?chǎng)采集不依賴于特殊的光學(xué)器件，用傳統(tǒng)的單反相機(jī)組成陣列即可采集光場(chǎng)，而算法才是光場(chǎng)采集的核心。換句話說，光場(chǎng)顯示更依賴于特殊的顯示器件（硬件），而光場(chǎng)采集更依賴于算法（軟件）。在Magic Leap演示的所有Demo中，無論是機(jī)器人、太陽系、辦公室的郵件等都是計(jì)算機(jī)渲染的光場(chǎng)，而沒有采集真實(shí)場(chǎng)景的光場(chǎng)，可見Magic Leap現(xiàn)在還無暇顧及光場(chǎng)采集技術(shù)，亦或等待與其他光場(chǎng)采集技術(shù)團(tuán)隊(duì)合作。光場(chǎng)采集在洛杉磯的好萊塢已經(jīng)被大量使用，包括《阿凡達(dá)》等經(jīng)典3D電影都是采用了光場(chǎng)采集技術(shù)，以達(dá)到逼真的3D顯示效果。電影《黑客帝國(guó)》中躲避子彈的鏡頭也是采用了基于相機(jī)整列的光場(chǎng)采集技術(shù)。相關(guān)技術(shù)在國(guó)內(nèi)剛剛興起，上海大劇院與疊鏡科技合作拍攝了360°動(dòng)靜態(tài)結(jié)合的3D話劇，實(shí)現(xiàn)了逼真的虛擬現(xiàn)實(shí)體驗(yàn)。

總之，Magic Leap提出的光場(chǎng)顯示技術(shù)是一種終極顯示方式，是一場(chǎng)偉大的、革新的技術(shù)突破。雖然投入巨大，商業(yè)化還面臨困難，但仍然值得投入。面對(duì)當(dāng)前產(chǎn)品商業(yè)化的困難，Magic Leap不僅需要研究上的技術(shù)之躍，還需要工程上的魔法之躍。

上海科技大學(xué)虛擬現(xiàn)實(shí)與可視計(jì)算實(shí)驗(yàn)室 

曹煊博士