Magic Leap從誕生之初就受到萬眾矚目，憑借其三大核心技術（SLAM、CG、Light Filed）獲得了巨額融資，尤其是其所稱的光場（Light Field）技術更是被奉為黑科技。但由于遲遲沒有推出商業化產品，外界對其質疑不斷增加。近日，隨著外媒《The Information》公然“叫板”Magic Leap，國內群眾也出現一邊倒的趨勢。Magic Leap的前兩項核心技術SLAM和CG發展已經比較成熟，微軟HoloLens已經側面驗證了這兩項技術是可以商業化的。外界對其最大質疑集中在第三項核心技術——光場。Magic Leap所稱的光場技術真的能如其名一樣實現魔法之躍嗎？該技術到底能不能改變VR/AR未來的技術路線和商業格局？本文將重點從技術的可行性方面來分析上述問題。

光場并非“水中月”

首先可以明確的是：光場并不是Magic Leap憑空構造出來的新概念，光場技術的理論研究已經持續三十多年，光場技術涉及多個交叉學科，技術難度高，但也不至于像超越光速那么遙不可及，國外多個研究機構都曾公開展示過光場樣機。

光場技術從1981年開始受到世界頂級科研機構的關注并展開了持續的研究。類似電磁場的概念，光場是分布于空間中所有光線的集合。簡單來說，光場技術的終極目標就是采集空間中所有的光線并投射出來，實現類似《星球大戰》中的數字全息顯示。而Magic Leap之前公開的視頻中演示了類似的場景。Magic Leap所稱的光場技術并非“水中月、鏡中花”，該技術有足夠理論研究支撐，至少實驗室級的光場樣機早已得到驗證。

Magic Leap的虛與實

Magic Leap曾經公開過多個視頻素材，包括體育館的鯨魚、手中的大象、懸浮的太陽系、辦公室的槍擊游戲等。其中部分視頻明確說明“直接錄制，無任何后期特效”。其他未注明的視頻，例如體育館的鯨魚，Magic Leap早就承認是特效制作。在2014年的CES大會上Intel就展示過了類似的效果（Intel CES 2014 flying whale），本質上是一種Video-Based AR技術，將鯨魚的動態圖像疊加在現場拍攝的視頻上。

國內普遍誤解Magic Leap已經實現了裸眼空中懸浮成像技術，對其期望甚高。裸眼空中懸浮成像技術目前進展緩慢，該技術在未來10年都難以實現。然而Magic Leap的研發目標并不是這樣的技術，也沒有表明不需要佩戴眼鏡，而且其CEO Rony Abovitz曾展示過一塊透明的鏡片，可見Magic Leap仍然是需要佩戴眼鏡設備的。該鏡片看似普通透明玻璃片，Magic Leap稱為硅光電技術（Silicon Photonics，詳見維基百科），光學頂級期刊OE上大量文章報道該技術研究。以色列Lumus以及微軟HoloLens采用的是光波導技術（Light Waveguides），可以使顯示器件更輕更薄，但只能為單眼投射單幅圖像。而Magic Leap卻稱其采用的技術不僅能輕薄化，而且能為單眼提供多幅不同聚焦的圖片，從而實現光場顯示。

Magic Leap曾公開過三段Demo視頻都標注“直接拍攝、無后期特效”，而Demo視頻中體現的光場顯示技術，可以依靠多種技術方案實現。例如Lanman在NVIDIA展示過Near-eye Light Field Display的VR頭盔樣機，雖然分辨率比較低，但確實實現了光場顯示。另一種光場顯示方案是多投影陣列技術，這也正是Magic Leap所采用的技術，美國南加州大學在2016年CVPR上展示過可實現1∶1真人秀的裸眼光場顯示，該系統包括了216個投影儀、6臺PC主機，占地一個房間大小。裸眼光場不需要用戶佩戴特殊眼鏡且能滿足多人同時從不同角度觀看，因此需要更多的投影儀來增加可視FOV。Magic Leap需要佩戴眼鏡，因此需要的投影儀數量和計算量都更少，但仍然是傳統2D圖像處理的好幾倍。

Magic Leap的光場顯示也是采用多投影陣列的技術方案，并聲稱采用了光纖投影，如果該光纖投影能像普通投影儀一樣穩定輸出彩色圖像，那么光場顯示系統的體積可大大減小，但目前該光纖投影的性能是否達到光場顯示要求并沒有得到佐證。即使光纖投影達到要求，但光場顯示的計算量仍然非常巨大，目前的移動端處理器都難以實現實時的交互式光場顯示，仍然需要依賴PC電腦。

為了減少光場計算量，Magic Leap極有可能采用了眼球追蹤技術。RGB光纖輸入待顯示的圖像，I光纖輸入紅外光并進入人眼，根據紅外相機捕獲眼球反射的紅外光可以分析出當前人眼的注視方向，通過追蹤人眼注視方向來對感興趣區域（ROI）圖像進行聚焦處理。

光場顯示商業化的攔路虎

總體來說，Magic Leap聲稱的光場顯示在技術原理上是可行的，且多個研究機構都展示過光場顯示樣機。但Magic Leap要商業化卻面臨著下列三大難點。

一是光場數據量太大，數據存儲和傳輸都將面臨問題。未來的AR/MR必然存在內容的分享，就像手機分享2D圖片一樣，但是現有的網絡帶寬還無法實現流暢的光場內容分享。近幾年，壓縮光場技術被提出，一方面利用光場數據的冗余性可大大降低數據存儲量，另一方面隨著5G網絡和LiFi技術的發展，這個問題會迎刃而解。

二是光場計算量大。要實現逼真的光場顯示，其計算量是傳統2D圖像的好幾倍，現有的移動端通用處理器難以負擔如此大的計算量。微軟HoloLens設計的全息處理單元（HPU）成功克服了通用移動處理器性能不足的問題。Magic Leap曾提及光場芯片（Light-Field Chip），該芯片能否實現實時的交互式光場處理，只能留給時間來驗證了。現階段的光場處理仍然需要依賴PC電腦。

三是小型化、便攜性。從美國南加州大學基于多投影的Life-Size光場顯示來看，要實現逼真的裸眼（Glass-Free）光場顯示所需要設備的總體積約占一個房間。當然Magic Leap通過佩戴眼鏡降低了對投影數量和計算量的要求，設備體積不至于那么大。第*臺計算機誕生時也占據了整個房間，發展到現在的筆記本電腦歷經了60多年。便攜式的高性能光場顯示樣機在10年內是難以實現的，因此Magic Leap必須在設備體積和光場顯示效果之間尋找平衡點，才能在短時間內實現小型化，雖然犧牲了光場性能，但相比其他AR產品仍然邁出了重大的第*步。

光場采集更接地氣

光場可以分為“光場顯示”和“光場采集”，兩方面技術的理論研究都已經比較成熟。Magic Leap屬于前者，現有的顯示器件（LCD、OLED等）在每個像素點發出的光學是各項同性的。簡單來說，當你從不同角度去看電腦屏幕時，看到的圖像是一樣的。而光場顯示要求每個像素點在不同方向上發出不同的光線，現有顯示器件都無法滿足。光場顯示現在面臨的最大困難就是顯示器件的革新，這需要材料學、光學、半導體等多個基礎學科的共同努力。近幾年，這方面的研究不斷取得突破，如David Fattal等人在《Nature》上展示的用于裸眼3D顯示的多方向性背光，相信不久的未來光場顯示器件會大量普及。

相比于光場顯示，光場采集技術更接地氣。因為光場采集不依賴于特殊的光學器件，用傳統的單反相機組成陣列即可采集光場，而算法才是光場采集的核心。換句話說，光場顯示更依賴于特殊的顯示器件（硬件），而光場采集更依賴于算法（軟件）。在Magic Leap演示的所有Demo中，無論是機器人、太陽系、辦公室的郵件等都是計算機渲染的光場，而沒有采集真實場景的光場，可見Magic Leap現在還無暇顧及光場采集技術，亦或等待與其他光場采集技術團隊合作。光場采集在洛杉磯的好萊塢已經被大量使用，包括《阿凡達》等經典3D電影都是采用了光場采集技術，以達到逼真的3D顯示效果。電影《黑客帝國》中躲避子彈的鏡頭也是采用了基于相機整列的光場采集技術。相關技術在國內剛剛興起，上海大劇院與疊鏡科技合作拍攝了360°動靜態結合的3D話劇，實現了逼真的虛擬現實體驗。

總之，Magic Leap提出的光場顯示技術是一種終極顯示方式，是一場偉大的、革新的技術突破。雖然投入巨大，商業化還面臨困難，但仍然值得投入。面對當前產品商業化的困難，Magic Leap不僅需要研究上的技術之躍，還需要工程上的魔法之躍。

上海科技大學虛擬現實與可視計算實驗室 

曹煊博士