蘋果獲光場技術關鍵專利，提供沉浸式AR體驗

類別：行業新聞發表于：2017-06-14 09:13

關鍵字：光場 AR 增強現實屏幕顯示屏

摘要：蘋果獲光場相關關鍵專利，提供沉浸式AR體驗

美國專利及商標局日前正式公布了蘋果68項新專利，其中一項跟沉浸式增強現實有關的重要專利。蘋果執行總監庫克已經不止一次談到蘋果對增強現實技術的興趣，他此前在接受ABC News采訪時曾談到增強現實允許人們相互之間的交流更具臨在感和分享性，這讓AR更具有商業可行性。庫克的言論給我們描述了一個沉浸式增強現實的蘋果愿景。

蘋果新授予的專利涉及通過攝像頭陣列捕獲場景圖像，基于觀看者視點（POV）處理捕獲圖像的操作、系統和計算機可讀介質，而這主要是用于沉浸式增強現實、實況顯示墻、頭戴式顯示器、視頻會議和相關應用。

蘋果的發明描述了一種與沉浸式增強現實、實時顯示墻、頭戴式顯示器和視頻會議應用程序相關并可用于圖像捕捉和處理的技術。在一個實施例中，蘋果描述的系統通過由攝像機陣列捕獲的圖像向觀看者提供完整的視圖。在另一個實施例中，隨著觀看者從一個位置移動到另一個位置，蘋果所描述的發明可以追蹤觀看者的視點，并且根據視點變化顯示圖像。觀看者視點的變化包括X、Y和Z軸上的運動。

比如根據一個實施例，每位用戶可以通過一個終端參與到視頻會議中。每個終端包括顯示器、攝像機陣列、圖像處理單元（例如，包括硬件和/或軟件）、以及網絡連接（例如，通過纜線和/或無線連接）。每個攝像頭陣列可以包括多個攝像頭。

攝像頭陣列可以捕獲圖像（如顏色RGB、YUV和YCC等）。攝像機陣列也可以捕獲深度，捕獲信息以計算深度（如結構化光、飛行時間和立體圖像等），或者以其他方式計算每位用戶的深度，同時追蹤該用戶的視點（比如通過頭部和/或眼睛位置呈現）。觀看者視點數據可由終端發送，然后說話者終端可通過網絡連接接收。

蘋果還指出：“說話者終端內的圖像處理單元可以根據用戶視點來處理說話者的捕獲圖像，特別是圖像處理操作可包含通過基于用戶視點的捕捉圖像來修剪像素，以及識別剩余像素的剔除操作。剔除操作的目的是減少數據處理量，因為處理后的數據最終將從一方傳輸到另一方，因此剔除操作可減少傳輸數據量，節省帶寬，降低延遲。

在剔除像素后，圖像處理單元可以把來自各個攝像頭三維空間的剩余像素映射到二維顯示空間。接下來，映射像素的數據可以通過說話者終端發送，然后觀眾終端通過網絡進行接收。接著，觀眾終端內的圖像處理單元可以混合映射的像素并組合準備好顯示的圖像（即“幀”）。

另外，觀看者終端可以借助說話者視點來處理觀看者的捕獲圖像。觀看者終端內的圖像處理操作可以“映照”說話者終端內的處理。

蘋果所使用的術語“說話者”和“觀看者”在這里被用于解釋所公開概念。在視頻會議中，每一位用戶都作為相對于他/她的說話者和觀看者。因此，上文描述的說話者和觀看者位置的圖像捕獲和處理操作都在每一個位置的終端內同時且連續進行。根據本方視點，這可以為每位用戶提供對方的連續顯示幀，亦即實時視頻。

此外，攝像頭陣列可以單獨操作，或是在每個位置集成到顯示器中。對于沉浸式增強現實、實況顯示墻和頭戴式顯示器等可能只有一名觀看者的應用中，終端之間可以出現不對稱，只需捕獲要顯示在觀看者屏幕的場景即可，同時觀看者位置可以無需任何攝像頭陣列。

觀看者的視點可以由專用于追蹤目的的一個或多個攝像頭來進行追蹤，又或者是使用與攝像頭陣列分離的其它設備，與此同時可以不追蹤說話者的視點。