美國(guó)專利及商標(biāo)局日前正式公布了蘋果68項(xiàng)新專利，其中一項(xiàng)跟沉浸式增強(qiáng)現(xiàn)實(shí)有關(guān)的重要專利。蘋果執(zhí)行總監(jiān)庫克已經(jīng)不止一次談到蘋果對(duì)增強(qiáng)現(xiàn)實(shí)技術(shù)的興趣，他此前在接受ABC News采訪時(shí)曾談到增強(qiáng)現(xiàn)實(shí)允許人們相互之間的交流更具臨在感和分享性，這讓AR更具有商業(yè)可行性。庫克的言論給我們描述了一個(gè)沉浸式增強(qiáng)現(xiàn)實(shí)的蘋果愿景。

    蘋果新授予的專利涉及通過攝像頭陣列捕獲場(chǎng)景圖像，基于觀看者視點(diǎn)（POV）處理捕獲圖像的操作、系統(tǒng)和計(jì)算機(jī)可讀介質(zhì)，而這主要是用于沉浸式增強(qiáng)現(xiàn)實(shí)、實(shí)況顯示墻、頭戴式顯示器、視頻會(huì)議和相關(guān)應(yīng)用。

    蘋果的發(fā)明描述了一種與沉浸式增強(qiáng)現(xiàn)實(shí)、實(shí)時(shí)顯示墻、頭戴式顯示器和視頻會(huì)議應(yīng)用程序相關(guān)并可用于圖像捕捉和處理的技術(shù)。在一個(gè)實(shí)施例中，蘋果描述的系統(tǒng)通過由攝像機(jī)陣列捕獲的圖像向觀看者提供完整的視圖。在另一個(gè)實(shí)施例中，隨著觀看者從一個(gè)位置移動(dòng)到另一個(gè)位置，蘋果所描述的發(fā)明可以追蹤觀看者的視點(diǎn)，并且根據(jù)視點(diǎn)變化顯示圖像。觀看者視點(diǎn)的變化包括X、Y和Z軸上的運(yùn)動(dòng)。

    比如根據(jù)一個(gè)實(shí)施例，每位用戶可以通過一個(gè)終端參與到視頻會(huì)議中。每個(gè)終端包括顯示器、攝像機(jī)陣列、圖像處理單元（例如，包括硬件和/或軟件）、以及網(wǎng)絡(luò)連接（例如，通過纜線和/或無線連接）。每個(gè)攝像頭陣列可以包括多個(gè)攝像頭。

    攝像頭陣列可以捕獲圖像（如顏色RGB、YUV和YCC等）。攝像機(jī)陣列也可以捕獲深度，捕獲信息以計(jì)算深度（如結(jié)構(gòu)化光、飛行時(shí)間和立體圖像等），或者以其他方式計(jì)算每位用戶的深度，同時(shí)追蹤該用戶的視點(diǎn)（比如通過頭部和/或眼睛位置呈現(xiàn)）。觀看者視點(diǎn)數(shù)據(jù)可由終端發(fā)送，然后說話者終端可通過網(wǎng)絡(luò)連接接收。

    蘋果還指出：“說話者終端內(nèi)的圖像處理單元可以根據(jù)用戶視點(diǎn)來處理說話者的捕獲圖像，特別是圖像處理操作可包含通過基于用戶視點(diǎn)的捕捉圖像來修剪像素，以及識(shí)別剩余像素的剔除操作。剔除操作的目的是減少數(shù)據(jù)處理量，因?yàn)樘幚砗蟮臄?shù)據(jù)最終將從一方傳輸?shù)搅硪环剑虼颂蕹僮骺蓽p少傳輸數(shù)據(jù)量，節(jié)省帶寬，降低延遲。

    在剔除像素后，圖像處理單元可以把來自各個(gè)攝像頭三維空間的剩余像素映射到二維顯示空間。接下來，映射像素的數(shù)據(jù)可以通過說話者終端發(fā)送，然后觀眾終端通過網(wǎng)絡(luò)進(jìn)行接收。接著，觀眾終端內(nèi)的圖像處理單元可以混合映射的像素并組合準(zhǔn)備好顯示的圖像（即“幀”）。

    另外，觀看者終端可以借助說話者視點(diǎn)來處理觀看者的捕獲圖像。觀看者終端內(nèi)的圖像處理操作可以“映照”說話者終端內(nèi)的處理。

    蘋果所使用的術(shù)語“說話者”和“觀看者”在這里被用于解釋所公開概念。在視頻會(huì)議中，每一位用戶都作為相對(duì)于他/她的說話者和觀看者。因此，上文描述的說話者和觀看者位置的圖像捕獲和處理操作都在每一個(gè)位置的終端內(nèi)同時(shí)且連續(xù)進(jìn)行。根據(jù)本方視點(diǎn)，這可以為每位用戶提供對(duì)方的連續(xù)顯示幀，亦即實(shí)時(shí)視頻。

    此外，攝像頭陣列可以單獨(dú)操作，或是在每個(gè)位置集成到顯示器中。對(duì)于沉浸式增強(qiáng)現(xiàn)實(shí)、實(shí)況顯示墻和頭戴式顯示器等可能只有一名觀看者的應(yīng)用中，終端之間可以出現(xiàn)不對(duì)稱，只需捕獲要顯示在觀看者屏幕的場(chǎng)景即可，同時(shí)觀看者位置可以無需任何攝像頭陣列。

    觀看者的視點(diǎn)可以由專用于追蹤目的的一個(gè)或多個(gè)攝像頭來進(jìn)行追蹤，又或者是使用與攝像頭陣列分離的其它設(shè)備，與此同時(shí)可以不追蹤說話者的視點(diǎn)。

    總的來說，光場(chǎng)技術(shù)正在徹底改變我們?cè)谝曨l和靜止圖像中觀看圖像的方式。這一點(diǎn)令人感到十分興奮，因?yàn)楣鈭?chǎng)技術(shù)也能應(yīng)用于頭顯一體機(jī)等設(shè)備上。

    專利號(hào)為9,681,096的蘋果專利最初于2016年Q3季度提交，并由美國(guó)專利及商標(biāo)局于日前正式公布。

責(zé)編：樹懶