這周的F8大會上，Facebook高調推出 AR 開發者平臺 Camera Effects ，小扎還放下豪言：AR 將成為下一代計算平臺，但前期硬件還不夠好的時候，咱先做個平臺歡迎小伙伴一起玩玩。而此前Facebook早已抄過Snapchat，做了類似的變臉應用。

不知道什么開始，這樣的變臉APP就紅遍了朋友圈，貓須、偲紅、兔耳朵動起來——滿足了一大幫少女的萌萌噠“剛需”。

而最近有一段跳舞視頻也同樣火了一陣子：

每秒1000幀的“祈禱”

這一段名為《INORI（祈禱）》的舞蹈表演視頻，沒有華麗的陣容，也沒有花俏的動作，時而是豐滿的人臉，時而是枯竭的頭顱，時而是地獄的使者，時而是虛空的來客。

視頻的特點是使用了實時面部投影映射技術，通過改變舞者的面容，在一分鐘之內讓舞者舞出一段禱告儀式。

這段視頻是由藝術家諾布邁克·阿賽（Nobumichi Asai）、日本設計工作室 WOW、日本東京大學石川渡邊實驗室（Ishikawa Wantanbe）和日本著*舞蹈家 AyaBambi 共同合作設計。

將投影固定在某種媒介上早已司空見慣，我們也見過酷炫的AR投影的餐桌，不過仔細看視頻我們發現，舞者的動作是一直在變化而非靜止。

這是Faceu的效果，除了臉部意外的特效，視頻中投影也已經以假亂真。

普通的投影，直接投影在墻上的內容令人瞎眼；一個人走過投影機前，光線頓時扭曲，形成詭異的效果；甚至鏡頭的輕微抖動，由于透視的關系，畫面都會產生巨大的變形，令人不快。那視頻中的神奇變臉是怎么做到的呢？

投影的實現

這是制作過程中用到的投影設備，我們換個角度看看：

根據制作團隊描述，舞蹈使用了東京大學設計的高速投影機，每秒運行1000幀的投影（已經達到目前世界最快），通過將投影儀與 3D 縱深映射系統和精確的傳感器跟蹤一起使用，讓視頻創作者能夠實時地改變舞者的外觀和視覺美學。

傳統的投影系統很難跟上人體基本動作，比如前幾年互聯網上大火的 Lady Gaga 臉部投影藝術，而這里高速投影，還能實時追蹤人體的舞蹈動作。

《Inori》的創造，實現了投影的10毫秒延時，滿足復雜的舞蹈藝術創作的需求，與傳統投影系統相比是一次飛躍的進步，也開啟了新型視覺藝術的啟蒙篇章。

詳解 Face Hacking

實際上，類似的3D投影映射技術早在2014年就已經出現——這部《FACE HACKING》是畢業于日本東北大學的淺井宣通，于2014年12月22日在FUJI-TV SMAP×SMAP上首次展示的，機器人、豹人等各種充滿科幻氣勢的妝容在演員面部不斷演示著。

我們看一下面部映射的流程步驟：

· 用于識別的標記放置于臉部

· 判斷標記的 3D 位置

· 根據標記位置判斷面部位置及方位

· 渲染臉部 3D 模型，在這個模型上動畫紋理和實時效果將會被應用

· 進行面部投影

為了在面部移動時保持自然，以上所有步驟都要處理得盡可能快。

面部映射過程依賴于兩個在同一臺電腦上同時運行的軟件：

· 傳感管理軟件負責控制傳感器和從傳感數據中提取 3D 信息

· 面部跟蹤和投射映射軟件（也叫作現場映射）會估算面部所在的位置以及方位，接著呈現、渲染（也就是畫）出 3D 模型，這個 3D 模型會被映射紋理動畫視頻。

為了能讓投射適合藝術家的真實面龐，通過 3D 掃描儀器獲得了藝術家臉部的輪廓，從若干不同的角度，這些照片會在 3D 模型上進行貼圖、紋理處理，合并到單一參考紋理圖像之中，其中包含有所有面部的細節。當創作跟蹤效果和動畫時，參考紋理貼圖會最為基礎，以便保持與臉部真實幾何結構的嚴格吻合。

小結

投影式的“AR”表現，不需要特別的標記物，不需要移動設備的另一個屏幕為載體，也不需要AR眼鏡等穿戴設備，使得人們在裸眼的條件下就能欣賞到不一樣的酷炫特效，當然它的局限性也比較大。不過，這種另類的表現確實也是打開了AR的一扇窗戶。除此之外，我還是很好奇跳舞的姑娘，這些燈光照射在臉上會不會刺眼和頭暈呢？

責編：小艷