視頻 | 另類的AR變臉， 每秒1000幀的3D縱深映射投影

這周的F8大會上，F(xiàn)acebook高調(diào)推出 AR 開發(fā)者平臺 Camera Effects ，小扎還放下豪言：AR 將成為下一代計算平臺，但前期硬件還不夠好的時候，咱先做個平臺歡迎小伙伴一起玩玩。而此前Facebook早已抄過Snapchat，做了類似的變臉應(yīng)用。

不知道什么開始，這樣的變臉APP就紅遍了朋友圈，貓須、偲紅、兔耳朵動起來——滿足了一大幫少女的萌萌噠“剛需”。

而最近有一段跳舞視頻也同樣火了一陣子：

每秒1000幀的“祈禱”

這一段名為《INORI（祈禱）》的舞蹈表演視頻，沒有華麗的陣容，也沒有花俏的動作，時而是豐滿的人臉，時而是枯竭的頭顱，時而是地獄的使者，時而是虛空的來客。

視頻的特點是使用了實時面部投影映射技術(shù)，通過改變舞者的面容，在一分鐘之內(nèi)讓舞者舞出一段禱告儀式。

這段視頻是由藝術(shù)家諾布邁克·阿賽（Nobumichi Asai）、日本設(shè)計工作室 WOW、日本東京大學(xué)石川渡邊實驗室（Ishikawa Wantanbe）和日本著*舞蹈家 AyaBambi 共同合作設(shè)計。

將投影固定在某種媒介上早已司空見慣，我們也見過酷炫的AR投影的餐桌，不過仔細(xì)看視頻我們發(fā)現(xiàn)，舞者的動作是一直在變化而非靜止。

這是Faceu的效果，除了臉部意外的特效，視頻中投影也已經(jīng)以假亂真。

普通的投影，直接投影在墻上的內(nèi)容令人瞎眼；一個人走過投影機(jī)前，光線頓時扭曲，形成詭異的效果；甚至鏡頭的輕微抖動，由于透視的關(guān)系，畫面都會產(chǎn)生巨大的變形，令人不快。那視頻中的神奇變臉是怎么做到的呢？

投影的實現(xiàn)

這是制作過程中用到的投影設(shè)備，我們換個角度看看：

根據(jù)制作團(tuán)隊描述，舞蹈使用了東京大學(xué)設(shè)計的高速投影機(jī)，每秒運行1000幀的投影（已經(jīng)達(dá)到目前世界最快），通過將投影儀與 3D 縱深映射系統(tǒng)和精確的傳感器跟蹤一起使用，讓視頻創(chuàng)作者能夠?qū)崟r地改變舞者的外觀和視覺美學(xué)。

傳統(tǒng)的投影系統(tǒng)很難跟上人體基本動作，比如前幾年互聯(lián)網(wǎng)上大火的 Lady Gaga 臉部投影藝術(shù)，而這里高速投影，還能實時追蹤人體的舞蹈動作。

《Inori》的創(chuàng)造，實現(xiàn)了投影的10毫秒延時，滿足復(fù)雜的舞蹈藝術(shù)創(chuàng)作的需求，與傳統(tǒng)投影系統(tǒng)相比是一次飛躍的進(jìn)步，也開啟了新型視覺藝術(shù)的啟蒙篇章。

詳解 Face Hacking

實際上，類似的3D投影映射技術(shù)早在2014年就已經(jīng)出現(xiàn)——這部《FACE HACKING》是畢業(yè)于日本東北大學(xué)的淺井宣通，于2014年12月22日在FUJI-TV SMAP×SMAP上首次展示的，機(jī)器人、豹人等各種充滿科幻氣勢的妝容在演員面部不斷演示著。

我們看一下面部映射的流程步驟：

· 用于識別的標(biāo)記放置于臉部

· 判斷標(biāo)記的 3D 位置

· 根據(jù)標(biāo)記位置判斷面部位置及方位

· 渲染臉部 3D 模型，在這個模型上動畫紋理和實時效果將會被應(yīng)用

· 進(jìn)行面部投影

為了在面部移動時保持自然，以上所有步驟都要處理得盡可能快。

面部映射過程依賴于兩個在同一臺電腦上同時運行的軟件：

· 傳感管理軟件負(fù)責(zé)控制傳感器和從傳感數(shù)據(jù)中提取 3D 信息

· 面部跟蹤和投射映射軟件（也叫作現(xiàn)場映射）會估算面部所在的位置以及方位，接著呈現(xiàn)、渲染（也就是畫）出 3D 模型，這個 3D 模型會被映射紋理動畫視頻。

為了能讓投射適合藝術(shù)家的真實面龐，通過 3D 掃描儀器獲得了藝術(shù)家臉部的輪廓，從若干不同的角度，這些照片會在 3D 模型上進(jìn)行貼圖、紋理處理，合并到單一參考紋理圖像之中，其中包含有所有面部的細(xì)節(jié)。當(dāng)創(chuàng)作跟蹤效果和動畫時，參考紋理貼圖會最為基礎(chǔ)，以便保持與臉部真實幾何結(jié)構(gòu)的嚴(yán)格吻合。

小結(jié)

投影式的“AR”表現(xiàn)，不需要特別的標(biāo)記物，不需要移動設(shè)備的另一個屏幕為載體，也不需要AR眼鏡等穿戴設(shè)備，使得人們在裸眼的條件下就能欣賞到不一樣的酷炫特效，當(dāng)然它的局限性也比較大。不過，這種另類的表現(xiàn)確實也是打開了AR的一扇窗戶。除此之外，我還是很好奇跳舞的姑娘，這些燈光照射在臉上會不會刺眼和頭暈?zāi)兀?/span>

責(zé)編：小艷