通過(guò)UE4 的 INTEL REALSENSE 插件以新的方式觀(guān)察世界
Intel 一直都對引入創(chuàng )新的工具和科技感興趣,這些工具能夠為世界上熱情的內容開(kāi)發(fā)者增加能量。如果你還不甚了解,Intel RealSense camera 在普通的 RGB 照片和視頻技術(shù)上,采用紅外光線(xiàn)來(lái)計算深度。為了幫助開(kāi)發(fā)這個(gè)技術(shù)的應用程序,Intel 創(chuàng )建了 RealSense SDK,一個(gè)用來(lái)做可視化算法的庫,包括面部識別,圖片碎片化,以及 3D 掃描。
由于看到了這個(gè)技術(shù)在游戲中的潛在應用,我們現在來(lái)為大家介紹 RealSense 插件,這是 Intel 的游戲工程師們合作的產(chǎn)物,將 RealSense SDK 中的各種特性提供出來(lái)以便在虛幻 4 的藍圖可視化腳本系統中使用。
插件概述
這個(gè)插件是一組 Actor 組件的形式存在,每個(gè)組件封裝了 RealSense SDK 中的一些特定的功能。通過(guò)使用這些相對輕量的組件,可以為游戲中幾乎每種 Actor 添加 3D 的感應能力,并且訪(fǎng)問(wèn)這些數據也很簡(jiǎn)單,只需要對同一個(gè)組件在初始化一個(gè)實(shí)例即可。
插件組建
目前,插件有三個(gè) RealSense 組件:
- Camera Streams 組件: 提供 RealSense 攝像頭的原始顏色和深度的視頻流。
- 3D 掃描組件: 支持真實(shí)世界的物體掃描,以及人臉掃描(如上圖)。
- 頭部跟蹤組件(預覽): 支持對用戶(hù)頭部的位置和角度的檢測和跟蹤。
接著(zhù)很快就會(huì )更新,可以期待該插件即將到來(lái)的更多組建:
- 頭部跟蹤組件(完整版): 用于檢測和跟蹤高達 76 面部標志點(diǎn),脈搏速率,和面部表情附加功能。
- 背景碎片組件: 將圖片的前景和背景分離開(kāi),為實(shí)時(shí)視頻創(chuàng )建“綠幕”的效果(如上圖)。
- 場(chǎng)景掃描組件: 對大場(chǎng)景(約 2m x 2m 的區域)生成 3D 模型來(lái)協(xié)助創(chuàng )建用戶(hù)生成的內容并加強現實(shí)世界的體驗(如下圖)。
- 手部跟蹤組件: 檢測并跟蹤 22 個(gè)手部標志點(diǎn),識別 14 種手勢,或者跟蹤一個(gè)點(diǎn)來(lái)作為鼠標類(lèi)型的交互響應。
- 語(yǔ)音識別組建: 將輸入語(yǔ)音轉換為文本來(lái)翻譯,或者用于檢測關(guān)鍵字來(lái)作為語(yǔ)音控制功能輸入。
- 上一篇:Unity3d網(wǎng)絡(luò )通信 - NetWork組件使用 2019/5/28
- 下一篇:HOLOLENS的SOCKET網(wǎng)絡(luò )通訊1 2019/5/23