AR增強現實技術解讀

AR增強現實是用戶感知現實世界的新技術。

一般認為，AR虛擬現實技術的出現源于虛擬現實技術（Virtual Reality，簡稱VR）但兩者之間存在明顯差異。

傳統VR技術給用戶一種完全沉浸在虛擬世界中的效果，創造另一個世界；AR技術通過聽、看、摸、聞虛擬信息，將計算機帶入用戶的現實世界，增強對現實世界的感知，實現從人適應機器到技術以人為本的轉變。

AR從其技術手段和表現形式來看，可以明確分為兩類：一類是Vision based AR，即基于計算機視覺AR，二是LBS basedAR，即基于地理位置信息的信息AR。

01 Vision based AR

基于計算機視覺AR利用計算機視覺方法在現實世界和屏幕之間建立映射關系，使我們想要繪制圖形或3D模型通常可以顯示在屏幕上，就像顯示在屏幕上。如何做到這一點？

本質上，我們需要在現實場景中找到一個附著的平面，然后將這個3D場景中的平面映射到我們的2D屏幕上，然后在這個平面上繪制你想要顯示的圖形，這可以從技術實現手段來看 分為2類 ：

1、 Marker-Based AR

這種實現方法需要提前制定Marker(例如，繪制一定規格形狀的模板卡或二維碼)Marker在現實中的一個位置相當于在現實場景中確定平面。

然后通過相機對Marker識別和評估姿勢（Pose Esti ** tion），確定位置，然后確定位置Marker中心為原點的坐標系稱為Marker Coordinates即模板坐標系。

事實上，我們需要做的是改變模板坐標系和屏幕坐標系標系和屏幕坐標系之間的映射關系，這樣我們就可以根據這個變化在屏幕上繪制的圖形來實現圖形的附著Marker上的效果。

理解原則需要一點3D從模板坐標系到真實的屏幕坐標系，射影幾何知識需要旋轉并平移到相機坐標系（Camera Coordinates）然后從相機坐標系映射到屏幕坐標系。

在實際編碼中，所有這些變換都是矩陣，矩陣代表在線性代數中的變換，左乘坐坐標的矩陣是線性變換平移等非線性變換，可以使用齊次坐標進行矩陣操作)。公式如下:

矩陣C的學名是相機內參矩陣，矩陣CTm被稱為攝像機外參矩陣，其中內參矩陣需要提前進行攝像機校準，外參矩陣未知，我們需要根據屏幕坐標(xc ,yc)提前定義Marker 估計坐標系和內參矩陣Tm，然后根據圖形繪制圖形Tm繪制(初始估計Tm不夠精確，還需要使用非線性最小二乘進行迭代尋優)。

比如使用OpenGL畫畫的時候就要到了GL_MODELVIEW在模式下加載Tm圖形顯示是矩陣。

2、 Marker-Less AR

基本原理與Marker based AR同樣，但它可以使用任何具有足夠特征點的物體（如書的封面）作為平面基準，而無需提前制作特殊模板。

擺脫模板對AR應用的束縛。

其原理是通過一系列算法(如:SURF，ORB，FERN等)提取模板對象的特征點，并記錄或學習這些特征點。

當相機掃描周圍場景時，將提取周圍場景的特征點，并與記錄的模板對象的特征點進行比較。如果掃描的特征點與模板特征點匹配的數量超過閾值，則認為掃描模板，然后根據相應的特征點坐標進行估計Tm然后根據矩陣Tm繪圖(方法和Marker-Based AR類似)。

02 LBS-Based AR

其基本原理是通過GPS從某些數據源(如wiki，google）在這個位置附近的物體(如周圍的餐館、銀行、學校等。POI通過移動設備的電子指南針和加速度傳感器獲取用戶手持設備的方向和傾斜角度，在現實場景中建立目標對象的平面基準(相當于 ** rker)，坐標變換顯示等的原理Marker-Based AR類似。

這種AR設備的技術利用GPS實現功能和傳感器，擺脫應用Marker用戶體驗的依賴比用戶體驗的依賴要好Marker-Based AR更好。

而且因為不需要實時識別Marker性能優于姿態和計算特征Marker-Based AR和Marker-Less AR，因此對比Marker-Based AR和Marker-Less AR，LBS-Based AR移動設備可以更好地應用。

03 AR加強現實系統的組成

1、Monitor-based系統

基于計算機顯示器的AR在實現方案中，攝像機攝取的真實世界圖像輸入到計算機中，與計算機圖形系統產生的虛擬場景合成，并輸出到屏幕顯示器中。

用戶可以從屏幕上看到最終的增強場景圖片。雖然它不能給用戶帶來太多的沉浸感，但它是最簡單的使用AR實現方案。

由于該方案的硬件要求很低，在實驗室中AR大量的系統研究人員。

2、Video see-through系統

頭盔式顯示器（Head-mounted displays-HMD）廣泛應用于虛擬現實系統，增強用戶的視覺沉浸感。

增強現實技術的研究人員也使用類似的顯示技術AR穿透式廣泛應用HMD。

根據具體的實現原理，分為基于視頻合成技術的穿透性兩類HMD（video see-through HMD）基于光學原理的穿透性HMD（optical see-through HMD）。

Video see-through加強現實系統實現方案的實現

3、Optical see-through系統

在上述兩個系統實現方案中，計算機輸入了兩個通道信息，一個是計算機產生的虛擬信息通道，另一個是攝像機的真實場景通道。

而在optical see-through HMD在實現方案中，去除后者。真實場景的圖像經過一定的減光處理后直接進入人眼，虛擬通道的信息經過投影反射后進入人眼，兩者通過光學合成。

4.三種系統結構的性能比較

三種AR顯示技術實現策略在性能上各有優缺點。

在基于monitor-based和video see-through顯示技術的AR在實現過程中，真實場景的圖像通過攝像機獲取，虛實圖像的組合和輸出在計算機中完成。

整個過程不可避免地會有一定的系統延遲，這是動態的AR虛實注冊錯誤的主要原因之一。

然而，由于用戶的視覺完全由計算機控制，該系統延遲可以通過計算機內部虛擬和真實通道的協調來補償。

而基于optical see-through顯示技術的AR在實現過程中，真實場景的視頻圖像傳輸是實時的，不受計算機控制，因此不可能通過控制視頻顯示率來補償系統延遲。

另外，基于monitor-based和video See-through顯示技術的AR在實現過程中，可以利用計算機分析輸入的視頻圖像，從真實場景的圖像信息中提取跟蹤信息(參考點或圖像特征)，輔助動態AR注冊過程中虛實場景。而基于optical see-through顯示技術的AR只有頭盔上的位置傳感器可以用來輔助虛實注冊。

上海西陸信息科技有限公司 承接各類微信小程序開發制作、小程序定制、APP 網站 開發制作，聯系電話 18221533805、15900430334