時間:2023-12-26 10:29:09
導言:作為寫作愛好者,不可錯過為您精心挑選的10篇視覺算法培訓,它們將為您的寫作提供全新的視角,我們衷心期待您的閱讀,并希望這些內容能為您提供靈感和參考。
0 引言
隨著車流量的增加,大量交通信號設施等因素使駕駛員的視覺環境變得更加復雜。在這種復雜的駕駛環境中,會嚴重影響駕駛員的視覺,易于發生交通事故。因此,駕駛員需集中駕駛保持對交通環境的認知以及理解處理后的視覺信息。擁堵的車輛和行人形成一個高度復雜的交通環境,為了行車安全,需要提供更多的視覺處理信息。
1、駕駛行為的視覺特性研究
視覺在“人-車-路”系統中起著關鍵性作用并在很大程度上影響著駕駛員的決定。對駕駛行為進行分析及基于實時視覺分析被稱為EAP系統進行研究。此系統針對駕駛員行為進行分析并收集同步實用的可嵌入信息,如眼動方向、軌跡跟蹤等。
在此框架中,提出了一個便于分析聚焦面積的司機駕駛情況,憑借區域和興趣進行自動檢測的新方法。目的是跟蹤工作自動存儲的視頻區域(ROI)。這里主要研究基于一個最新研發實時可視化分析工具叫Eye Access Pilot(EAP)系統。這是一種新一代眼動跟蹤分析且不受駕駛員干擾的EAP視覺系統。它是基于圖像處理和數值算法的實時系統,目的是來確定駕駛員眼角度。為了設計一個能顯示駕駛員行為的預測模型,眼動與駕駛員的行為相關性非常重要,能夠實現對駕駛員準確變更車道。EAP視覺系統使用圖像處理技術,尤其是應用數值算法來確定在多種實際駕駛條件下的駕駛員眼睛方位。
用于單眼視覺場景自動感興趣區域跟蹤已付諸實施。采用固定在駕駛艙的模型具有一定的穩定型,這些模式并不干擾駕駛員行為。應用更具識別能力的模式以增強精確度的研究正在研究中。通過相關和定性不同駕駛員視覺行為的研究,結果通過EAP視覺系統獲得 ,尤其是自動ROI跟蹤,可量化參數如軌道與視知覺,被認為是認知模型的主要輸入。
2、視覺-眼動系統在交通方面的應用
2.1 使交通信息傳遞更準確
一些學者測量了交通標志在不同速度下的可視性和駕駛員的識別能力,還有人則測試了交通標志的燈光亮度對用戶和駕駛員反應時間的影響。目前對交通標志的研究大多還局限在對標志外觀尺寸、顏色搭配及設施結構等方面,較少有從駕駛員在駕駛過程中自身特征如眼部運動特征的角度來研究。因此我們注重從駕駛員的角度出發,研究駕駛員在行車過程中的眼部運動特征和視認特性以及兩者間的聯系,完善交通標志的設計設置,更好地發揮交通標志的作用。
2.2 修正道路口通行能力
目前通常以飽和度法計算交叉口的通行能力,涉及到的飽和流率模型將道路要素,交通要素,周邊要素作為其主要影響因素,而忽視了駕駛員因素的影響。事實上,交叉通流率處于不同水平時,駕駛員的視覺特性也會發生變化,當交叉通流率增大時,駕駛員的視覺特性由穩定變為不穩定。應用駕駛員在交叉口不同交通流率水平下的視覺-眼動特性參數,對飽和流率模能力而不是交叉口本身特性所決定的最大通行能力。只有交叉口的設計考慮了駕駛員因素找出趨于駕駛員行車安全的最大通行能力,設計方案的實施效果才能真正得到改善。
3、結語
當前視覺-眼動系統在交通方面的研究還主要是使用國外的儀器設備。隨著眼動儀智能化的進一步發展,硬件的小型化、低成本,眼動在交通方面的應用研究將會越來越廣泛,眼動研究與對駕駛員的研究結合將會更為緊密。根據駕駛員的視覺特性,在今后的駕駛培訓工作中應該重視駕駛人在視覺方面的特性,對目前的駕駛培訓工作加以改進,提高駕駛人視覺信息獲取能力,從而減少駕駛人發生交通事故的可能性,減少交通安全隱患,提高交通安全。
參考文獻:
[1]鄧鑄.眼動心理學的理論技術及應用研究[J].南京師大學報,社會科學版,2005,1
[2]馬勇,郭應時.基于眼動分析的汽車駕駛員視覺搜索模式研究[D].長安大學:交通運輸規劃與管理,2006,5
中圖分類號: TN27?34; TM417 文獻標識碼: A 文章編號: 1004?373X(2017)01?0140?05
Abstract: The virtual reality technology developed rapidly, and has been widely used in many fields, but the traditional CAVE system is difficult to promote and popularize due to the large floor space, high cost and difficult installation and adjustment, therefore, the research and development of the portable CAVE system has great significance to the popularization and development of the virtual reality technology. According to the features of the portable CAVE system, the visual optical system was designed, the distortion correction of the projected image and random dot stereogram generation algorithm are studied, and the close range stereoscopic display system based on visual optical system adjustment was built. The subjective evaluation experiment of the visual comfort degree was designed and implemented to explore the relationship between the visual fatigue degree and parallax caused by the close range display. The visual comfort degree of the stereoscopic display system based on visual optical system was assessed. This technology provides a reference foundation for the study of the portable CAVE system, and has a certain practical significance to the development of the virtual reality technology and the study of the stereoscopic visual comfort degree.
Keywords: virtual reality; binocular disparity; close range display; visual comfort degree
0 引 言
近年恚虛擬現實技術發展迅速,已經被廣泛應用于軍事訓練、醫學實習、娛樂游戲等諸多領域。傳統的虛擬現實顯示系統雖然技術成熟,但存在一些弊端,因此便攜式CAVE系統的概念應運而生。本文搭建了近距立體顯示原型系統,通過主觀實驗,探究了便攜式CAVE系統中雙目視差的感知深度和單眼聚焦感知深度的差異,以及用戶可接受的視覺舒適范圍,對基于目視光學系統調節的立體顯示系統的視覺舒適度進行評估。
1 立體視覺舒適度的評估方法
1.1 刺激方法的選擇
為了避免視差的時間積累效應,實驗采用雙刺激連續分級法。為控制實驗過程中產生的習慣誤差,不同視差的立體圖按照隨機序列交替呈現,且各視差出現的次數相等,整個序列中在前在后的機會相等。
實驗的具體刺激方法是:將波紋中心在零視差處的刺激物記為基準圖波紋中心在其他位置的刺激物記為待評估圖每次施測依次顯示三個刺激物,其順序為或者其目的是強迫用戶改變雙眼的輻輳角度。每個刺激物顯示1.5 s,三個刺激物共顯示4.5 s,不同視差的待評估圖像隨機出現。被試者要獨立地進行觀測,選出其中一個與其他兩個波動方向不同的刺激物,并對該過程的視覺舒適度進行主觀評分。同一組圖像需隨機顯示兩次以便對評分結果進行一致性檢查。
1.2 反應指標的選擇
反應指標的選擇應依據以下原則:
(1) 無害性。所選取的反應指標不應對被試者產生身體傷害,同時不能對被試者產生負面心理影響,阻礙實驗的繼續進行。
(2) 無干擾性。所選取的反應指標在測量過程中不能干擾被試者正常觀看圖像。
(3) 敏感性。所選反應指標應該能夠有效地反應出視覺舒適度和視覺疲勞程度。
根據分析,實驗主要采用主觀評估方法對視覺舒適度進行研究。主觀評價方法更適用于對視覺舒適度進行綜合評價。舒適度的主觀評價方法[1]主要是讓被試者在觀看立體圖像前后根據自身的視覺狀況填寫問卷,并對問卷的結果進行統計分析。
1.3 主觀量表設計方法
主觀量是指用戶對客觀刺激產生的主觀度量,又稱心理量[2]。在視覺實驗中,主觀評估方法需對被試者心理量進行測量。主觀實驗中的心理度量表主要包括:強迫選擇度量表、圖示度量表和數值度量表。
(1) 強迫選擇度量表。強迫選擇度量表是在主觀評估實驗時主試者提供一些對立相反的詞語讓被試者做出選擇。強迫選擇度量表可以避免被試者受到他人的影響,但可能會使被試者產生抵觸情緒,因為大多數人不愿意讓自己處于兩難選擇的境地。
(2) 圖示度量表。圖示度量表好比一個溫度計,通常用一條直線表示,直線兩端具有相反程度的詞語。這條直線可以是水平的,也可以是垂直的。實驗中被試者需在直線上做標記,實驗后主試者用標尺對標記進行度量,將它轉換成數字并進行統計。圖示度量表的數據統計工作較為復雜和繁瑣,本文實驗的數據量巨大,因此圖示度量表并不適用。
(3) 數值度量表。在數值度量表中,被試者根據事先定義的數字等級進行評定,一般為7級評分或5級評分。在視覺舒適度研究中,可設計度量表如下:非常舒適、舒適、一般、不舒適、非常不舒適。設定等級分值時可以考慮“非常不舒適”為-2分,“不舒適”為-1分,“一般”為0分,“舒適”為1分,“非常舒適”為2分;也可以考慮“非常不舒適”為1分,“不舒適”為2分,“一般”為3分,“舒適”為4分,“非常舒適”為5分。通常情況下不管哪種處理和分析得到的結果是等效的。
本文實驗為了使被試者容易理解,考慮一般人的思維模式,將數值度量表等級設計為:“非常舒適”為1分,“舒適”為2分,“一般”為3分,“不舒適”為4分,“極不舒適”為5分。舒適度量表如表1所示。
2 近距立體顯示實驗系統
2.1 目視光學系統
在便攜式CAVE系統中,需要利用目視光學系統調節用戶眼睛的調節距離,使人眼不再聚焦于屏幕上。本文實驗的目的是研究經過目視光學系統調節后的單眼調節距離和雙眼輻輳距離的差異對用戶視覺舒適度的影響。實驗中需通過改變目視光學系統的屈光度來改變被試者單眼的調節距離??紤]到人眼作為自然界的最高級光學接收系統,具有極強的自我適應和調節能力,因此,本系統選用單片式目鏡即可滿足基本的成像要求。
2.2 隨機點立體圖的生成
隨機點立體圖像對的生成算法如下:
設基面為視差面為
(1) 將基面沿縱方向均分成塊,左邊第一塊區域為原始區,其余各塊區域均為重復區域。重復間距為d必須小于瞳距。
(2) 在原始區內畫一個隨機點
(3) 令得到一新的點如果點在面內,則令如果點不在面內,則令然后在處畫出這個新點。
(4) 重復上述步驟(2)、步驟(3),直到圖面上布滿適當密度的隨機點為止。
2.3 投影圖像的畸變矯正
本系統應采用側投影的方式,在這種情況下投影圖像會產生畸變,應進行投影圖像的畸變矯正。進行投影圖像的畸變矯正的模型是將真實投影機的投影圖像變換為虛擬投影機的投影圖像,從而恢復原始圖像[5]。其基本過程是:根據透視變換原理,先計算出投影機圖像平面到投影平面的單映矩陣,再將投影機圖像平面上的所有像素點乘以這個單映矩陣后進行顯示,那么屏幕上獲得的圖像就是校正后的圖像。
3 近距立體顯示系統的舒適度評估實驗
3.1 實驗目的及原理
本實驗的主要目的是研究基于目視光學系統調節的近距立體顯示系統中單眼感知深度(調節距離)和雙眼感知深度(輻輳距離)[5]的差異對用戶視覺舒適度的影響。
由式(8)可知,當眼睛到屏幕的距離和瞳距一定時,通過改變立體圖像對的水平視差可以改變被試者的雙眼感知深度(輻輳距離)。
3.2 被試者篩選及培訓
篩選工具:數字化立體視覺檢查圖(立體視覺檢查卡、立體視銳度檢查卡)、瞳距測量尺。
本實驗被試者的篩選流程如下:
第一步:詢問被試者眼部的健康狀況、有無色盲、是否做過眼部手術、是否有眼部病史,如結膜炎、眼眶骨折等,篩選出眼睛健康且無病史的被試者。
第二步:進行立體視覺測試,檢查被試者的雙目立體視覺是否正常,排除立體盲。
第三步:對立體視覺正常的被試者進行立體視銳度測試,篩選出立體視銳度小于60 arcmin的被試者。
第四步:對被試者的年齡、性別、視力、瞳距、有無主觀實驗經驗、是否從事立體視覺相關工作等基本信息進行記錄[6]。
榱吮苊獗皇哉哂捎誆皇煜な笛榱鞒毯筒僮鞴程而影響實驗結果的準確性,實驗前需對被試者進行相關培訓和模擬練習。
首先,采用無偏向性的語氣向被試者講解實驗目的、評價類型、評價等級和時間限制等內容,使被試者正確透徹地理解評判標準,并向被試者展示舒適度明顯不同的若干立體圖像示例。
然后,讓被試者進行模擬練習,模擬練習的內容與正式的實驗過程類似。被試者連續觀看三組立體圖像后,用選擇器輸入差異圖像的編號并對該組立體圖像引起的視疲勞程度進行評分,練習時間為3 min。
培訓完成后,被試者即可進行正式的主觀視覺舒適度評價實驗。
3.3 實驗過程
實驗1:探究近距顯示引起的視覺疲勞與視差的關系
被試者佩戴屈光度為0的目視光學系統,在距離屏幕0.6 m的位置觀察隨機出現的立體圖像,并進行視覺任務測試和主觀舒適度評分。實驗1設定刺激物的中心到被試者的距離(輻輳距離)分別為0.79 m,0.94 m,1.15 m,1.50 m,2.14 m,3.75 m,且隨機出現。調節距離為0.6 m。
實驗1共進行36組小測試。每組測試會連續出現3幅立體圖像,被試者雙眼融像[7]后,可看到立體圖像出現正弦波紋的效果,被試者需選出一個與其他兩個正弦波動方向不同的立體圖像,利用選擇器將它的編號輸入到主機系統中。然后對該組小測試產生的視覺疲勞癥狀進行主觀評分。
時間安排及流程:三種位置(1,2,3)×6種輻輳距離(0.79 m,0.94 m,1.15 m,1.50 m,2.14 m,3.75 m)×2種顯示序列(B?Xi?B或Xi?B?Xi)=36次施測,每次施測時間為1 min×36次=36 min。
實驗2:探究基于目視光學系統調節的立體視覺舒適度
被試者隨機佩戴屈光度分別為的目視光學系統,在距離屏幕0.6 m的位置依次進行3個亞組的實驗,實驗2中設定刺激物的中心到被試者的距離(輻輳距離)分別為0.79 m,0.94 m,1.15 m,1.50 m,2.14 m,且隨機出現。人眼的調節距離分別為1.09 m,1.50 m,2.40 m。
實驗2中每個亞組各進行30組小測試。每組測試會連續出現3幅立體圖像,被試者雙眼融像后,可以看到立體圖像出現正弦波紋的效果,被試者需選出一個與其他兩個正弦波動方向不同的立體圖像,利用選擇器將它的編號輸入主機中,然后對該組小測試產生的視覺疲勞癥狀進行主觀評分。
時間安排及流程:3種透鏡度數×3種位置(1,2,3)×5種輻輳距離(0.79 m,0.94 m,1.15 m,1.50 m,2.14 m)×2種顯示序列(B?Xi?B或Xi?B?Xi)=90次施測,每次施測調節時間為1 min×90+15 min間隔休息×2=120 min。
3.4 實驗結果分析
(1) 近距顯示引起的視覺疲勞與視差絕對值[8]呈正相關
將實驗1中24個被試者的舒適度主觀評分根據不同的輻輳距離進行均值統計。當視差取絕對值時,視差絕對值和視覺舒適度主觀評分值經過線性擬合后得到兩者的關系模型為:
視差絕對值和視覺舒適度主觀評分值的線性相關度為具體見圖2。實驗結果表明,視覺舒適度的主觀評分與視差值呈線性關系,也就是說,對于近距立體顯示單眼聚焦和雙眼輻輳的不一致性所引起的視覺疲勞與立體視差值成正比關系。單眼聚焦和雙眼輻輳的差異越大,產生的視疲勞程度越大,這個結果與大部分研究結果相一致。
(2) 主觀舒適度與理論值的符合度基本一致
將實驗2中24個被試者的視覺舒適度主觀評分根據不同的輻輳距離和調節距離進行均值統計,并將每個亞組的理論舒適度和實驗獲得的主觀舒適度進行比較。
目視光學系統的屈光度為0.75D,1.00D,1.25D的實驗結果,如圖3~圖5所示。
實驗結果表明,當調節距離一定時,分別為1.09 m,1.5 m,2.4 m,由輻輳距離的改變引起的視疲勞癥狀與理論計算得到的結果在總趨勢上大體一致。在基于目視光學系統調節的立體顯示系統中,輻輳距離越小,符合度越好。在相同視差條件下,經過目視光學系統調節后產生更大的不適感。
(3) 視差舒適度曲線
將實驗2中三個亞組的所有情況的視差值與主觀舒適度評分進行綜合統計,繪制舒適度曲線如圖6所示。
實驗結果表明,基于目視光學系統調節的立體顯示系統中,視差絕對值越小,視覺舒適度越高。在同等視差條件下,非交叉視差的舒適度優于交叉視差。與傳統立體顯示設備相比,舒適視域向非交叉視差方向偏移。
4 結 論
本文在充分了解雙目立體視覺原理、視差型立體顯示技術原理、立體顯示引起視覺疲勞的根本原因等理論知識的基礎上,搭建近距虛擬現實顯示系統原型作為實驗系統,設計實驗研究了基于目視光學系統調節的立體顯示系統的視覺舒適度問題。對虛擬現實技術的發展和立體視覺舒適度的研究具有一定的實際意義。
參考文獻
[1] 張英靜,李素梅,衛津津,等.立體圖像質量的主觀評價方案[J].光子學報,2012,41(5):602?607.
[2] KIM D, CHOI S, SOHN K. Visual comfort enhancement for stereoscopic video based on binocular fusion characteristics [J]. IEEE transactions on circuits and systems for video technology, 2013, 23(3): 482?487.
[3] 王飛,王晨升,劉曉杰.立體顯示技術的原理、體視因素和術語[J].工程圖學學報,2010(5):69?73.
[4] 李志永.立體視覺基礎[J].現代電影技術,2011(1):52?55.
[5] 顧郁蓮,蔡宣平.計算機立體視圖繪制技術[J].國防科技參考,1998,19(1):63?70.
1引言
增強現實技術AR(Augmented Reality)是在虛擬現實VR技術(Virtual Reality)的基礎上發展起來的典型的交叉學科,具有十分廣泛的研究和應用范圍,涉及到諸多技術領域,如計算機圖形和圖像處理、人機界面交互設計、移動計算、計算機網絡技術、信號處理技術、以及新型顯示器和傳感器的設計等。
與傳統虛擬現實技術所要達到的完全沉浸的效果不同,AR將計算機生成的虛擬影像實時準確地疊加在實景對象上,從而允許用戶使用實景對象與虛擬的影像進行實時無縫交互。AR技術需具有3方面的特點:(1)真實與虛擬圖像的結合,(2)實時互動,(3)根據實景物理對象對虛擬影像進行定位。由于增強現實具有將真實場景同虛擬物體加以融合并實現實時交互的特性,能夠增強用戶對現實環境的理解和認知。
本文首先討論增強現實系統的總體架構,在此基礎上著重論述增強顯示的關鍵技術,即:顯示技術、跟蹤注冊技術、相關方法及其各自的特性,在本文的最后,對增強現實應用和未來趨勢概要地作出總結。
2增加現實系統架構
增強現實的整體系統通常由場景采集、跟蹤注冊、虛擬場景發生器、虛實合成、顯示系統和人機交互界面等多個子系統構成,如圖1所示。
增強現實系統中,通過處理現實實景的圖像建立起實景空間,根據跟蹤注冊技術確定攝像機的姿態以及虛擬圖像的空間定位,虛擬圖像與實景圖像通過配準排列,合成未虛實融合的增強現實環境,這個環境再輸入到顯示系統呈現給用戶,最后用戶通過交互設備與場景環境進行互動。其中,讓虛實準確結合的注冊步驟非常關鍵,和最后的顯示輸出端一起,決定了用戶對增強現實環境的最終感知效果,
3增強現實系統的顯示技術
增強現實系統的能夠利用融合計算機視覺、顯示技術、多傳感器等技術對真實場景進行擴展和增強,根據Eitoku提出的標準,AR的顯示裝置的設計應該有4個準則:(1)虛擬信息與現實世界共存;(2)支持協同工作;(3)不給用戶增加特殊儀器的負擔用戶;(4)支持顯示自然的三維圖像。主要集中在3種類型:透視式的頭部佩戴顯示器,基于投影顯示器和手持式顯示器。
3.1頭部配戴顯示設備
透視式HMDS通過光學或視頻技術,使用戶看到將虛擬物體與現實實景融合后的場景。這類顯示器又可分為光學透視OST(Optical See Through)和視頻透視VST(Video See Through)的HMD。
用戶通過OST HMD可以直接看到現實實景與虛擬信息疊加融合后的場景。例如Google正式的眼鏡項目“Google Glass”,這款眼鏡集智能手機、GPS、相機于一身,所有的信息都能即時展現在眼前,比以往的設計頭盔式顯示器更小更薄的頭部佩戴裝置。
OST HMD對真實環境幾-乎無損顯示。用戶獲得的信息比較可靠全面,對真實環境與虛擬圖像融合匹配的精確度要求較高。首先由攝像機攝取實景圖像,然后將生成的信息或虛擬影像圖像疊加在攝像機視頻上,通過顯示系統呈現給用戶。VST HMD的優點在于較好地處理諸如被遮擋場景、色彩強度等問題,以保持真實場景與虛擬圖像的一致性。
3.2投影顯示設備
基于投影技術的顯示,不需要用戶佩戴設備,對用戶的體驗保持最低限度的侵擾。現有多種投影顯示技術,將圖像信息直接投射到真實物體的表面,通常是在固定的物體的表面。投影設備同時能夠將圖像投影到更大范圍的環境中。
投影顯示設備更加適合室內增強現實環境,生成圖像的焦點不隨用戶視角的改變而改變。投影顯示設備與固定的跟蹤定位設備相配合,將虛擬物體投影到真實世界中的相應位置。例如大眾研究集團與大眾服務學院聯合開發的投影式增強現實系統,可用于新車型的開發與技術創新的培訓。
3.3手持顯示設備(Hand Held Device)
手持設備的增強現實應用不需要額外的設備和應用程序的能力,對用戶體驗沒有侵擾,易于攜帶和高度移動自由度等優點,廣泛為社會所接受,因此經常被用于在廣告,教育和培訓吸引用戶注意的重要設備。
Layer App是典型的智能手機上的增強現實應用程序之一。用戶在指定的位置,使用手機內置羅盤以確定鏡頭所指的方向,在手機顯示屏上即可顯示出場景中的細節信息,當用戶平移其設備的攝像頭左右,屏幕上會填充不同的景點信息,包括快速通道的可用性,景點的描述等等。
4增強現實系統的跟蹤注冊技術
跟蹤是指跟蹤3D空間中的一點或幾點的3D坐標與6DOF的姿態信息,注冊即是虛擬物體和真實場景在三維空間中位置的一致性,即在空間上的整合,跟蹤注冊是一個持續的動態過程。跟蹤注冊是增強現實系統中的緊密相關的關鍵技術。目前廣泛應用的注冊跟蹤技術可以分為3類:基于傳感器的注冊跟蹤技術、基于視覺的跟蹤注冊技術、和基于傳感器與實際的混合跟蹤注冊技術。
4.1基于傳感器的跟蹤注冊
基于傳感器的跟蹤注冊技術,首先記錄實際場景中用戶的方向和位置,在便保持虛擬空間和真實空間連續性的基礎上,實現虛擬對象與實際場景的精確配準融合。常用的傳感器技術主要有:磁場(magnetic)跟蹤注冊、聲學(acoustic)跟蹤注冊、光學(ortic)跟蹤注冊、慣性(inertial)跟蹤注冊。
磁場跟蹤注冊系統,由控制器、磁場發射器和接收器組成,利用磁場相關的參數,從而確定用戶的位置和方位。例如徐彤等設計的六自由度電磁跟蹤系統。
聲學跟蹤注冊系統包括超聲波發射器、接收器、和處理單元。利用同一聲源到達不同地點或者不同聲源的超聲波到達同一地點的時間差、聲壓差等參數進行跟蹤注冊。超聲波跟蹤注冊系統成本低,抗電磁干擾能力強,但是非常容易受周圍環境的噪聲、溫度、濕度以及遮擋問題的影響。
光學跟蹤注冊系統使用感光設備,接受發光元件產生的光線,用以測量目標的方位。該類系統的精度高,不受噪聲和電磁場影響。主要缺點是易受視線和遮擋的影響,而且設備昂貴。
慣性跟蹤注冊系統使用慣性傳感器,獲取用戶或攝像機的運動方向和姿態,獲取攝像機的運動位置和速度。使用慣性跟蹤注冊技術存在著漂移和誤差累計,因此精度不高,必須與其他注冊跟蹤技術聯合使用,才能達到較高的精度。
基于傳感器的跟蹤注冊系統,可以記錄真實場景中用戶的方向和位置,在此基礎上保持虛擬空間和真實空間的連續性,實現精確配準與虛實圖像的融合。
4.2基于視覺(vision-Based)的跟蹤注冊
基于視覺的跟蹤注冊基于視覺跟蹤的跟蹤注冊則不需要使用傳感器設備,由于硬件成本相對低廉,而受到越來越多地關注。
基于視覺的跟蹤注冊過程為:首先根據攝像機攝入的圖像或視頻流進行處理,檢測圖像中目標物體的特征,并欲與預存的場景圖像的特征進行匹配。若匹配成功,通過圖像特征可以獲得攝像鏡頭的單應性矩陣,據此可以計算出攝像鏡頭相對于場景中物體的位置及姿態。跟蹤注冊主要是基于標識的跟蹤和無標識的跟蹤。
基于標識的跟蹤注冊技術,由于標識是人工放置,由此根據計算機視覺中的透視投影算法,即可獲取攝像機相對于標識的轉換矩陣,從而獲得注冊信息。目前基于標識的跟蹤注冊系統,已有ARToolKit,ARTag等。ARToolKit較為適用小規模的應用,而ARTag在處理較大規模的應用時則處理速度更快。基于標識的跟蹤注冊計算復雜度較低,具有較好的精確性,但同時也易受遮擋的影響。
無標識跟蹤注冊技術,又稱為基于自然特征點的注冊跟蹤技術,是直接利用場景中存在并且容易識別的實景物體的自然特征,提取識別的基準點。經典的算法有Ferns算法、SURF算法、和SIFT算法。在手持設備上運用時,由于真實的場景往往比較復雜無標識跟蹤注冊的計算量較大,實時性較差。
4.3混合跟蹤注冊技術
混合跟蹤注冊是指在同一增強現實系統中采用兩種以上的跟蹤注冊,以實現各種跟蹤注冊的優勢互補?;趥鞲衅鞯母欁约夹g跟蹤需要較為昂貴的硬件設備,易受外部環境變化的影響,但是實時性好,魯棒性高?;跇俗R的跟蹤注冊的主要性能特點是精度高,實時性較差。把這兩種注冊跟蹤技術相結合,則可以綜合各自的優點,彌補各自的缺點,使其成為一個魯棒性較強、實時性較好、精度較高并且受外界干擾較小的綜合跟蹤注冊系統。例如Azuma等在1998年提出的將GPS、視覺跟蹤注冊技術和慣性傳感器三種技術綜合戶外增強現實系統。
中圖分類號:G642
文獻標識碼:B
文章編號:1672-5913(2008)02-0095-05
1引言
隨著計算機網絡和虛擬現實技術的發展,現代遠程教育引發了一場深刻的教育模式和教育觀念的變革。傳統的文字、幻燈、實物模型的教學方式已不能滿足教育變革的要求,如何把枯燥的學習對象構造成三維可視化的、所見即所得的學習教具和學習培訓環境,成了教育信息領域努力追求的目標之一。
本文開發的遠程交互式三維仿真課件編輯平臺是在對OSG(Open Scene Graph)進行功能擴展與大幅度改造后的一個易于快速定做仿真課件的平臺。該平臺將三維仿真設計、實時渲染瀏覽和遠程網絡壓縮等功能融為一體,使用戶可以針對教學重點、難點,方便快捷地制作出三維仿真教具和實物模型,用于形象教學和交互式趣味教學。
該平臺通過標準化設計把一些知名的開源軟件和引擎融為一體,如Open Scene Graph(OSG)、Open Dynamics Engine(ODE)、Character Animation Library(CAL3D)、OpenGL等。通過對這些底層模塊進行隱藏封裝、模塊整合等技術開發,繼承與發展了各類引擎所具有的先進特性。不但仿真效果的真實性大大提高,而且能直接處理大量模型數據,使高質量的三維畫面在遠程交互中能快速傳輸,為廣大師生展現了全方位的、真實的學習對象和學習環境。
2總體功能結構
遠程交互式三維仿真課件編輯平臺由3dsmax建模及輸出模塊、場景編輯器模塊、仿真數據庫管理模塊、仿真算法模塊、VR仿真內容系統模塊、流體動力學粒子系統仿真模塊、網絡仿真及通訊模塊、多通道視覺仿真模塊、各類仿真特效模塊、OCX控件二次開發包模塊等功能模塊組成,如圖1所示。
2.13dsmax建模及輸出模塊
在仿真項目的制作過程中,明確需求并確定計劃后,首先要面對的工作就是仿真場景的構建。該模塊支持對Multigen openflight等多種文件格式的導入,且能對輸入的場景自動優化。用戶不但可以在場景中建立新的幾何物體,而且能創建自己的實時圖庫,可以隨時入庫和調用。此外,模塊還支持MAX的視圖操作功能,用戶可對模型進行平移、旋轉、縮放等操作,建模模塊如圖2所示。
仿真項目的場景構建完畢后,可以通過這個模塊向原來內容相對比較單一的幾何體賦予仿真需要的各種屬性,諸如LOD、switch節點、碰撞、物理屬性等。此外用戶還可以對各節點進行增加、刪除、重命名等操作,或者改變節點的Group關系。同時該模塊提供對形體、光源和相機的直接操作,以及真實感屬性的編輯,極大地提高了虛擬世界的真實度。如圖3所示。
2.3仿真核心工作模塊
這個模塊是仿真系統的工作核心,主要處理一些內核的仿真任務的調度,各個任務之間的結構是基于事件驅動的結構關系。模塊初始化時會建立一個動態的事件列表,并按時間的先后順序確定任務的優先級。當某個事件被觸發時,核心工作模塊就會通過消息機制激活所有的與該事件相關的過程或函數,協調各仿真模塊共同工作。它主要調度以下幾個模塊:
Ø 仿真數據庫管理模塊
數據庫是與仿真緊密聯系的一個部分,很多仿真數據的讀入及保存都必須通過數據庫進行。該模塊在內核中保留了最基本但功能又非常強大的數據庫處理能力,通過這個模塊,可以處理海量的數據。當數據量大而導致內存不夠時,這個模塊會通過一套內置的虛擬內存系統將硬盤與物理內存進行動態交換,并且對大型場景進行動態加載。
該模塊的另一作用是將各種插件式開發的.dll功能增強模塊作為一個數據庫進行動態管理。這樣如果用戶或者軟件研發者需要增加額外的系統功能,只需要編寫一個.dll插件,再在這個數據庫系統中進行一次注冊,然后就會在下次系統啟動時自動加載。
Ø 仿真算法模塊
無論在數值仿真或者視覺仿真領域,都會面臨著許多的仿真算法。這個模塊提供了一些仿真領域中最常見或者使用頻率最高的算法。用戶不用重復編寫常用算法,只需要調用幾個現成的函數就能解決常見問題。
Ø 流體動力學粒子系統仿真模塊
在軍事或者其他常見領域的仿真中,粒子系統是種常見的現象,如輪船開動時的尾跡、飛機航行時的尾跡與煙霧等。在粒子系統仿真模塊中,大量的粒子圖元集合在一起,通過其屬性的變化表現物體的物理特性,用以進行不規則物體的模擬。用戶可以通過定義粒子的形狀、大小、生存期、位置、速度、加速度、顏色、透明度等屬性來實現對各種煙霧、火焰、閃光等現象的模擬。如圖4所示。
Ø 各類仿真特效模塊
在自然界中存在著很多的自然現象,如下雨、下雪、水面的反射、有陽光或者燈光時的鏡頭光暈等等各種效果。該模塊支持以上提到的各種特效,令仿真的效果栩栩如生。如圖5所示。
Ø 網絡仿真及網絡通訊模塊
該模塊支持內部網與互聯網方式演示。當互聯網因帶寬受限以及客戶機配置未能達到基本要求時,可采用降低圖形質量的方法進行傳輸。內部教學網絡則可以不受限制,便于集中培訓教學與虛擬實踐。該模塊還設置了分級權限使用,給不同身份的用戶授予不同的權限,便于系統管理。
Ø 多通道視覺仿真模塊
在一般的視景仿真系統中,通常采用單視覺通道來顯示三維圖形。單視覺通道只能顯示一個視野,而利用多通道視覺仿真系統就可以得到更廣闊的視角效果,增強了“沉浸”感。
該模塊提供了獲取當前視角的函數,且支持水平和垂直視角自動匹配的功能。在視點位置、方向以及遠近裁剪面的距離確定后,系統還可自動完成視景體的裁剪。
2.4VR仿真內容系統模塊
該模塊可將仿真課件成獨立的exe文件,且所有必需的庫文件與資源均打包在內,用戶可自行設計圖形界面,便于分發與保密。打包后的可執行文件在運行時支持用戶的交互式瀏覽,用戶可以根據需要選擇自動播放或單步操作,方便教學與虛擬裝配。
2.5OCX控件二次開發包模塊
交互式三維仿真課件的開發一直被認為是一項復雜的工作,因為涉及到C語言、OpenGL、Direct3D等基礎開發工具的應用,這無疑降低了開發效率,延長了開發周期。因此這一模塊引入了與各類開發平臺掛接和無縫植入的快速虛擬現實開發工具3DVR OCX,通過此可編程控件OCX,用戶可以輕松做出實用的仿真課件,極大地提高了開發工作的效率。如圖6所示。
3關鍵技術研究
3.1場景圖
內核采用場景圖SG(Scene Graph)結構,通過場景圖把各場景及其屬性組織成一棵場景樹。場景圖中的根結點表的是整個三維場景,子結點表示場景中每個對象的位置信息、動畫設置以及邏輯關系等屬性,葉子結點則代表物理對象本身、可拉伸的幾何模型和材質屬性。
采用這種樹狀組織結構可以大大縮減剔除的執行時間。當父結點對象被遮擋或處于觀察區域以外時,父結點就被設置為不可見,位于父結點以下的所有子結點對象也都是不可見的,這樣就無需再比較子結點對象的空間邊界,避免了重復執行對多個對象物體的剔除處理,從而加快了場景渲染的速度。例如,要剔除一座大樓時,只需計算這座大樓的空間邊界是否在觀察區域內,而大樓的門、窗等對象因為屬于大樓對象的子結點,就無需再判斷其空間邊界,從而縮短了剔除的執行時間。
此外,場景圖結構還使得動畫設置變得更加靈活。當我們要對一輛汽車設置平移動畫時,只需對汽車這個結點設置移動的相關參數,處于子結點位置的車輪、車門等對象就無需再進行重復設置。如果用戶只要求車輪做旋轉動畫或者車門做開門動畫時,只要查找到對應結點,設置動畫參數即可。由此可見,對于一個包含有多個對象的三維場景,這種樹狀結構有效地簡化了動畫設置的操作過程。
場景圖結構中還集中了對各個對象的狀態管理。場景圖中的每個對象都有一個指向狀態集的指針,這個狀態集中包含了顏色、紋理、燈光、透明度等信息。對處在同一層的對象,首先歸納出它們的相似狀態,并設置狀態指針指向同一個狀態集。例如,圖7中坦克的炮塔和基座同處在場景圖的第二層,所以狀態都設置為迷彩色。這種狀態管理方式可以簡化狀態設置的過程。當對象狀態發生改變時,我們只需先按照廣度優先的順序遍歷場景樹,查找到對象后,將狀態集中的屬性進行一次更改,則同層的所有對象狀態都會發生改變。當場景中的圖形對象達到成百上千時,這種狀態管理方式的優勢就會更加明顯。
3.2OpenGL著色語言
內置了對GLSL(OpenGL Shading Language,OpenGL著色語言)的支持,突破了OpenGL傳統渲染模型的固定功能性。用戶可以自定義渲染管線的處理過程,實現頂點著色和片斷著色,從而繪制出更豐富的紋理,模擬更真實的自然景象。同時該技術是直接對顯卡編程,源代碼在OpenGL內部編譯,不占用CPU資源,因此在處理三維圖形的實時渲染方面顯示了強大的優勢。
具體的實現過程是,當處理圖形渲染任務時,首先調用OpenGL的一個API函數glCreateShader來創建著色器(shader),同時在OpenGL的驅動程序中為著色器分配數據結構。著色器通過獲取當前OpenGL中的狀態信息(如位置、顏色、法線等)進行投影變換、坐標轉換、顏色計算等操作,然后調用glShaderSource命令將著色器代碼傳遞給OpenGL驅動程序,用glCompileShader命令將代碼編譯成機器語言,并以二進制文件的格式傳遞給顯示硬件。該方法不依賴顯示硬件的匯編語言接口,突破了圖形硬件在匯編語言接口上的諸多限制,有效地提高了圖形渲染的效率。
4實例研究
三維仿真課件可以模擬各種真實的空間和實體,能展現那些在傳統教學中無法實現的教學效果,如一些危險的或是耗資巨大的實驗。尤其在工科教學中,許多知識點抽象難懂,成為了教學中的難點。
目前使用遠程交互式三維仿真課件編輯平臺已經開發了很多直接面向應用的精品課件,使用該系統開發的“千斤頂的組裝與工作原理”課件在實際教學中已收到良好的效果,如圖8所示。該課件主要用于培訓千斤頂的組裝與拆卸,課件中所展示的千斤頂的各個零部件,都是與實際大小相符的三維模型,且零件表面按實物材質仿真,教師和學生可以旋轉任意視角觀看設備的外形、細節部分和整體外觀。課件中設置有整體或局部零件的工作動態演示,用戶可以選擇自動播放設備零部件拆分和組裝演示,也可以進行手動單步拆分與組裝。其中自動演示過程是可控的,用戶可隨時中止或重播動畫。這種交互方式不但增強了裝配過程的直觀性,也提高了學生的動手能力。為了加強學生對千斤頂工作原理的理解,課件中還增加了整體和局部零部件的工作動態演示,任何零部件只要用鼠標點擊,其應有的工作動態、工作原理和裝配方式就能自動展示出來,同時還配有零部件的詳細參數信息、文字說明與二維設計圖。
“千斤頂的組裝與工作原理”課件以其強大的交互功能、簡便直觀的操作方法以及實時的三維表現能力得到了廣大師生的一致贊同,也推動了三維仿真課件在教學一線的普及。
5結束語
遠程交互式三維仿真課件編輯平臺是針對教學重點、難點的培訓而開發的集三維仿真設計、實時功能渲染瀏覽和遠程網絡壓縮于一體的仿真系統設計開發包。
該設計平臺的成功開發將解決教育領域重點、難點課程的仿真教學課件的制作難題,完善了教育領域遠程教學平臺的建設,并節約教學培訓設備的巨大開銷。我們相信,在未來的教育領域中,遠程交互式三維仿真課件編輯平臺將為信息時代的教育發展注入新的活力。
收稿日期:2007-10
參考文獻
[1] 項慨. Java3D應用于現代遠程教育的關鍵技術[J]. 教育信息化,2006,(10).
[2] 劉少華. 虛擬仿真引擎及其在三維飛行再現中的應用[D]. 國防科技大學,2004,(12).
[3] 趙春霞,張艷,戰守義. 基于粒子系統方法的三維火焰模擬[J]. 計算機工程與應用,2004,(2).
[4] 陶唐飛,韓崇昭. 視景仿真系統光學視覺通道技術研究與實現[J]. 系統仿真學報,2004,(4).
作者簡介
中圖分類號:TP15文獻標識碼:A 文章編號:1009-3044(2011)17-4152-03
Three Dimensional Terrain Modeling Method with Creator Software Based on the ASTER Remote Sensing Data
TAO Hai-jun1, YANG Jing2, YE Xiao-jun1
(1.Artillery Academy.PLA, Hefei 230031, China; 2.Anhui Sanlian University, Hefei 230001, China)
Abstract: Large area real terrain modeling is the key technology in developing Visual simulation system. This paper provides a terrain modeling method with Creator software based on the ASTER remote sensing satellite data, the GeoTIFF data format provided by ASTER is being converted to the USGS DEM data by using format Conversion techniques, the terrain model of some region is established through Creator terrain modeling technology, the three-dimensional model of real terrain is established practically and quickly.
Key words: ASTER; GeoTIFF data; DEM data; format conversion; creator terrain modeling
視景仿真是三維地形建模技術、圖形處理和圖像生成技術、立體影像和信息合成技術、計算機網絡技術、仿真技術等諸多高新技術的綜合應用,在很多領域如軍事訓練、城市規劃、健康醫療、教育培訓等方面都有著廣泛的應用。大面積真實地形三維建模技術是實時視景仿真系統開發的關鍵技術之一,是近年來視景仿真領域研究的熱點。能獲取真實、準確地表述地形起伏特征的地形數據源是進行大面積真實地形三維建模的前提條件,地形數據源主要是指建立數字高程模型(Digital Elevation Model,DEM)用到的高程數據,獲取方法主要有以下幾種:1)采用大地測量的方法直接從地形上測出高程;2)利用航空攝影測量照片,采用數字高程判斷儀從兩張對應的照片上讀取高程;3)利用遙感衛星星載設備獲取地形高程數據;4)從小比例尺等高線地圖上讀取高程數據;5)從現有的地理信息系統提取所需區域的地形高程數據[1]。其中利用遙感地形數據源進行大面積地形三維建模是目前地形建模的主要方法之一,本文重點研究基于ASTER遙感數據的Creator三維地形建模過程、方法和技巧。
1 ASTER遙感地形數據源精度解析
ASTER(Advanced Spaceborne Thermal Emission and Reflection Radiometer)是美國航空航天局(NASA)與日本國際經貿商業部(METI)合作的高分辨率衛星成像設備,于1999年12月搭載NASA的EOS-AM1(Terra)平臺升空,目地是獲取地球表面溫度、輻射、反射和高程數據,研究生物圈、水圈、巖石圈和大氣層之間的互動反應,解決土地利用與覆蓋、自然災害(火山噴發、水災、森林火災、地震和風暴)、短期天氣變動、水文等方面的問題。ASTER有可見光和近紅外區(VNIR)三個波段,在短波紅外區(SWIR)有六個波段,在熱紅外區(TIR)有五個波段,它們的地面分辨率分別是15m、30m、90m。
2009年,美國航空航天局(NASA)官方網站提供了ASTER的最新全球遙感數據,該數據源采用的是GeoTIFF數據格式的DEM數據(簡稱ASTER GDEM),ASTER遙感數據記錄的地域非常廣闊,覆蓋范圍從北緯83度到南緯83度,除了部分極地區域,覆蓋絕大部分的地球區域。每個ASTER GDEM地形文件包含1度×1度的范圍,用一個3601×3601像素的TIFF圖片來記錄地形信息,采樣精度達到了30米,海拔精度為7-14米,基本滿足普通三維地形建模的數據精度要求[2]。
2 ASTER遙感數據格式轉換技術
ASTER遙感數據采用GeoTIFF(Geographic Tagged Image File Format)存儲格式,GeoTIFF是TIFF (Tag Image File Format)圖像文件格式的擴展。TIFF (Tag Image File Format)圖像文件是圖形圖像處理中常用的格式之一,其圖像格式復雜,但由于它對圖像信息的存放靈活多變,可以支持很多色彩系統,而且獨立于操作系統,因此得到了廣泛應用。在各種地理信息系統、攝影測量與遙感等應用中,要求圖像具有地理編碼信息,如圖像所在的坐標系、比例尺、圖像上點的坐標、經緯度、長度單位及角度單位等等。對于存儲和讀取這些信息,純TIFF格式的圖像文件很難做到,而GeoTIFF作為TIFF的一種擴展,在TIFF的基礎上定義了一些GeoTag(地理標簽),對各種坐標系統、橢球基準、投影信息等進行定義和存儲,使圖像數據和地理數據存儲在同一圖像文件中,這樣就為開發人員制作和使用帶有地理信息的圖像提供了方便途徑[3]。
目前可用于進行三維地形建模的開發軟件很多,比如3DS MAX、Auto CAD、Maya、MultiGen Creator等,使用的開發環境不同,所需要的數據源格式也不相同。筆者選用MultiGen-Paradigm公司開發的Creator軟件進行三維地形開發,使用該軟件建立模型,可以在滿足實時性的前提下,生成面向仿真的、逼真度高的大面積地形。然而ASTER GDEM格式的DEM地形數據文件不能直接在MultiGen Creator中使用,必須首先將ASTER GDEM格式的地形數據文件轉換成MultiGen Creator支持的USGS DEM(U.S.Geological Survey Digital Elevation Models)格式或者DTED格式,然后利用Creator地形格式轉換模塊生成MultiGen Creator專用的數字高程數據(Digital Elevation Data,DED)格式文件,上述格式轉換的過程是三維地形生成的重要環節,該轉換過程可用圖1所示的流程圖進行描述。
轉換步驟為:
1)應用Global Mapper軟件提取ASTER GDEM數據文件中的地形數據信息,其中每個采樣點用(經度,緯度、高程)表示,Global Mapper會完成數據二維可視化圖像和3D模型的顯示。如圖2所示繪制的是北緯37度、東經117度附近地域的ASTER GDEM格式的數字高程模型。
2)在File菜單下選取Export Raster and Elevation Data項,在二級子菜單中選擇Export DEM Command菜單項輸出USGS DEM數據格式或者選擇Export DTED command菜單項輸出DTED數據格式。
3)在Options屬性頁中設定經緯度方向的格網間距,在提取范圍屬性頁中設定地形數據的經緯度范圍,生成采樣點的經緯度高程信息。
4)打開Multigen Creator,借助Creator平臺的Terrain模塊的DED Builder 工具,將DEM格式文件生成Creator專用的高程數據格式文件(DED),如圖3所示將USGS DEM數據格式轉化為DED數據格式。
圖2 Global Mapper繪制的GDEM數字高程模型圖3USGS DEM數據格式轉換成DED格式
3 Creator三維地形生成技術
根據仿真任務的不同需求,應建立不同分辨率的三維地形,比如飛行仿真需要大范圍的地形,實時性要求高,但對地形細節要求不高,而基于地面的車輛駕駛和徒步行走的仿真,需要較高的分辨率,但是地形的使用范圍較小,開發人員需要結合其仿真任務需求靈活設置不同的參數。進行Creator三維地形的建模的關鍵內容是地形的LOD(層次細節)、投影方式、建模算法等參數的選取與設置。
3.1 層次細節模型參數設置
層次細節模型(Level of Details,LOD)技術的思想是在不影響畫面視覺效果的條件下,通過逐次簡化景物的表面細節來減少場景的幾何復雜度,其目的是提高繪制算法的效率,增加仿真的實時性。例如,若有許多可見面在屏幕上的投影小于一個像素,則完全可以合并這些可見面而對畫面的視覺效果沒有任何影響。該技術通常對每一原始多面體模型建立幾個不同逼近精度的幾何模型,與原模型相比,每個模型均保留了一定層次的細節。由于LOD算法要涉及到動態細分或規并三角網,所以運用LOD算法時,常采用規則網格進行地形建模。如圖4所示在Creator中設置LOD 為3層。
3.2 設置投影方式
Creator提供五種地圖投影方式:Flat Earth、Trapezoidal、Lambert Conic Conformal、UTM和Geocentric。Flat Earth在原點使用緯度,得到調整每個x值的單收斂因子,生成一個矩形的地形;Trapezoidal是一種方位角映射,在中心點最精確,離中心點越遠越扭曲;Lambert Conic Conformal使用兩條標準緯線,在北緯84°和南緯80°的中間最精確,距離兩極越近越扭曲;UTM使用旋轉90°的柱面圓柱投影,在經度上將地球分為六個區域,沿著中央子午線最精確,越遠離子午線越扭曲;Geocentric方式使用圓形地球映射,Z軸以地球中心為起點通過北極。我國地處中緯度地區,適合采用斜軸方位投影。選擇Trapezoidal地圖投影方式,較好地保持了地形的輪廓形狀和地理位置,使等變形線與制圖區域的輪廓基本一致,減少了變形,提高了精度。如圖5所示設置投影方式為Trapezoidal地圖投影方式。
3.3 建模算法
用Creator將數字高程數據轉換成地形時,可以選擇四種轉換算法,分別是Polymesh、Delaunay、CAT和TCT四種算法。
Polymesh轉換算法主要適用于BSP進行遮擋計算的實時系統?;舅枷胧牵ㄟ^在原數字高程數據文件中對高程信息進行有規律的采用,從而獲取地形多邊形頂點坐標,創建矩形網絡的地形數據庫。
Delaunay轉換算法是一種基于Delaunay三角網的地形生成算法,主要適用于使用Z-buffering進行遮擋計算的實時系統。與Polymesh算法相比,生成相同精度的系統模型,使用Delaunay算法的地形模型中包含的多邊形數量較少。使用Delaunay算法時,數字高程數據中的每個高程點都會被采樣,而且會從最低的LOD地形模型生成,較低LOD模型中的多邊形頂點會被合并到較高的LOD地形模型中,以保證LOD地形之間的平滑過度。
TCT(Terrain Culture Triangulation)轉換算法相當于一種限制性的Delaunay算法。當使用TCT算法生成的地形時只能有一個單獨的LOD,而且只能用于批處理地形轉換中。
CAT(Continuous Adaptive Terrain)轉換算法是一種改進型Delaunay轉換算法,該算法提高了相鄰LOD地形之間的平滑過渡,可以有效避免由Polymesh和Delaunay算法生成的多LOD地形模型轉換的視覺跳躍現象。
本文選擇Delaunay三角剖分算法,因為,與規則網格算法(Polymesh)相比,生成相同精度的地形模型,使用Delaunay轉換算法的地形數據庫中包含的多邊形數量較少。
3.4 紋理貼圖
根據地形模型的LOD數量,將每張圖片調整為相應數量和精度的分辨率,將它們加載到Creator的紋理調板,并定義為地形紋理,設置紋理圖片的紋理坐標和地圖投影方式。
紋理坐標必須對應于地形模型的面積范圍和坐標位置,地圖投影方式則必須和對應地形模型的設置一致。然后通過Terrain/Batch GeoPut菜單命令,為對應的LOD地塊模型映射紋理。
圖6 生成的不含紋理的三維模型 圖7 加入紋理映射后的三維模型
3.5 測試地形并進一步優化
整個三維地形生成完畢后,將其導入視景驅動環境下,在計算機仿真硬件平臺上,通過視點變換、其它仿真應用添加、網絡連接等多個綜合測試環節,觀察場景運行的實時性和逼真度。地形模型數據庫的生成是一個需要反復試驗的過程,需要反復地優化參數、完善模型,在實時性與逼真性之間進行平衡,合理設置轉換參數,最終達到最好的仿真效果[4]。
4 結論
本文采用我國東經117度~117.5度,北緯37度~37.5度地域的ASTER GDEM數據及其衛星遙感圖像作為原始數據和地表紋理圖像,地球橢球模型選擇美國的WGS-84地球橢球模型,地形轉換選用Delaunay地形算法,地形模型的LOD數目設為3,根據地形模型的LOD數量,將每張地表紋理圖片調整為256×256、128×128、64×64像素三種分辨率,映射到不同LOD分辨率的模型。最后生成的三維地形模型的范圍約為48×56km2,共259200個面,地形效果圖如圖7所示。通過仿真程序測試,利用ASTER遙感數據生成的大面積三維地形達到了精細度高、真實感強、實時性好的仿真要求。
參考文獻:
[1] 王貴林,姚鑫.ASTER立體像對提取山地DEM精度研究[J].礦山測量,2008(6):34-35.
[2] 程博,劉少峰,楊巍然.Terra衛星ASTER數據的特點與應用[J].華東地質學院學報,2003(3):15-16.
美國暢銷書作者、發明家雷.庫茲韋爾(Ray.Kurzweil)在《奇點臨近》一書中為人工智能的出現設定了三個條件:強大的計算能力、海量的知識儲備,最后還需要教會計算機擁有認知能力,通過機器學習技術讓計算機不斷的自行進化。
前兩者已經實現。第三點,如何讓機器擁有認知能力是AI極客們關注的重點。
機器學習是人工智能的核心。機器學習將教會計算機認識現實世界,知道自然界的日升日落、陰晴圓缺,并能理解人類的行為和語言。機器學習的常用領域包括數據挖掘、視覺理解、語音識別和自然語言處理等方面。我們采訪了數位科技公司高層、新銳創業者,他們有一個共同的身份―國內從事機器學習的應用和研發的專家。他們講述了中國人工智能發展的現狀,而一旦科技出現新突破,也預示著新一輪的商業變革。 先知
坐在記者對面,臉龐消瘦的陳運文笑得有些靦腆,言語卻充滿自信,“很多事情都是可以預測的”。
陳運文是國內大數據方面的專家,曾任百度核心技術研發工程師和盛大文學首席數據官?,F在他是個創業者,達觀數據創始人兼CEO。他為公司新入職的同事下發了一套題――如何預測泰坦尼克號上的幸存者。整套題通過獲取泰坦尼克號上所有乘客的真實信息,包括性別、年齡、職業、票價、艙位等,然后編寫程序來預測這2000余名乘員中哪些人最終得以生還。
在陳運文眼里,將所有信息加以綜合挖掘,就能夠推演出最終的答案―“705名生還者都可以準確預測?!?/p>
預測這樣的事件只是數據挖掘的一個案例,對于極客而言,只要給他們足夠的信息,這個世界就沒有意外和偶然。
現在,陳運文用自己的技術幫助企業進行商業決策。雖然只成立不到半年,但這個隱藏在張江天之驕子公寓里的創業公司已經獲得真格基金和盛大網絡創始人陳大年的投資。
陳運文將第一批客戶瞄準為自媒體人,通過數據分析,為自媒體提供可以引發熱議的話題,并告訴這些作者,什么人喜愛看他們的文章、會關注什么話題。
讓機器自己學會分析信息早就在商業行為中廣泛存在。在百度工作期間,陳運文負責搜索引擎的核心算法研究,主要“為用戶提供最有價值的信息”。 工作的難點不在于搜索信息,而在于讓機器認知用戶的搜索意圖。
用戶經常會在搜索框中輸入“口語詞匯或者模糊的語句”,服務器要從人們的搜索語句中判斷真正的需求。陳運文就需要設計算法讓搜索引擎理解用戶的語義,從數百億的網頁中迅速找到對用戶最有價值的結果。這種“算法”就屬于人工智能。百度每天的搜索有數十億次,每當陳運文改進了算法都能看到用戶點擊的滿意度在上升。
今天這種依靠數據挖掘技術來提高企業運作效率的方法變得更常見,業內將其稱為“商業智能”(Business Intelligence)技術。陳運文計劃將這種技術在云端運用,另一些同類公司則將這種技術直接運用在軟件上。2010年在美國納斯達克上市的Qlik公司就是商業智能軟件的代表企業。他們的QlikView軟件為用戶提供“可視化”的大數據服務。
“我們的軟件可以理解數據,挖掘數據并將其用更直觀的方式展現給客戶,以幫助管理層做出決策。” Qlik亞太區制造業和高科技市場開發總監Jeremy Sim對《財經天下》周刊表述。
這些帶有“預測”功能的軟件已經在服務并改變人們的生活,比如根據顧客的購買信息QlikView會提示便利店店長,售貨架上的麥片不應該和面包擺在一起,雖然它們都是早餐食品,但如果將麥片和酸奶擺在一起,銷售數字會更好看。此類預測還進一步提醒物流部門,盡量地在頭天晚上補足麥片和酸奶貨源。這類商業智能的應用滲入所有人的生活,以這家公司為例,他們已經在全球100多個國家招徠了3.8萬企業客戶,間接服務人群上千萬。
未來這些帶有“智力”的系統將會更多的出現在電商、醫療、教育、金融等領域?!氨热珉S著智能手環的增加,會有更多的健康數據被采集,那么我們會提供健康預警、治療方案推薦等服務?!标愡\文說?,F在只是大數據挖掘的初級階段,人工智能時代也才剛剛開啟。 視覺理解,打造機器之目
2014年6月,比爾?蓋茨訪華,除了見政商要員外,他還專門造訪了一家剛成立一年的創業公司―格靈深瞳。對于這家初創公司,比爾蓋茨留下了兩句后來被廣泛引用的評語“This is very cool”和“IT界的下一個大事件是計算機視覺(computer vision)與深度學習(deep learning) 的結合”。
格靈深瞳就是這樣一個結合了計算機視覺和深度學習為一身的酷公司。創始人趙勇是致力于視覺理解的知名極客,雖然他本人并不喜歡這個稱謂。
“極客(Geek)在英文里形容書呆子,只會做技術不通世事,但我覺得我是一個懂技術的正常人。”他對《財經天下》周刊說。
趙勇專攻計算機視覺和運算影像學,2009年入職谷歌總部研究院任資深研究員,是谷歌眼鏡項目的骨干。“我們團隊負責谷歌眼鏡的場景識別技術,利用谷歌街景來判斷使用者所處的位置?!焙唵蔚卣f就是將谷歌眼鏡捕獲的圖像和谷歌街景做比對,然后快速地定位用戶所處位置和周邊信息。谷歌眼鏡可以在500毫米之內將用戶的位置精確到米級別。趙勇說谷歌眼鏡并不是“進化的產品,而是從無到有的突破”。
2013年初,趙勇回國創業成立格靈深瞳,并在三個月后拿到真格基金和聯創策源的聯合天使投資,同年6月格靈深瞳又拿到紅杉資本 A 輪高達數千萬美元的投資。
業內傳播著投資人爭論其未來估值的段子,據說某次飯局上真格基金的徐小平、紅杉資本的沈南鵬和聯創策源的馮波討論格靈深瞳的未來估值,徐小平認為起碼5000億美元,而沈南鵬認為1000億美元,最后馮波折中地認為3000億美元。而現在中國電商巨頭阿里巴巴的市值還不到1900億美元。
受到比爾?蓋茨和投資人如此追捧的原因在于趙勇的研究方向―計算機視覺,這是機器學習中極為復雜的領域。
將趙勇和陳運一個對比就可以看出他們研究方向的不同。趙勇認為數據挖掘是讓計算機理解“結構化信息”,結構化指那些人工制作的成型的信息數據,例如一句話一段文字或者一份表格。但計算機視覺需要讓機器理解飄過鏡頭的一片樹葉,或者悄悄走過的一只貓。
陳運文對此也做了比較,他認為數據挖掘更多的是處理文本信息,而文字是具象的表達,機器看到漢字“貓”或者英文“cat”就可以理解這是一種動物,但圖片是抽象信息,給計算機看一張貓的圖片,讓它去理解貓的概念非常困難。
所以當2012年6月谷歌X實驗室宣布他們研發的“谷歌大腦”通過百萬張圖片的學習后可以識別“貓”的時候,全世界都為之震驚。這意味著谷歌培養的這個“孩子”具備視覺理解的能力可以“看圖說話”了。而參與“谷歌大腦”研發的吳恩達博士(Andrew Ng)也因為這個項目被譽為“谷歌大腦之父”,成為機器學習領域最權威的學者。
為了建造“谷歌大腦”,吳恩達使用了神經網絡系統,他們連接了1.6萬片處理器創造了一個擁有10億多條連接的神經網絡,并逐步地培訓這個系統,直到它擁有識圖的能力。
現在,趙勇做的事情與此類似。
他通過影像設備捕捉實時畫面,讓計算機識別這個真實世界,更為直接的說法或許是―趙勇正在研制“機器人之眼”。
像谷歌一樣,想讓計算機能識別圖像,趙勇也需要制作一個“深度神經網絡”系統。
在人腦中有大約1000億個神經元,神經元通過神經突出連接在一起就變成了一個神經網絡,人們思考問題的時候這些神經網絡相互激發,最終產生決策?,F在極客們用計算機來模擬這個過程,用計算程序建立起龐大的計算元素,這些程序運算的結果通過網絡互為交換互相影響,最終產生結果,這就是初級的人工神經網絡。人工神經網絡層級越多規模越大,其“聰明程度”就越高,學習的能力就越強。
要培養這樣一個會“識圖的孩子”,趙勇除了要建立這樣一套龐大的神經網絡之外,還需要不停訓練這個網絡。
“可以將神經網絡當成一個黑盒子,我在里面設定了一些基本參數,隨后不停的往里面輸入數據、圖片來訓練它,通過這種大量的訓練,黑盒子里面參數的連接會越來越緊密,整個網絡也會越來越聰明,最終變成一個可以識別圖片的智能系統?!?/p>
嚴格地說,人工智能不是人類設計出來的,而是人類訓練出來的。即便是趙勇這樣的創建者也無法知道這些神經網絡到底如何相互作用相互影響,并最終形成自己的智能系統。他能做的只是“選擇輸入數據,控制訓練方向”。
依舊以老師教育孩子做比喻,雖然趙勇這個老師不知道孩子是怎么理解圖片,識別這個世界的,但他可以控制教學的內容,讓這個孩子朝某個方面學習。
趙勇花費了兩年時間才為格靈深瞳培養出自己的“孩子”,并將這些有“識圖能力”的人工智能設備應用到安防監控和汽車識別方面。
去年格靈深瞳推出了名為“目”的行為分析儀,這是一個包含軟硬件于一體的智能監控產品?!澳俊睍崟r監控場景內的情況,發覺異常就立刻報警或者提醒工作人員注意。而在另一個名為“威目”的產品中,格靈深瞳做到了車輛識別,他們訓練系統辨識超過5000種車輛,這幾乎涵蓋了地球上所有的汽車類型。這種能力為警方辦案提供了幫助,警方可以用“以圖搜圖”的方式讓“威目”提供他們需要的視頻資料?!熬教峁┮粡埰囌掌?,威目在識別照片之后可以從交通錄像中找出該車的行動軌跡?!背酥?,該系統還可以搜索“結構化信息”,例如在系統中輸入2004年生產車牌中含有5這個數字的紅色奧迪A4汽車,“威目”就會在資料中截取相關的圖像或者視頻,而此前這些工作都需要人工完成。
如果計算機視覺技術以這樣的速度繼續,或許用不了幾年,當我們站在攝像頭前時,計算機會在屏幕上敲出那句讓人激動的言語―“I see you .” 造物者
“谷歌大腦之父”吳恩達在完成了“認貓”創舉兩年后離開了谷歌,加盟了百度,任職百度首席科學家并負責“百度大腦”的研發。
說服吳恩達做此決定的是他的好友,現任地平線機器人技術CEO的余凱。
余凱是國際知名的機器學習專家,他牽頭成立的百度深度學習研究院是國內第一個研究深度神經網絡的研究機構,加盟百度時被李彥宏稱為“鎮院之寶”。
“深度網絡學概起始于2006年,當時主要有5個機構從事這方面的研究,分別是多倫多大學、紐約大學、美國的NEC實驗室、斯坦福大學和蒙特利爾大學,而我當時在NEC實驗室工作?!庇鄤P說。有段時間他還在斯坦福大學執教《人工智能概論》。他領導的團隊在深度學習、圖像識別、文本挖掘、多媒體檢索、視頻監控,人機交互等機器學習領域都有建樹。
去年余凱離開百度,在中關村的創富大廈租賃辦公室成立地平線機器人技術。成立僅4個月,這家公司就迎來了首輪投資,投資方包括晨興資本、高瓴資本、紅杉資本、金沙江創投等多家機構。
比起商業上的追求,余凱更想用技術改變世界―為萬物裝上人工智能的大腦,讓它們變成擁有智能思維的機器人。
在余凱看來,他在百度的工作主要是在“云端”搭建人工智能深度神經網絡,其服務主要體現在“為用戶提供更智能的互聯網服務”,他希望通過人工智能技術應用到物理世界中,讓人們的生活變得更方便和簡單。“現在很多電器都采用軟件結合互聯網操控,我希望未來都可以實現本地人工智能操控。”
他準備讓汽車、空調、冰箱、微波爐等上千種產品或設備都具有從感知到決策的能力。比如用戶進入房間時空調就可以感知人的位置和體溫自動開機送風,并追隨人的移動而改變送風方向;冰箱則會讀取存儲食物的信息,及時提醒用戶食用或補充。
余凱利用深度神經網絡算法來搭建他的人工智能框架。他將這種人工智能系統描述成“類似于安卓的智能硬件的大腦平臺”,這個系統可以安裝在不同的產品中。
他“改造萬物”的計劃先從家居產品和汽車兩個方面著手。地平線機器人技術研發了針對這兩個行業的人工智能操作系統。家居方面的基于深度神經網絡的操作系統名為“安徒生”,汽車的則稱為“雨果”。
現在 “安徒生”已經入駐家電產品,在剛剛過去的上海家博會展上,地平線機器人和某國內知名家電廠商合作的兩款智能產品面世參展?!艾F在業界最大的智能家居廠商都是我們的客戶,我們向他們提供算法操作系統,并告訴他們如何配置硬件設備,就像安卓向手機廠商提供參考設計一樣。”
下一步余凱準備讓“雨果”進入汽車自動駕駛領域,在安裝了傳感器、處理器和雨果大腦平臺后,汽車可以成為提供無人駕駛或智能駕駛的新型交通工具。
“定義萬物智能的大腦,這還要花很長時間,但是我覺得一步一步往那邊靠近。” 余凱知道地平線機器人的征程漫漫,但對于AlphaGo對戰李世石這樣的人機大戰新聞他卻無比篤定?!百惽皫缀跛袑<叶颊f這次機器贏不了,但我在接受網易采訪的時候就公開預測機器會贏,因為我了解AlphaGo的算法?!?/p>
陳運文也表達了相同的猜測。3月9日下午,陳運文就興奮地預測AlphaGo能夠獲勝,那時首爾的李世石剛在棋盤上落下自己的第一枚黑子。
新數據源分析將打破傳統商業模式
以司機保險為例,遠程信息處理技術的廣泛應用意味著基于保險精算表格的共享風險模式的終結,因為司機這個群體從整個人口中消失了,保險是基于對實際駕駛行為的分析來進行收費。醫療保險據此也不會太遠,而且這可能正成為公共醫療系統的現實――重新將精力集中在主動式的醫療保健而不是被動地響應疾病的治療。進一步的,越來越多的像審計師這樣的白領正期待分析自動化時代的到來。這是腦力勞動機械化的一個邏輯延續――我們已經忘記了不久前“電腦”和“計算器”還曾是人們的職位名稱。
決策者將廣泛使用共享、沉浸式的分析體驗
BI的發展一直專注在小型設備上,但是現在將轉為專注于非常大(像一面墻那么大)的觸屏設備上。這使得整個團隊可以共同對數據進行實時探索并由此做出決策。在2015年,有39%的人表示,影響決策制定的三大原因之一是與同事的意見不一致,而到2021年,我們所有人都會一起在數據中工作。
BI將會支持更廣泛、完全的人類學習模式
2015年,數據得以可視化。但并不是所有使用數據的人都能夠獲得同等的視覺導向。人類運用個體的感官輸入進行學習,這通常有三種模式――聽覺型、閱讀型以及視覺型或動態型。
到2021年,商業智能將利用信息傳遞手段使用所有學習模式,比如對于聽覺型的學習者,會自動生成口頭或書面的敘述形式來描述所選數據的形狀或者圖表內容。與此類似,3D打印圖表繪制對于動態型的學習者而言無疑是扮演了一個重要角色,這使他們能夠親身感受到誰工作得最好。當然,對于視覺導向的學習者來說,他們面臨的選擇將會增加,利用大量高分辨率顯示器實現大量數據集的展現甚至虛擬現實的體驗。
對數據的解讀能力將大大提高
毫無疑問,在未來五年里,人們對各種形式的數據可視化將更為熟悉,將會更容易從圖表中讀取和利用其中的深刻洞見。(這與人們對電影的解讀非常相似。隨著時間的推移,人們逐漸熟悉膠片的“語言”并把對電影的解讀作為人類的第二天性)也許更重要的是,教育系統將會加入更多商業分析和其他課程。領先的公司將會對員工進行數據讀寫能力的培訓,因為他們意識到員工的數據解讀能力將為企業增加競爭優勢。當然,更多有數據學習經驗的人對于數據的要求也會更多。
個人分析能力成為基本要求
我們看到的一些自我量化的行動也許現在看來非常讓人厭惡,但是隨著服務和設備產生更多的數據,這些行為很快就會成為一種慣例。因為,這些對“我的數據”進行個人分析會成為自我改善的一種方式。
不僅如此,人們還會越來越多的在家庭生活以及社交生活(無論是地理上的還是興趣分享上的)中使用分析。對于軟件供應商來說,這是一個有趣的暗示,它代表了另一個消費趨勢,個人喜好終將會導致“攜帶個人化的分析工具”時代的到來。
更多人將會利用預測分析
雖然許多企業都會安排一些人做更為復雜的統計預測,但是這并不普遍。行業分析師的數據顯示,僅不到20%的人在廣泛使用預測分析(作為他們BI項目的一部分)。要克服這一障礙有兩個至關重要的驅動力。首先是使用技術,通過自動向他們展示未來趨勢來推動那些非統計專業的人士使用預測分析工具。比如,使用最佳模式來預測三個時期的支出情況的線形圖,用敘述的形式告訴用戶,KPI將會在某個日子掉落到一個不可接受的范圍,或者在分析應用里使用蒙特卡羅模擬算法。第二個驅動力是讓工具變得更廣泛可用,從而支持預測性模型。過去,技術和知識是不對稱地分布在少數專家手中的。到2021年,這種持續還不到20年(通過開源R統計語言)的現象就將會完成古騰堡為了寫作所做的統計概率分析。
分析歷史數據變得更簡單
數據存儲花費的急劇下降意味著,到2021年,各機構將擁有可訪問的可讀形式的數據(沒有磁帶備份),可以及時回溯。這將實現算法識別和深度模式的分析,分析過去的數據,證明分析周期超過經濟周期是有用的。這還將幫助機構不要重蹈覆轍。以上次經濟蕭條為例,由于數據已經無法回溯,企業因此不能學到教訓,這在2021年就不會發生了。
智能決策自動化(IDA)將隨著機器更智能而采用更多商務決策
在2016年,IDA只能處理簡單的戰術(例如單個客戶/狀態)決策,但是由于AI在學習和模型中的應用更為廣泛,IDA將會有更廣泛的選擇而不僅僅是決策樹形圖的展現。像谷歌這樣的先行者讓它的機器學習軟件(TensorFlow)開源化的舉措,只會增加AI在決策中的使用,但這是有局限性的。
更多機構將會進行決策回顧
根據Qlik收集的數據顯示,2015年只有23%的機構會例行查看商務決策的結果。鑒于此,投入BI的理由常常是“提高決策能力”。到2021年,更多機構將會塑造更多決策?!皼Q策”因此也會成為BI元數據類型,因此也是可以分析的。我們可以看到機構是否做出了正確的決策,輸入和輸出是什么,或許還可以看到哪個團隊做出了最佳決策。
混合的啟發式/算法管理以及決策制定將會在一些機構內形成
理想的管理團隊能夠匯集人們學習經驗中的積極元素,并通過啟發式的決策以及算法計算表達出來。這讓每一個會議桌前的人都可以發聲。這是主觀和客觀的混合體――試想柯克船長和斯波克博士――依據數據和其他內容一起做出決策。到了2021年,這種混合的情況將會以自動生成的數據故事的形式來啟發和延展人們的觀點,除了這以外誰知道還會發生什么呢?由電腦產生出來的阿凡達可展現數據和提供輸入語言,這應該不斷太牽強。
以上僅是筆者對BI未來的幾點預測,當然也可能過于樂觀或過于消極,其未來發展趨勢或許也會因外部突發事件而帶來變化。
相關鏈接
建立科學決策分析模型
第一步,為數據驅動決策打下基礎。 企業需要將各類數據源連接在一起,以便每個業務團隊都可在語境中查看數據,這個過程應確保每個人都能基于同一組數據開展業務。
【中圖分類號】G434【文獻標識碼】B【論文編號】1009―8097(2010)04―0120―03
引言
在國際上,VR與仿真技術非常普遍與成熟。在遠程協作的分布式VR與仿真系統方面,他們制定了一系列標準、協議和算法。在國外虛擬環境中的協同式訓練系統也有研究,比較有代表性的是SecuReVi系統,它是利用MASCARET模型設計的虛擬環境中多人協同滅火的消防員訓練系統,還有些遠程醫療手術協作訓練系統,這些系統多數是在研究階段,成型產品極為少數。和一些發達國家相比,我國協同VR與仿真技術還有一定的差距,其應用也主要集中在軍事院校和研究所,也取得了一定研究成果[1][2],特別是在分布式VR與仿真領域里,國內在這方面的研究也有所開展[3][4]。
由于教育培訓軟件的應用長期局限于平面的文字及圖像表述,即使近年來動態圖形圖像表現形式大大提高了內容的表現效果,但仍無法真正滿足人類視覺、聽覺……甚至是感覺上的認同效應。因此,當前傳統的CBT(計算機支持的教育培訓體系,Computer Based Training)訓練方式已在一定程度上無法滿足高科技培訓的需要,基于計算機虛擬現實仿真技術的協同式訓練系統將視景仿真和協同工作的概念引入CBT中,它拋棄了傳統的訓練必須在真實的環境和場地下進行的觀念;同時也克服了傳統訓練無法模擬某些現場環境的缺陷,如飛機上、地鐵中、商廈里等,它使受訓人員不用再冒著一定的危險、不用再在投入巨額的設備購買和場地布置的情況下就能參加訓練。通過應用現代化的虛擬現實技術進行協同式訓練系統的研發,將克服實際場地演練的諸多不足,不僅花費小,對環境沒有污染,而且沒有危險,是未來技能培訓的主要手段之一[5][6]。系統在各種高危領域和應急處理場合有著廣泛的應用,可應用于工廠企業、航空、地鐵公司、社區、商店等大型場所的應急訓練;還可用于部隊演習;學校、研究所大型實驗;網絡游戲;遠程醫療等。該系統的研究將推動計算機虛擬現實仿真技術的發展,促進了計算機科學在現實生活中的應用。本文以航空客艙乘務員應急處理訓練為例,介紹基于虛擬現實的協同訓練系統的設計過程、原理及關鍵技術的實現。
一 系統描述
基于虛擬現實的協同訓練系統是一個綜合應用虛擬現實技術、網絡通信技術、三維圖形圖像技術和數據庫技術設計和開發的一個虛擬仿真訓練軟件,具有在虛擬仿真環境中進行多用戶協同操作和基于知識庫的智能評判功能特點。系統利用三維技術構建各種虛擬訓練場景(如飛機、地鐵等),多個用戶在這樣的虛擬仿真環境中,通過網絡進行文字和語音的通信、相互合作完成一個訓練任務。同時,系統提供任務的知識庫進行操作過程的正確性判斷和提示,并詳細記錄各個用戶操作過程,提供專家進行評判(如圖1所示)。系統采用了視景仿真、多用戶協同、知識庫與匹配策略的技術,并在訓練過程中具有多感知性、實時性、互操作性以及真實臨場性的特征,可廣泛應用于特定環境下一個團隊通過相互配合,相互協作來有效地完成訓練任務
在此系統基礎上,加入具體應用的環境(3D場景),利用系統接口和核心功能設計具體應用的驅動模塊,形成具體應用的系統。如進行飛機客艙火災應急處理訓練,系統將裝入一個飛機機艙的場景和訓練角色,多人通過網絡、視景等多種交互方式協同地進行飛機客艙火災應急處理,形成了某一特定應用的協同式訓練的應用系統。
基于虛擬現實的協同訓練系統主要有如下應用特點:
1 基于虛擬現實的協同式訓練系統,通過模擬現場的實際情況,從而提高實際操作人員對各種實際環境的協同處理能力。系統尤其適合于模擬高危領域的操作訓練,如火災、地震、防恐等;
2 克服了傳統訓練中實景再現困難、場地特殊、人員調度復雜等環境因素,適合機、地鐵、鬧市、商住大廈等情況較復雜地區的訓練模擬;
3 降低對人員財物等的安全威脅,也便于人員時間上的安排與調度,減少人力、財力等各方開支,并且間接性地減少了對周圍環境的污染。適合于要求團隊組員同時在現場進行協同訓練的場合,如遠程醫療專家合診、網絡游戲;
4 利用計算機手段,實現訓練模擬,運用多媒體的實現方式,提高人員訓練熱情和整體訓練效果,因而也適用于原理或操作較枯燥的訓練內容,如學校、研究所等實驗仿真。
二 系統實現原理
整個系統實現由三層結構組成(如圖2所示)。底層是操作系統與開發API組成的支撐環境,中間層是由核心程序與接口組成的系統平臺,頂層是三維場景模型與系統功能驅動組成的應用程序。
系統平臺主要由三維場景子系統、協同通信子系統和訓練管理子系統組成。其主要特點:將多用戶協同處理計算機模擬的理念,具體應用到行業技能訓練的領域中,并在訓練過程中,采用了視景仿真、協同、知識庫的技術。
(1) 三維場景子系統
三維場景子系統是用三維造型來模擬現實訓練環境的一種實時渲染圖形系統。系統完成的主要模塊有模型導入、運動仿真、場景設置、碰撞檢測等。
模型導入利用功能強大的三維造型軟件,如3DS Max,MAYA制作三維模型,紋理以及動畫等,然后輸入至訓練場景中,具體包括:3D對象導入、角色導入、動畫導入、材質和紋理的設置、坐標設置、比例變換等等。運動仿真是對場景中人和物體運動的一種數學物理描述以及控制,它包括各種運動類型,如走、跑、轉身、站立、蹲下、取物等等。場景設置主要是提供改變某些場景的參數,改善視覺效果,便于觀察和響應不同的訓練要求,具體包括:燈光設置、視角設置、環境設置、特殊效果設置(如火,煙霧)、聲音設置、紋理材質設置、動態對象的位置、方向和比例設置、坐標設置等等。碰撞檢測主要是防止物體間的相互干涉以及作為某些事件的觸發器,由檢測類型和檢測算法二大部分組成。檢測類型主要有視線范圍檢測(LOS line-of-sight)、三腳架法(TRIPOD)、凸塊檢測方法(BUMP)。LOS、TRIPOD、BUMP的算法主要是加入按一定規則分布的線段矢量,計算與干涉物體的交點,距離,方向以及設置回調函數。
(2) 同步通信子系統
協作通信系統完成的功能由語音通信、場景同步通信二大部分組成。
語音通信主要提供學員之間相互協調聯絡的通信平臺,也是協同訓練中對講、交談等的語音工具。
這里語音通信部分主要采用點對點(也可組播)的語音通信,是針對一個點實現話音的實時采集、處理、播放,同時可與其它點進行可靠的網絡語音數據傳送和接收。對于前者,采用Windows MDK的低層音頻服務,因為低層音頻服務中的回調機制為我們提供了音頻數據,設備驅動程序控制音頻設備在后成錄音和放音的具體操作,通過回調機制,我們又可以檢測到什么時候用完一個數據塊,并及時傳送下一個數據塊,從而保證了聲音的連續,有了這種單機上的實時采集、回放功能后,接下來的工作就是在網絡上傳送語音數據。在點對點網絡傳輸方面,選擇基于無連接的UDP協議,UDP用戶數據報協議能夠向若干臺目標計算機發送數據,接收發自若干個源計算機的數據。在采集話音回放之前,一方面將自己的語音傳給網絡,另一方面接收網絡傳來的語音,具體是利用Windows Socket API實現的。
場景同步通信主要提供多用戶之間場景一致的功能,它由服務器、會話、用戶、網絡消息和分布式對象組成。
多用戶服務器是基于客戶/服務器技術,所有用戶之間的通信必須通過服務器。一個用戶與其他用戶交互必須連接到一個會話上,一個用戶同時只能連接一個會話,并且只能與連接到同一會話的用戶通信。用戶有二個參數,一是用戶名,二是用戶ID,一個客戶在連接或產生會話前必須設置用戶名。網絡消息是用戶之間通信的主要方法,這個消息類似窗口消息,可以在消息中附帶數據。分布式對象是另一個用戶間傳送信息的機制,它相關于場景中某一個實體,且按照一定規則分布到所有用戶機上,分布式對象是類的一個實例,它有自己的屬性,需要時可以通過網絡通信來更新。同步通信技術借鑒了國外的DIS(分布式交互系統)和HLA(高層架構)等技術。
(3) 訓練管理子系統
訓練管理系統主要是用于處理訓練相關的信息,它完成的功能有訓練知識庫、實時跟蹤記錄、沖突解決機制等。
訓練知識庫主要包括訓練數據庫、訓練規則和匹配策略。訓練數據庫主要有學員信息、課程信息、訓練信息等等。訓練規則主要有角色定義與分配規則、評判規則、記分規則,其中評判規則包括動作執行者、動作間的關系、施加對象以及次數等等。匹配策略主要是有序無序的匹配、規則樹的遍歷。
實時跟蹤記錄實際上是對學員的操作流進行管理的一個模塊,它主要有觸發事件、操作信息收集、發送與接收(操作信息)和記錄器組成。
沖突解決機制主要是多學員在協同訓練中發生操作沖突時的一種消除機制。其中簡單的方法是加鎖解鎖、延時的方法,比較高級的有優先級和擁有權的處理。
三 系統應用示例
客艙火災應急處理訓練是利用協同訓練平臺開發的一個應用實例,主要是在模擬飛機機艙內協作完成滅火訓練任務。這個訓練任務描述如下:
客機平穩而正常地行駛著,乘客們安靜地享受著舒適的空中之旅,艙內的乘務員出現在各自的位置上,此時,公共信息廣播:此次航班由上海飛往北京,祝各位旅客旅途愉快。30秒后,前工作區的學員看到屬于她的信息窗顯示:附近有怪異的煙味,請速核查。并且她看到絲絲煙霧飄散。該學員先去查核哪里發生火情,確定是在壁櫥的衣帽間,用手試探門的涼熱,其信息窗口顯示兩級溫度信息:門是涼的/門很燙手;該學員使用話機通知乘務長,并請求附近的乘務員速帶滅火器材來協助,本人去駕駛艙拿應急斧,取來應急斧,在門上開一個小洞,來支援的乘務員拿海倫滅火器來了,對著洞口噴滅火劑,直至火滅,開門檢查燃燒物,防止死灰復燃。最后把火災的處理結果報告乘務長,由乘務長報告給機長。
該應用實例包括一個三維實例場景和一個實例驅動模型。三維實例場景就是飛機機艙、火、煙霧、角色及其他設施,驅動模型是具體應用的情節腳本,由滅火操作、協作規則、評判規則等許多事件構成的。應用實例系統主要界面如圖3所示。
四 結束語
在網絡環境和多用戶視景交互的支持下,人們可以通過交互設備,利用聽覺、視覺、觸覺在虛擬的環境中協作完成訓練任務,從而形成一套具有“視景”和“協同”特色的訓練軟件。本文主要描述了一個基于虛擬現實的多用戶協同訓練系統的結構設計、技術架構、網絡通信和應用示例。隨著基于虛擬現實技術的CBT系統正在逐步取代過去單機、單一任務的CBT系統,將給計算機培訓提供一種嶄新的系統訓練方式,能使許多特殊場合的訓練變得非常方便,同時極大提高培訓的效果。本系統中設計的技術和方法希望對于其他分布式訓練系統的開發具有借鑒作用。
參考文獻
[1] 龐津津,戴述賈.分布式系統仿真技術研究及其實現[J].火力與指揮控制, 2001,(1): 37-40.
[2] 洪津,張萬軍,謝慶華,陳明宏,王永健.虛擬維修訓練系統發展綜述及其關鍵技術探討[J].理工大學學報(自然科學版),2000,(1):63-67.
[3] 王潤崗,花傳杰,唐科群,王艾萍.坦克車炮長協同訓練仿真系統設計與實現[J].火力與指揮控制, 2008,(9):112-114.
[4] 袁海波,劉厚泉,吳雪峰.虛擬場景動態交互式可視化的研究[J].電腦與信息技術,2008,(6):7-9.
實踐課程配套教材建設(1)2008年出版了《可編程邏輯器件應用實踐》教材;(2)2009年編寫的《EDA技術與實驗》作為國家級“十一五”規劃教材。該書修訂版被列為校“十二五”規劃教材,側重FPGA設計理論及數字信號處理算法硬件實現上;(3)新編《EDA/SOPC應用實踐》被列入校“十二五”規劃教材。該教材針對應用型研究生的培養引入大量工程設計實例。
應用型實踐教學基地的建設
我校電子設計自動化實踐教學基地,2006年在教育部研究生創新基地建設資金的資助下初步建成?,F有的25套計算機和30套康芯EDA/SOPC實驗箱,可以完成基本的電子設計自動化實驗。近年來,我們在原來基礎平臺的基礎上,購置了Altera公司DE2-70實驗板,建立了面向電氣工程、控制工程、通信工程及儀器科學與技術領域電子設計自動化實驗平臺。該平臺包括基于FPGA的電機閉環控制實驗平臺、基于SOPC的特征物體跟蹤系統實驗平臺、基于SOPC的遠程監控圖像系統實驗平臺及基于FPGA的數據采集實驗平臺。上述四個實驗平臺可以完成下列實驗內容。
1基于SOPC的特征物體跟蹤系統實驗特征物體的識別追蹤包括對目標實現追蹤,它是機器視覺、視頻雷達和視覺導航的必要組成部分。這種追蹤系統可以用于球類比賽中追蹤拍攝球的運動,在公共場所的監控設備中自動鎖定疑犯并報警,在博物館等場所中鎖定特定藏品在其位移超過閾值后給出警示,在運動中拍攝運動或靜止物體(如航拍)中保持圖像穩定,某些特定區域在有運動物體進入時監控系統產生報警信號并對進入監控區域的物體進行跟蹤(例如交通檢測系統和某些監控防護系統)等?;赟OPC實驗箱的特征的物體跟蹤系統實驗原理如下:攝像頭完成圖像采集,將圖像數據傳輸給DE2開發板,由FPGA中的攝像頭接口邏輯對圖像預處理,再由NiosII執行識別算法和控制算法,識別特征物體,并輸出控制信號給兩個伺服電機來調整攝像頭方向,同時由VGA顯示接口將捕捉到的圖像在顯示器上顯示出來。
2基于FPGA的步進電機細分控制實驗本實驗是一種以FPGA為核心的新型集成式三相混合式步進電機驅動系統。采用正弦波細分驅動方案,以速度誤差最小原則進行了最佳細分等級自動切換設計。該實驗將控制器和驅動器全部集成在單一的FPGA芯片上。
3基于FPGA的遠程監控機器人實驗本系統在DE2開發板上構建了一個Web服務器,可以通過網絡實時觀察監控場所,并通過網絡控制隨意移動以實現全方位監控。該實驗包括圖像的實時采集、壓縮,無線傳輸、Internet網絡和GPRS無線網絡向終端服務器傳輸圖像數據等模塊。
4基于FPGA的桌面彈球屏幕保護程序實驗該實驗通過FPGA芯片嵌入的程序可以控制計算機顯示屏上的小球運動,還可以控制小球的尺寸。學生通過該實驗可以掌握VGA顯示的原理和視頻D/A轉換的原理及控制時序等內容。本實驗的創意來自美國伊利諾伊州立大學香檳分校的數字系統課程ECE385的教學內容。該應用研究型實驗覆蓋了控制、電氣、計算機和通信等多個學科內容。此外,2009年我們在實驗平臺上自行了設計一款性價比高且便于攜帶的電子設計自動化實驗箱。該實驗箱發放給學生,使他們在業余時間利用該實驗箱學習電子設計自動化知識,并完成面向實際應用的設計任務。本實驗箱的原理框圖如圖1所示,目前已在電子技術課程設計課程中使用。
與企業聯合建立培訓基地
中圖分類號:TM文獻標識碼:B
1.變電設備檢修仿真系統的主要功能及模塊
1.1.主要功能
構建變電設備虛擬場景需要運用到數字化建模(即建立設備的正常、異常、故障和缺陷等三維實體模型)技術,模型建立質量和數量直接關系到整個系統的優劣,本系統中對變電站的所有一次設備如變壓器、斷路器、隔離開關、互感器、電抗器、電容器等建立了模型,由此形成了設備建模庫,設備庫還可對各設備正常和非正常(缺陷)狀態的具體細節進行描述。仿真系統要求能在計算機上動態模擬變電設備安裝和檢修過程,并實現人機交互裝配,直觀和準確地表達其內部結構、各零部件空間關系,零部件瀏覽和分析、變電設備缺陷仿真、檢修人員技能綜合測試以及自動評分等等。系統的主要功能如圖1所示。
圖1變電設備仿真檢修系統的主要功能
變電設備檢修仿真系統采用多媒體、三維圖像仿真,集圖片、圖像、圖形、視頻、文字等為一體,整個變壓器動態裝配過程均以3D形式投影在大屏幕上,逼真地再現變電站現場設備的動作過程和設備運行狀態。
本檢修仿真系統基于DirectX9.0c來構建3D圖形引擎,開發虛擬現實仿真系統,通過MFC處理系統用戶界面,視景平臺、動態裝配仿真、零部件數字化建模、零部件缺陷仿真、檢修技能測試等核心內容都是用C++來實現。
1.2.功能模塊
變電檢修仿真中心通過VR平臺,按照仿真數據倉庫中檢修仿真算法,分設備類型、生產廠家、型號建立變電設備樣本模型庫;模擬各類設備的常見故障和解決方案;分常規檢修和故障檢修兩種方式模擬變電設備的檢修過程。仿真中心通過算法接口和輸入輸出接口接收用戶控制命令和返回結果數據。
檢修訓練中心提供人機交互環境,用戶使用各類終端設備(鼠標鍵盤等),通過輸入輸出接口在虛擬現實的界面發出各類檢修操作命令,并通過算法接口與檢修仿真中心進行數據交互,完成各類訓練動作的執行。為檢修人員的培訓提供演示和交互操作兩種培訓方式。
管理監控中心完成各類設備部件劃分、部件邏輯關系及其拆裝順序定義和維護;故障知識庫中故障現象、故障原因、檢修推薦方案的定義和維護;依照《作業指導書》以及《現場作業工序工藝標準卡》等技術標準對檢修流程進行設定或變更重組;并完成培訓檔案建立、培訓題庫建立、培訓過程監視控制、培訓過程回放、培訓考核評估以及培訓各類績效指標的統計分析。它通過各類算法接口在VR平臺上完成對變電檢修仿真中心各類仿真模型的管理以及與變電檢修控制中心培訓管理人員的命令、指令、數據交互。
2.故障分析功能
2.1.故障信息
系統通過在線監測系統以及狀態檢修系統的聯機分析,對故障的信息提供從故障的設備及其故障部件、部位的外部現象、到故障的變化過程、再到故障相關各類數據的全方位支持,為故障的分析和診斷提供從表面到數據的支持。
如變壓器過熱性故障,系統除了從設備模型給出溫度計的讀數外,還可以提供一個連續時間段溫度的變化情況,并且通過在線監測系統提供各時刻對應油中C2H6、C2H4、H2、C2H2,CO、CO2等氣體含量數據。
2.1.故障診斷及檢修方法
系統根據故障信息,結合狀態檢修系統、生產管理系統、在線監測系統的綜合分析情況,給出故障的可能原因以及對應的檢修對策指導。如變壓器過熱性故障,當存在C2H6、C2H4增長較快,可能有H2和C2H2,CO和CO2增長不明顯的現象,導致該故障的原因可能就是變壓器鐵心短路,在系統圖形界面上就會輸出鐵心短路的外部狀況。用戶可以點擊相應的檢修策略指導,系統會采用動畫及互動的方式提供處理鐵心短路情況的典型檢修方法。
3.變電設備仿真檢修系統的特征模型
在變電設備仿真檢修系統總體設計初步完成后,即可進行特征模型設計。根據已經確定的方案和主要數據,按技術任務要求進行。變電設備的內部結構復雜,零部件多為不規則幾何體,要實現虛擬的裝配過程必須先對基本的零件建立三維數字模型。裝配之前要進行總體規劃,確定各級子裝配和各零件的合理安裝順序。還要結合變電站的實際安裝程序來安排虛擬場景中各零件或子裝配的裝配順序。
以變壓器為例說明,本仿真系統將變壓器整體結構劃分為六部分:總裝、油箱、絕緣、引線、鐵心、線圈,各部分通過相應的構件連接起來,其主體結構劃分如圖2所示。
圖2變壓器結構特征模型
變壓器型號用于描述實體的幾何形狀,是造型中最主要的信息之一。主要參數包含變壓器的額定電壓,額定容量,連接組別,窗體的長、寬、高等信息。部件間的裝配特征用于表達變壓器結構的裝配關系以及在裝配過程中所需信息。構件間關系具有油箱、絕緣、引線、鐵心、線圈等結構間的安裝定位關系等。
4.基于虛擬現實的動態仿真流程
為了便于清楚地觀察裝配體結構及裝配順序,需要增加與虛擬世界的交互功能。而動畫給了人們一個巨大的空間。用戶在進入裝配場景后,在任意位置點擊鼠標,動態裝配過程即呈現在窗口中?;谔摂M現實技術實現動畫的流程如圖3。
5.系統實現技術方案
5.1.系統拓撲結構
本系統采用B/S的體系結構,系統的核心包含一個業務主機(包括應用服務器和WEB服務器的功能)和一個數據庫服務器,包含若干客戶機、網絡設備等等。
客戶機中包括教員機和學員機,教員機通過與業務主機的交互完成對學員機下達各類控制命令,學員機接收并完成這些任務,同時操作過程同樣通過與業務主機的交互進行數據和邏輯的通信。
5.2.平臺軟件
操作系統:根據實際選用的虛擬現實技術平臺選用對應的操作系統。
數據庫系統:本項目數據庫系統有IBM DB2、Oarcle和MS SQL Server2005三種選擇,建議本系統采用Oarcle 9i數據庫。用于提供高效、海量的數據存儲,建立數據倉庫為虛擬現實技術的實現和數據分析提供基礎。
中間件軟件:采用JBoss中間件,用于提供web服務。
商業智能平臺:報表工具采用eclipse birt;OLAP工
具采用mondrian,提供數據統計、分析和報表圖標展現功能。
ETL工具:采用oracle ODI。用于完成與其他電力信息系統的數據同步。
5.3.虛擬現實技術
虛擬現實技術(Virtual Reality),又稱靈境技術,是90年代為科學界和工程界所關注的技術。它的興起,為人機交互界面的發展開創了新的研究領域;為智能工程的應用提供了新的界面工具;為各類工程的大規模的數據可視化提供了新的描述方法。這種技術的特點在于,計算機產生一種人為虛擬的環境,這種虛擬的環境是通過計算機圖形構成的三度空間,或是把其它現實環境編制到計算機中去產生逼真的"虛擬環境",從而使得用戶在視覺上產生一種沉浸于虛擬環境的感覺。這種技術的應用,改進了人們利用計算機進行多工程數據處理的方式,尤其在需要對大量抽象數據進行處理時;同時,它在許多不同領域的應用,可以帶來巨大的經濟效益。
虛擬現實系統主要由以下模塊構成
①檢測模塊:檢測用戶的操作命令,并通過傳感器模塊作用于虛擬環境。②反饋模塊:接受來自傳感器模塊信息,為用戶提供實時反饋。③傳感器模塊:一方面接受來自用戶的操作命令,并將其作用于虛擬環境;另一方面將操作后產生的結果以各種反饋的形式提供給用戶。④控制模塊:對傳感器進行控制,使其對用戶、虛擬環境和現實世界產生作用。⑤建模模塊:獲取現實世界組成部分的三維表示,并由此構成對應的虛擬環境。
虛擬現實系統開發平臺的核心是引擎,它具有四個方面的接口,分別是算法接口、模型貼圖輸入接口、硬件輔助設備接口和硬件主設備接口。虛擬現實系統開發平臺通過這些底層接口向所有上層軟件提供強大的功能支持。
6.數據存儲及整合技術
6.1.數據存儲
建立物理數據倉庫的存儲;提供集中的數據倉庫管理界面來控制、監測和管理數據倉庫的操作;為主題分析和決策支持應用提供快速、準確的數據服務。
6.2.數據整合
ETL:包括數據采集、清洗、轉換、匯總、加載,數據加載到數據倉庫中;建立數據倉庫元數據中心存儲;Webservice:通過XML交換數據,使系統之間即可靠的交換數據,又降低了系統之間的耦合程度。
6.3.數據倉庫管理
包括元數據管理、ETL管理、數據復制與備份管理、數據安全管理等等
7.數據分析技術
7.1.數學建模、數據挖掘
采用三比值法、TD圖法、電研法、神經網絡算法等有效的診斷算法進行故障診斷;利用時間序列神經網絡模型的非線性映射能力和學習能力來預測設備的檢修狀態;
7.2.商務智能平臺
提供包括面向主題的數據集市、即席查詢、多維分析、企業日常報表、Dashboard等各種商務智能分析工具;提供一個面向主題的可擴展的應用分析環境;高效、靈活的查詢、報告、聯機分析處理以及預測功能。
7.3.業務優化平臺
通過商業智能平臺的多維分析應用、預測分析和OLAP應用來支持檢修流程優化等生產管理應用。
8.結束語
變電設備檢修仿真系統的應用,不但可提高變電檢修人員的技能水平、工作效率,同時縮短檢修時間和快速恢復設備送電提供了有力保障。