計算機存儲技術(shù)對GIS數據管理的應用論文
摘要:GIS信息數據更新速度較快,形成的數據量極為龐大,怎樣對海量數據進(jìn)行高效化的管理成為當前的首要問(wèn)題。本研究對多媒體存儲技術(shù)信息、虛擬化數據管理技術(shù)和分布式數據存儲技術(shù)進(jìn)行介紹,分析了GIS數據管理中計算機存儲技術(shù)的應用。
關(guān)鍵詞:GIS數據管理;計算機存儲技術(shù);庫存管理;應用
在社會(huì )不斷發(fā)展的過(guò)程中,GIS(地理信息系統)技術(shù)發(fā)揮了重要作用,而該技術(shù)的關(guān)鍵就在于數據信息,涉及搜集、加工、存儲及分析數據等相關(guān)工作。因為GIS數據來(lái)自各個(gè)方便,而且數據的形式也愈發(fā)多樣化,例如:音視頻、照片等,GIS借助多媒體數據可以將地理信息更加生動(dòng)的展示出來(lái),使用戶(hù)能夠更加便利、清晰的了解到地理信息。當前不同領(lǐng)域均應用到GIS技術(shù),且應用不斷朝著(zhù)復雜、繁瑣化的方向發(fā)展,由傳統桌面級逐步轉變?yōu)楝F在公眾型及企業(yè)級運用,實(shí)現了系統同數據共享的有機融合,能夠將更加專(zhuān)業(yè)和全面的地理信息服務(wù)提供給廣大用戶(hù)群體。
一、GIS數據管理中應解決的問(wèn)題及對策
在應用存儲技術(shù)環(huán)節,需充分利用GIS數據的基本特點(diǎn),這樣才能提高GIS存儲技術(shù)運用的精準性,還會(huì )降低系統出現安全問(wèn)題的風(fēng)險,進(jìn)一步增強系統的拓展性,此外還需對以下事宜進(jìn)行重點(diǎn)監測:
。ㄒ唬┙y一存儲相關(guān)數據信息
當前系統在面臨大量數據時(shí)無(wú)法達到存儲要求,因此需要運用GIS系統集中對相關(guān)數據進(jìn)行處理,這是因為GIS系統結構復雜程度較高,并且內置了多種功能。相對于GIS系統,傳統服務(wù)器對數據的處理效率有所遲滯,面對爆炸式的信息數據增長(cháng)時(shí),傳統意義上的硬件設備無(wú)法滿(mǎn)足存儲需求,所以應對應引入配置磁盤(pán)陣列產(chǎn)品,全面提升存儲效率。
。ǘ⿲A繑祿挠行гL(fǎng)問(wèn)
在A(yíng)rcSDE的作用下,GIS的矢量數據會(huì )被系統直接存儲在GIS的矢量數據Oracle數據庫里。在這種存儲方式下,使用者必須對數據進(jìn)行多次請求,所以在實(shí)際運用時(shí)應優(yōu)先選擇FCSAN光纖存儲。光纖SAN具有諸多優(yōu)勢,比如存儲速度快,并且延遲不顯著(zhù),全面提升矢量圖形數據的調用和訪(fǎng)問(wèn)。在航拍以及衛星影像拍攝的場(chǎng)景下,其往往會(huì )產(chǎn)生巨大數據量,就要要求網(wǎng)絡(luò )所需寬帶具有一定穩定性,這樣才能降低并發(fā)沖突的發(fā)生概率,如果出現并發(fā)沖突則會(huì )直接導致數據延遲,影像系統的正常運轉。通常而言,這部分數據會(huì )通過(guò)文件形式被外界調用和提取,如果瞬時(shí)訪(fǎng)問(wèn)量過(guò)大會(huì )引發(fā)中毒風(fēng)險,所以在使用數據使應優(yōu)先采取NAS存儲方式,這是因為該系統具有支持并發(fā)以及不占用服務(wù)器空間的明顯優(yōu)勢,能夠降低數據被外界因素干擾的風(fēng)險。
。ㄈ⿲祿挠行浞
一般而言,數據都處于更新的狀態(tài),因此需要及時(shí)對相關(guān)數據進(jìn)行備份,對于城市地理信息系統而言,加強對信息數據的歸檔極具重要意義。傳統存儲方式主要又增加內部存儲空間和硬件容量,但日益無(wú)法滿(mǎn)足實(shí)際備份需求,以磁帶機為例,在正常工作模式下對數據備份效率低下,并且占有大量網(wǎng)絡(luò )資源。當前針對大量數據的備份事宜,往往通過(guò)網(wǎng)絡(luò )備份實(shí)現,但由于網(wǎng)絡(luò )不穩定會(huì )造成數據中斷,同時(shí)由于無(wú)法進(jìn)行斷點(diǎn)續傳,此類(lèi)備份形式效率仍然無(wú)法滿(mǎn)足實(shí)際需求,此外如果需要對備份數據進(jìn)行編輯,甚至修改,容易引發(fā)數據不一致的情況。由此可見(jiàn),針對不同類(lèi)型數據的備份工作需匹配專(zhuān)業(yè)化的數據庫和軟件,明確備份工作流程,優(yōu)先采取LANFree備份策略,定期向磁帶庫以及磁盤(pán)陣列推送相關(guān)數據。
二、多媒體存儲技術(shù)
。ㄒ唬┒嗝襟w屬性庫存儲管理方式
在媒體服務(wù)器內管理多媒體信息時(shí),需要利用多媒體屬性庫存管理方法,完成信息的存儲操作。作為共享存儲設備,媒體服務(wù)器能夠對多媒體數據進(jìn)行傳送,當多媒體數據文件接收請求被程序所發(fā)出后,媒體服務(wù)器就能夠執行打開(kāi)操作,并對多媒體內容進(jìn)行傳輸。特定媒體服務(wù)器能夠存儲多媒體信息,可以將空間對象屬性設定成多媒體數據的資源號,并歸為空間數據集屬性列,由此能夠實(shí)現多媒體屬性數據、空間數據二者的有效鏈接[1]。所以基于空間對象屬性字段,通過(guò)提取多媒體文件資源號的方式,就可以在媒體庫內對多媒體文件進(jìn)行查看。借助流媒體服務(wù),Windows媒體流服務(wù)器能夠對數據進(jìn)行傳送。應于本地硬盤(pán)內下載文件,隨后運行文件,但是對于流媒體格式文件卻不同,在本地下載少數即可,運行和下載能夠同步開(kāi)展,這種流傳輸途徑具有實(shí)時(shí)性的優(yōu)勢,更具便利化的特點(diǎn)。當前主要應用順序、實(shí)時(shí)兩大流傳輸途徑,前者應用的是HTTP服務(wù)器,通常后者都會(huì )運用到流式傳輸媒體服務(wù)器,若開(kāi)展實(shí)時(shí)流式傳輸,則要借助RTSP實(shí)時(shí)協(xié)議。在媒體服務(wù)器中存儲多媒體文件,利用流媒體服務(wù),能夠有效開(kāi)展網(wǎng)絡(luò )傳輸,為移植系統提供了便利,使多媒體屬性信息及GIS空間信息的運用獨立性大大增強。
。ǘ┒嗝襟w數據庫存儲管理方式
基于數據庫系統,利用多媒體數據庫存儲管理方法,能夠有效、統一化的管理多媒體數據。在數據庫內可以存儲二進(jìn)制多媒體信息,利用關(guān)鍵字,能夠有效關(guān)聯(lián)空間對象。當先眾多GIS平臺可以運行有關(guān)解決方案,包括數據通路(ArcSDE)、SuperMapSDX+支持數據引擎,能夠利用關(guān)系型數據庫對空間數據進(jìn)行保存,并將多媒體信息存儲字段構建于GIS專(zhuān)題屬性表內,包括:SQLServer數據庫中的image類(lèi)型數據、在oracle數據庫中存儲BLOB類(lèi)型的數據,并于該類(lèi)型字段內對多媒體信息流化進(jìn)行保存[2]?臻g數據、多媒體數據借助多媒體數據庫存儲管理方法,能夠開(kāi)展統一化的管理、存儲操作。多媒體數據對于數據庫而言,能夠借助獨立屬性進(jìn)行存儲,所以對于海量多媒體信息,都能夠進(jìn)行存儲。
三、虛擬化數據管理技術(shù)
分布式服務(wù)器是云GIS的基本構成單位,需要以并行的方式將服務(wù)供應給使用者,還應有效的分析、處理不同的空間數據;谠蠫IS的ExtendedORDBMS及RDBMS+SDE架構體系下,系統的整體系統會(huì )因空間數據庫管理系統而降低,這就需要加快數據的更新速讀,并使隨機訪(fǎng)問(wèn)速度得到進(jìn)一步的改善,從而推動(dòng)云GIS數據管理技術(shù)的發(fā)展。在線(xiàn)更新、離線(xiàn)運用兩大技術(shù)是運用虛擬化技術(shù)管理空間數據的主要類(lèi)型,能夠使數據自動(dòng)同步、遷移于不同層級和系統內[3]。此外,要想協(xié)同運行分布式服務(wù)器,就要利用云計算系統平臺管理技術(shù),借此來(lái)開(kāi)通、部署業(yè)務(wù),并及時(shí)找到系統存在的問(wèn)題,使系統能夠長(cháng)期、穩定的運行。系統大規;倪\行還運用到智能及自動(dòng)化技術(shù),包括開(kāi)源數據管理模塊HBase和BigTable數據管理技術(shù)。其中,作為分布式結構化數據存儲系統,Bigtable能夠對大量的數據信息進(jìn)行處理,一般在眾多服務(wù)器內分布著(zhù)PB級數據,對于多維度排序Map的存儲,Bigtable的顯著(zhù)特點(diǎn)是持久性、分布式和稀疏化。子表服務(wù)器、主控服務(wù)器及客戶(hù)端程序共同組成了BigTable。借助時(shí)間戳、列/行關(guān)鍵字,能夠有效的索引Map,其下value均為未解析byte數組。在->string.BigTable下,根據行關(guān)鍵字的字典序,能夠對數據項進(jìn)行排列,這是存儲BigTable數據的主要結構形式[4]。在記錄板中涵蓋了各行,一百個(gè)記錄板由各節點(diǎn)所管控。64位整數為時(shí)間戳,體現出各個(gè)版本的數據。針對Tablet位置信息,借助B+樹(shù)式的三層架構,BigTable可以執行存儲操作,基于其存儲架構下,RootTablet位置涵蓋于第一級Chubbyfile內,METADATATablets位置信息存在于RootTablet中,大量UserTable位置信息存在于各MetaDataT-ablets中。結合客戶(hù)存儲數據,可以在表格內存儲分割處理的數據,各表格可以細分為若干字表,并在子表服務(wù)器內進(jìn)行保存。通過(guò)元數據表、Chubby系統,BigTable可以對系統管理系統開(kāi)展維護操作。Root子表處在的子表服務(wù)器地址能夠通過(guò)Chubby下文件體現出來(lái),全部BigTable下服務(wù)器所保存的子表信息均可以借助行記載的方式進(jìn)行展示,元數據同樣能夠細分為若干字表,于子表服務(wù)器內進(jìn)行保存。Root子表是第一個(gè)元數據子表,能夠對元數據表的子表位置信息進(jìn)行記載,其中并不包括Root子表。參考Root子表記錄,能夠明確具體機器所保存的元數據表下的子表,BigTable程序下表格的子表管理數據信息則被元數據表各行所記錄。元數據表中記錄行主鍵即為子表下保存末行主鍵、各行用戶(hù)表名,而子表的相關(guān)服務(wù)器管理信息則保存于記錄行數據內。在對用戶(hù)表特定行記錄進(jìn)行查看時(shí),客戶(hù)端需要對Chub-by系統下文件進(jìn)行讀取,了解Root子表具體位置信息,參考Root子表,得知元數據表下的子表位置,借助查詢(xún)記錄行主鍵、待查看用戶(hù)表相互對標的方式,明確記錄所對應的子表服務(wù)器。在本地客戶(hù)端即可緩存數據信息,同子表服務(wù)器進(jìn)行通信操作,就能夠對數據信息進(jìn)行查看。
四、分布式數據存儲技術(shù)
多源性、多時(shí)空、數量龐大及異構是云GIS空間數據的顯著(zhù)特征,所以系統空間數據通常都為動(dòng)態(tài)化的,相對雜亂,所以需要通過(guò)分布式的途徑來(lái)存儲云GIS數據,借助冗余存儲的優(yōu)勢,可以使數據可靠程度得到顯著(zhù)的提升。而傳輸效率高、吞吐率高及分布式是云存儲技術(shù)的特征,因此能夠將該技術(shù)對空間數據進(jìn)行管理、保存。運用多項數據庫技術(shù)能夠對空間數據進(jìn)行管理,包括NoSQL、HBase和BigTable,在進(jìn)行訪(fǎng)問(wèn)的過(guò)程中就運用到REST接口、空間數據庫連接技術(shù)。發(fā)揮分布式緩存技術(shù)的優(yōu)勢,可以使后臺服務(wù)器的壓力得到改善,使響應速度得到顯著(zhù)提升。當下HDFS、非開(kāi)源GFS是當下關(guān)鍵數據存儲技術(shù),其中針對非開(kāi)源GFS而言,谷歌公司將其視作專(zhuān)用文件系統,能夠對大量的搜索數據進(jìn)行保存,該系統的分布式結構能夠對數據進(jìn)行大規模、高效化的處理,同時(shí)其也具備良好的擴展性[5]。GFS的硬件設施相對簡(jiǎn)單,擁有容錯技術(shù),能夠將聚合處理功能提供給使用者。多數chunkserver及獨立master共同構成了GFS體系。(1)針對基于GFS的chunkserver.,各文件均涵蓋了大小明確的chunk,各塊擁有對應的chunkhandle標志(64位),其主要是master結合創(chuàng )建時(shí)間而構建,一旦形成不再變化。本地磁盤(pán)下,借助Linux文件系統,chunkservers能夠對chunk進(jìn)行存儲,參考字節范圍、chunkhandle,Linux文件系統也可以對chunk數據信息進(jìn)行讀寫(xiě)處理。大量chunkserver可以備份處理chunk,使數據可靠程度明顯提升。(2)全部文件系統元數據由master統一進(jìn)行管理,涵蓋了大量信息,例如:當下塊位置信息、文件到塊映射關(guān)系、塊命名空間等。master.同樣能夠對系統活動(dòng)進(jìn)行管控,這些活動(dòng)涉及垃圾收集孤兒塊、塊遷移和管理塊租約等[6]。借助Heart-Beat消息,master能夠在特定時(shí)間同各chunkserver進(jìn)行溝通,搜集chunkserver狀態(tài),并將指令向其進(jìn)行傳輸。(3)文件系統API涵蓋于client代碼內,同時(shí)chunkserv-er、master能夠同client進(jìn)行有效通信,進(jìn)而支持系統讀寫(xiě)數據的操作。僅在元數據處理方面,master、client二者進(jìn)行交換,致使chunkserver與全部數據都能開(kāi)展通信活動(dòng),但是文件數據不能夠在chunkserver、client下進(jìn)行緩存,主要緣由為數據量極為龐大,而且工作集也相對較大。此外,由于client同chunkserver無(wú)需顧及文件數據的緩存一致與否的狀況,所以能夠使系統得到進(jìn)一步的簡(jiǎn)化,客戶(hù)程序也更加直接、有效。
五、結語(yǔ)
在網(wǎng)絡(luò )信息技術(shù)日益更新、發(fā)展的過(guò)程中,計算機存儲技術(shù)的應用更加廣泛,發(fā)揮的作用越來(lái)越重要。而面對GIS數據管理的需求,充分發(fā)揮計算機存儲技術(shù)的優(yōu)勢,能夠使數據管理的安全程度得到顯著(zhù)提升,同時(shí)是數據可用性也得到顯著(zhù)改善,加快了GIS技術(shù)的進(jìn)一步發(fā)展及實(shí)踐運用。
參考文獻
[1]劉軍,鞠建榮,劉清華.基于GIS的地鐵工程勘察數據庫管理系統的設計與實(shí)現[J].城市勘測,2012(1):167-169.
[2]吳蜜.嵌入式GIS的終端軟件設計分析[J].計算機光盤(pán)軟件與應用,2014(22):82-83.
[3]孟慶武,孟露,吳健等.基于UML的GIS空間數據管理系統的設計[J].北京測繪,2011,35(3):38-43.
[4]王璐.計算機存儲系統的管理技術(shù)探討[J].電子技術(shù)與軟件工程,2014(3):198.
[5]侯天鳳.巧用非計算機存儲信息健壯自己的密碼[J].數字通信世界,2017(9):19-21.
[6]劉瑜,徐愛(ài)鋒,張洪艷.GIS數據應用體系框架研究[J].測繪與空間地理信息,2011,34(2):157-158.
【計算機存儲技術(shù)對GIS數據管理的應用論文】相關(guān)文章:
GIS技術(shù)在寧國林業(yè)中的應用及展望論文03-15
有線(xiàn)電視GIS技術(shù)的應用論文03-17
GIS系統在電網(wǎng)規劃中的應用的技術(shù)分析論文03-17
計算機技術(shù)對通信技術(shù)的應用論文11-11
計算機應用技術(shù)論文06-08
通訊領(lǐng)域計算機技術(shù)的應用論文02-22
- 相關(guān)推薦