談數據整合技術(shù)在水利設計中的重要性
數據整合資源庫的數據都是一些統計和分析數據，怎樣淺談數據整合技術(shù)在水利設計中的重要性?
論文關(guān)鍵詞集成信息系統 數據整合 信息孤島
論文摘 要數據整合已經(jīng)成為未來(lái)水利設計單位進(jìn)一步發(fā)展的必經(jīng)之路，水利設計單位需要進(jìn)一步的發(fā)展和提高，就需要進(jìn)行數據整合。文章采用數據整合技術(shù)，充分整合綜合辦公管理、計劃經(jīng)營(yíng)管理、項目設計流程管理、圖檔管理數據資源，并建設成統一的數據集成平臺。利用這一數據集成平臺將四大數據資源，經(jīng)過(guò)抽取、規則轉換、清洗、加載，形成整合資源庫，為經(jīng)營(yíng)和戰略決策提供數據支持。
決策分析需要的數據通常都是統計數據，但在現有信息系統下進(jìn)行會(huì )比較復雜。原因有：①做出一個(gè)決策分析往往需要查詢(xún)多個(gè)基于各種異構數據源的信息系統和外部系統，并進(jìn)行大量數據分析，工作量大，數據利用率不高，且容易出現人為差錯。②現有信息系統平臺及開(kāi)發(fā)工具互不兼容，直接提取這些數據比較麻煩。③各個(gè)信息系統沒(méi)有統一的數據接口，也沒(méi)有通用的數據標準和規范，各個(gè)數據庫無(wú)法直接集成。④統計分析需要大量的歷史數據，但是歷史數據并不完整。
因此，為了適應決策信息系統建設的需要，我們采用數據整合技術(shù)，充分整合綜合辦公管理、計劃經(jīng)營(yíng)管理、項目設計流程管理、圖檔管理數據資源，并建設成統一的數據集成平臺。
1數據資源分析
數據整合資源庫的數據都是一些統計和分析數據，如項目進(jìn)度跟蹤管理統計、產(chǎn)值管理統計等，它們來(lái)源于生產(chǎn)數據，所以在數據整合之前，需對現有生產(chǎn)數據資源進(jìn)行歸類(lèi)�，F階段生產(chǎn)數據資源主要分為綜合辦公管鉀數據集、計劃經(jīng)營(yíng)管理數據集、項目設計流程管理數據集和圖檔管理數據集等。
1)綜合辦公管理數據集是實(shí)現人員基礎信息統一管理的基礎數據集。主要包括：①個(gè)人基本信息：包括個(gè)人信息庫等。②單位基本信息：包括單位基本信息庫、單位所屬分支機構信息庫等。③參數信息庫：包括代碼庫、圖表分析生成庫等。
2)計劃經(jīng)營(yíng)管理數據集主要包括：①市場(chǎng)信息：包括顧客信息資源庫、市場(chǎng)動(dòng)態(tài)信息庫、競爭對手信息庫等。②招投標管理信息：包括招標信息庫、投標信息庫、專(zhuān)家信息庫等。③合同信息：包括合同信息庫、收付款項信息庫、產(chǎn)品交付管理庫等。④資質(zhì)管理信息：包括資質(zhì)信息庫、資質(zhì)審核庫、資質(zhì)借用管理庫等。
3)項目設計流程管理數據集主要包括：①項目信息：包括項目立項信息庫、任務(wù)下達信息庫、項目組人員任命庫等。②項目任務(wù)分解：包括項目任務(wù)分解資源信息庫、關(guān)鍵路徑控制等。③網(wǎng)絡(luò )虛擬辦公室：包括項目動(dòng)態(tài)信息庫、中間成果管理庫、動(dòng)態(tài)分析庫等。④產(chǎn)品管理信息：包括產(chǎn)品校審信息庫、成果交付信息庫等。
4)圖檔管理數據集主要包括：①歸檔管理信息：包括資料預歸檔管理庫、資料歸檔管理庫等。②整編信息：包括檔案整編信息庫等。③借閱信息：包括人員信息庫、檔案借閱信息庫等。④電子檔案信息：包括電子檔案授權庫、電子檔案借閱管理庫等。⑤銷(xiāo)檔信息：包括銷(xiāo)毀檔案信息庫、銷(xiāo)毀人員信息庫等。
2數據整合的實(shí)現方式
水利設計單位集成信息系統數據庫大多為sqlserver數據庫，數據整合實(shí)現方式通�？梢圆捎脭祿䦷扉_(kāi)發(fā)技術(shù)和etl技術(shù)實(shí)現，以下分別介紹這兩種實(shí)現方式。
1)數據庫開(kāi)發(fā)技術(shù)。利用數據庫開(kāi)發(fā)技術(shù)的數據整合主要指利用數據庫本身的功能，如觸發(fā)器、pl/sql存儲過(guò)程、dblink等功能完成，完成對各個(gè)信息系統所需要數據的抽取、查詢(xún)和關(guān)聯(lián)等。
這種數據整合技術(shù)有如下優(yōu)勢：①適合于同種數據庫之間的數據集成。②投資少，基本都是靠開(kāi)發(fā)人員手工編程為主，只需要一些開(kāi)發(fā)費用。但是該數據整合實(shí)現技術(shù)也存在一些局限性。③擴展性較差。由于都是開(kāi)發(fā)人員手工編程，后期的維護成本較高，特別是在決策需求發(fā)生變化時(shí)，需要開(kāi)發(fā)人員修改程序源代碼。④數據整合效率問(wèn)題。由于數據庫都靠開(kāi)發(fā)商編寫(xiě)，在系統日趨龐大的情況下，在面對復雜的數據整合問(wèn)題上，效率難以得到保證。
2)etl技術(shù)。通過(guò)etl技術(shù)及專(zhuān)業(yè)etl軟件，即數據抽取(extract)、轉換(transform)、裝載(load)能將數據從原系統數據庫經(jīng)過(guò)抽取，進(jìn)行轉換，最后加載到目標數據庫，實(shí)現系統數據之間的整合。
該數據整合實(shí)現技術(shù)運用在水利設計單位集成信息系統有如下優(yōu)勢：①高效率。etl軟件的數據抽取、轉換、加載的效率非常高，特別對于大數據量的抽取。并且支持對oracle9i增量數據抽取。②改進(jìn)數據質(zhì)量。能夠根據各種條件校驗源數據和目標數據質(zhì)量，對垃圾數據進(jìn)行清洗。③強大管理功能。能夠通過(guò)web管理界面對數據抽取策略執行制定時(shí)間觸發(fā)方式，對抽取結果進(jìn)行分析等。④多平臺、多數據源支持。支持各種平臺、各種數據庫系統(如oracle、sqlserver等)以及不同版本數據庫之間的數據抽取。⑤具備多種數據轉換控件，能夠完成各種非常復雜的數據轉換工作。但是該數據整合實(shí)現技術(shù)也存在一些局限性：投資費用較為昂貴，實(shí)施周期通常較長(cháng)。
3數據整合的實(shí)施
數據整合實(shí)施工作分為4個(gè)階段。
1)第一階段為對信息系統原始數據分析階段。為了更加全面理解各種數據格式的含義，獲得各種相關(guān)文檔資源，因此首先要對信息系統原始數據進(jìn)行分析。該階段主要包括了解需要采集的數據結構定義和數據表之間的設計聯(lián)系。例如：我們對包括非電子數據、excel格式數據及其各種不同數據庫格式數據進(jìn)行分析。
2)第二階段為設計實(shí)施階段。為了不影響原始數據格式的改變及其調用，并保證它們的安全性，第二階段主要是定義數據整合規則及策略的設計實(shí)施階段。前者包括字段映射、合并、函數計算定義等。后者主要定義時(shí)間策略。
3)第三階段為數據校驗階段。為了不會(huì )產(chǎn)生各種不完整甚至錯誤信息，因此在系統正式運行之前，必須建立嚴格的數據校驗機制，以保證生產(chǎn)數據和整合平臺數據的一致性。例如：我們對導人的數據進(jìn)行校驗，主要標準為水利設計單位設計規范標準，并對校驗出來(lái)的問(wèn)題進(jìn)行處理，主要是人工處理確認。
4)第四階段為系統上線(xiàn)階段。將設計好的數據整合流程正式發(fā)布，并可設定計劃定時(shí)執行，系統管理人員可以通過(guò)監控界面，進(jìn)行任務(wù)監控和跟蹤。根據需求，管理人員還可修改計劃，合理安排數據轉換任務(wù)，以在規定的時(shí)間內完成所有的數據轉換和加載任務(wù)。
4結語(yǔ)
數據整合將改變原有的以部門(mén)和項目為中心的信息孤島局面，從而能夠實(shí)現整個(gè)水利設計單位的數據整合。原有的部門(mén)級、以項目為中心的運作方式，將可能使得各個(gè)項目的使用技術(shù)不盡相同，也使得項目的進(jìn)度依賴(lài)于開(kāi)發(fā)人員的編碼效率，從而使得整個(gè)水利設計單位的效率低下。
進(jìn)行整個(gè)單位的數據整合之后，就能夠在水利設計單位內部統一技術(shù)架構和標準，充分發(fā)揮團隊協(xié)作的效率。通過(guò)由數據整合進(jìn)行的數據移植、數據倉庫等，將能夠使得水利設計單位的數據整合成本大大下降。
參考文獻
[1]蔣東興,劉啟新.數字校園信息整合之我見(jiàn)[m].北京:清華大學(xué)計算機與信息管理中心,2003.
[2]周志達,徐先傳.數據倉庫中數據抽取、轉換及加載工具研究[j].北京理工大學(xué)學(xué)報,2003,23(6):720-723.
【談數據整合技術(shù)在水利設計中的重要性】相關(guān)文章：
談水利工程中巖石基礎灌漿技術(shù)02-22
簡(jiǎn)談水利施工中防滲新技術(shù)的應用03-27
談電子技術(shù)中單元電路的設計02-22
圍堰技術(shù)在水利施工中應用論文03-16
- 相關(guān)推薦