商場(chǎng)數據倉庫ETL系統架構設計

　　基于CWM的商場(chǎng)數據倉庫ETL系統架構的編碼實(shí)現擬采用Java語(yǔ)言。之所以選擇Java語(yǔ)言，不僅因為它是一種簡(jiǎn)單的、面向對象的、分布式的語(yǔ)言，并且具有平臺無(wú)關(guān)性和安全性等優(yōu)點(diǎn)，下面一起就和小編來(lái)了解了解!

　　一、ETL 概述

　　ETL是數據抽取(Extract)、轉換(Transform)、加載(Load)的簡(jiǎn)寫(xiě)，它是指：將各種異構數據源中的數據抽取出來(lái)，并將不同數據源的數據進(jìn)行轉換和整合，得出一致性的數據，然后加載到數據倉庫中。ETL工具，是數據倉庫系統的重要組成部分;是影響數據倉庫系統成敗的關(guān)鍵。

　　獲取ETL工具有兩個(gè)途徑：利用現有商品化ETL工具，雖然能縮短系統的開(kāi)發(fā)周期,但存在投資成本大,軟件的針對性、通用性、兼容性差的問(wèn)題。自行設計開(kāi)發(fā)一個(gè)標準通用的ETL工具，提高ETL的實(shí)用價(jià)值,降低項目實(shí)施的成本和風(fēng)險,具有重要的意義。

　　由于數據倉庫和數據源系統在數據格式、數據模型等方面存在很大差異，客觀(guān)上形成數據倉庫ETL實(shí)現過(guò)程很大的難度。在ETL的工作過(guò)程中，每步都和數據倉庫元數據密切相關(guān)。

　　按照傳統的定義，元數據(Metadata)是關(guān)于數據的數據。元數據支撐了數據倉庫開(kāi)發(fā)應用的全過(guò)程，成為數據從數據源到數據倉庫的橋梁。

　　數據抽取階段，沒(méi)有相應的映射規則，就無(wú)法知道需要抽取什么樣的數據;在將源數據存儲格式轉換為目標數據存儲格式時(shí)，需要知道源存儲格式和目標存儲格式的信息，以及相應的存儲格式之間的轉換規則;在數據加載階段，需要知道目標數據倉庫的數據結構和相關(guān)信息。所有這些信息，都需要元數據提供。

　　由此可見(jiàn)，ETL過(guò)程自始至終都需要元數據的支持和控制。正因為如此，要解決ETL開(kāi)發(fā)中的問(wèn)題，應當從相關(guān)的元數據著(zhù)手。

　　二、關(guān)于CWM 及其提供的工作機制

　　CWM(Common Warehouse Metamodel 公共倉庫元模型)是 國際對象管理集團OMG推出的數據倉庫元數據管理規范。CWM的主要目的是在分布異構環(huán)境下，使數據倉庫工具、工作平臺和元數據存儲庫之間易于進(jìn)行數據倉庫元數據的交換。

　　CWM基于以下三個(gè)工業(yè)標準制定：

　　1.UML(Unified Modeling Language統一建模語(yǔ)言)

　　作為目前最為風(fēng)行的建模語(yǔ)言,UML用于描述一般數據倉庫架構的元模型。

　　2.MOF (Meta Object Facility 元對象工具)

　　MOF是OMG元模型和元數據的存儲標準，用以定義存儲庫的結構、對外接口和交換格式的映射規則。

　　3.XMI (XML Metadata Interchange，XML元數據交換)

　　XMI是基于XML的元數據交換。定義如何用XML表示基于MOF的元數據，使元數據以XML文件流的方式進(jìn)行交換。

　　基于上列三個(gè)標準，CWM為數據倉庫工具之間共享元數據，制定了一整套關(guān)于模式、語(yǔ)法和語(yǔ)義的規范。主要包括：

　　(1)CWM元模型(Metamodel)：描述數據倉庫系統共享的元模型。它由一系列子元模型構成。

　　(2)CWM XML:CWM元模型的XML表示。

　　(3)CWM DTD:DW/BI共享元數據的交換格式。

　　(4)CWM IDL:DW/BI共享元數據的應用程序訪(fǎng)問(wèn)接口。

　　基于CWM的數據倉庫元數據轉換和管理模型可用圖1表示。從圖1不難理解，元數據庫也是基于CWM標準，通過(guò)CWM元模型映射構建。CWM 以UML 的元模型為基礎，針對數據倉庫領(lǐng)域的應用，使用特定的元類(lèi)、元關(guān)系，將來(lái)自各異構數據源和數據倉庫各個(gè)組件中的元數據，通過(guò)CWM XML、CWM DTD、CWM IDL 三個(gè)規范，轉化為XML 文檔。為數據倉庫元數據管理提供了滿(mǎn)足元數據交換所需的語(yǔ)法和語(yǔ)義規范的、方便元數據交換和元數據存儲的XML文件。

　　三、基于CWM的數據倉庫ETL系統架構

　　1.基于CWM的ETL系統架構

　　在研究ETL和CWM的基礎上，設計出基于CWM的數據倉庫ETL過(guò)程的系統架構。

　　2.系統架構的結構分析

　　(1)ETL子系統結構

　　ETL子系統結構由五個(gè)模塊組成。即：系統調度模塊、元數據管理模塊、數據抽取模塊、數據轉換模塊和數據裝載模塊。其中，數據抽取模塊負責將超市業(yè)務(wù)系統的原始數據進(jìn)行抽取并保存到臨時(shí)數據庫中;數據轉換模塊負責對抽取出來(lái)的數據進(jìn)行清洗、轉換和計算匯總;數據裝載模塊負責將經(jīng)過(guò)清洗、轉換的、符合目標數據模型的數據裝載到目標數據庫中。以上三個(gè)模塊的活動(dòng)被系統調度模塊統一調度，結合元數據管理模塊對整個(gè)ETL過(guò)程進(jìn)行統一控制，用以實(shí)現ETL各步驟的定時(shí)觸發(fā)、正常執行和異�？刂频冗^(guò)程。

　　(2)CWM對系統元數據的規范

　　整個(gè)架構以CWM元模型庫為基礎，通過(guò)CWM工作機制，把各個(gè)層次的元數據規范化后，存儲在元數據庫中，再由元數據管理模塊支撐并控制整個(gè)架構的運行。

　　(3)建立集中式元數據庫

　　為了便于對數據倉庫的元數據進(jìn)行有效管理，按照通用的元數據管理標準建立一個(gè)集中式的元數據庫。在所建元數據庫中，通過(guò)建立“信息模型”的方法對元數據進(jìn)行分類(lèi)，并建立分類(lèi)存儲的、通用的信息目錄。把技術(shù)元數據和商業(yè)元數據存儲在不同的信息目錄中。便于適應不同的服務(wù)目標、不同的元數據結構的存儲和管理。元數據信息目錄面向數據倉庫的應用程序。應用程序可以通過(guò)訪(fǎng)問(wèn)該目錄，使用、存儲、管理元數據;用戶(hù)也可以通過(guò)該目錄，對元數據進(jìn)行瀏覽、查詢(xún)和使用。整個(gè)架構，都集中在元數據的統一控制之下。

　　四、CWM對ETL提供的技術(shù)支持分析

　　1.CWM元模型結構

　　由于系統架構建立在CWM元模型基礎之上，CWM通過(guò)對元數據的統一規范和管理，實(shí)現了對整個(gè)架構的支持。

　　為了便于分析CWM對ETL子系統中各個(gè)模塊的支持,圖3給出了CWM元模型結構示意圖。在CWM的總體結構中,可分為5個(gè)層次，由若干互不相同但又緊密相關(guān)的子元模型包構成。圖中灰色部分是CWM對ETL子系統有著(zhù)直接聯(lián)系和支撐CWM元模型包。

　　2.對數據抽取模塊的支持

　　在CWM的資源層中，五個(gè)元模型分別對五種不同的數據源進(jìn)行了建模。五種數據源格式分別是：面向對象的數據格式、關(guān)系型數據格式、記錄型數據格式、多維數據格式和XML數據格式。這五個(gè)元模型所描述的數據格式相當齊全，利用它們，可以把商場(chǎng)常用的、歷史遺留的數據源都描述出來(lái)。從而得到各種不同格式的數據源的元數據，為ETL對數據源的抽取過(guò)程提供了支持。

　　3.對數據轉換模塊的支持

　　ETL的核心還是在于“T”這個(gè)過(guò)程，也就是轉換過(guò)程。而抽取和裝載一般可以作為轉換的輸入和輸出，因此，我們重點(diǎn)研究了CWM對數據轉換過(guò)程的支持。

　　在CWM分析層中，轉換包對ETL過(guò)程進(jìn)行了詳細的描述。轉換包的主要作用是：將一次轉換活動(dòng)的數據源和目標準數據關(guān)聯(lián)起來(lái)，同時(shí)支持“黑盒”和“白盒”轉換，可將一組轉換組成一個(gè)邏輯單元。一次轉換可以將一組源對象轉換成一組目標對象。數據對象集合可以是任何模型元素，但通常是表、字段或者內存對象。

　　CWM管理層中的數據倉庫操作包，記錄了數據倉庫的三個(gè)重要事件。其中的轉換執行事件定義了記錄轉換活動(dòng)結果的類(lèi)。在轉換完成之后，轉換活動(dòng)的結果可被活動(dòng)執行類(lèi)和步驟執行類(lèi)記錄。這個(gè)記錄行為是對發(fā)生在數據倉庫操作包中的一個(gè)內部事件、或者其他類(lèi)似方式的回應，為每個(gè)轉換執行記錄開(kāi)始、結束時(shí)間，各種進(jìn)展和結果的指標。便于需要時(shí)查詢(xún)。

　　4.對數據調度模塊的支持

　　系統調度模塊負責對ETL過(guò)程進(jìn)行統一調度和異�？刂�，保證ETL正常運行。在CWM的管理層中，數據倉庫處理包描述了數據倉庫處理(實(shí)際上就是轉換過(guò)程)的調度方面的信息。在數據倉庫處理包中，定義了能夠觸發(fā)轉換活動(dòng)執行的一系列事件。這些事件控制了數據轉換過(guò)程的調度。

　　5.對數據裝載模塊的支持

　　數據裝載模塊負責將經(jīng)過(guò)清洗、轉換的、符合目標數據模型的數據裝載到目標數據庫中。在CWM的支持下，完成了對源數據的抽取和轉換，在系統元數據的控制下，把正確的數據加載到數據倉庫中，就是一件極其簡(jiǎn)單的事了。

　　總之，CWM為ETL 提供的技術(shù)支持，為ETL各個(gè)功能模塊的實(shí)現奠定了基礎。為系統架構的實(shí)施提供了條件。同時(shí)，也保證了ETL子系統的通用性和可擴展性。

【商場(chǎng)數據倉庫ETL系統架構設計】相關(guān)文章：

系統架構設計模式大全08-22

基于云架構的系統安全設計08-08

系統架構設計師要素01-11

MES系統安全架構設計09-19

系統架構設計師考試之路01-11

三層架構的商務(wù)智能系統設計12-25

系統架構設計師考試報考條件12-30

系統架構設計師輔導：處理圖像01-11

系統架構設計師考試報考指南06-19

系統架構設計師：優(yōu)化顯示速度01-11