數據管理培訓心得體會(huì )
數據管理培訓心得體會(huì )1
8月16日至19日,我有幸參加了在哈爾濱舉辦的數據集成與數據分析的高級培訓班。報完名后,工作人員給我發(fā)放了本次培訓教材。拿到培訓教材后,我趕緊瀏覽了一遍,對本次培訓的全部知識點(diǎn)有了大致了解,這次培訓內容主要包括如下內容:商業(yè)智能、數據集成實(shí)戰、數據倉庫與多維數據建模、數據分析方法以及OLAP分析演示。本次培訓方式采取老師在每介紹完相關(guān)知識后,再介紹微軟在該方面的解決方案,如:SQL數據庫中的SSAS、SSRS等。通過(guò)三天緊張的培訓,主要的心得體會(huì )是商業(yè)智能核心技術(shù)—數據倉庫的功能非常強大,具有數據抽取、清洗、加載、集成、分析以及將快速得出的分析結果進(jìn)行各種圖形化展示功能,可以通過(guò)MSExcel將數據庫中的圖形效果直接展示給用戶(hù),也可以通過(guò)Servlet和FLASH技術(shù)在門(mén)戶(hù)或決策支持系統進(jìn)行展示。
一、數據倉庫與主數據管理的關(guān)系
(一)共同之處:
減少數據冗余和不一致性,提升對數據的洞察力,都是跨業(yè)務(wù)系統的。
依賴(lài)很多相同的技術(shù)手段,都涉及到ETL技術(shù)、都強調數據質(zhì)量。
建設方法類(lèi)似,都需要數據規范作指導,都需要統一的安全策略。
(二)不同之處:
處理類(lèi)型不同:主數據管理(MDM)系統是偏實(shí)時(shí)交互的應用,為各個(gè)業(yè)務(wù)系統提供聯(lián)機交易服務(wù);而數據倉庫是面向是分析型的應用,是在大量歷史數據的基礎上進(jìn)行多維分析。
實(shí)時(shí)性不同:主數據管理在運行中要大量依賴(lài)實(shí)時(shí)整合的方式來(lái)進(jìn)行主數據的集成和同步,對實(shí)時(shí)性要求高,而數據倉庫存儲的是歷史數據,對實(shí)時(shí)性要求較低。
數據量不同:數據倉庫存儲的是海量的歷史數據和各個(gè)維度的匯總數據,而主數據管理存儲的僅僅是組織機構、項目工程等基本信息,存儲的數據量較小。
服務(wù)對象不同:主數據管理的服務(wù)對象是服務(wù)對象是OA、人力資源、供應鏈、財務(wù)等業(yè)務(wù)系統,而數據倉庫的服務(wù)對象是各層領(lǐng)導和業(yè)務(wù)分析、業(yè)務(wù)決策人員等。
二、數據倉庫與數據集市、ODS(操作數據倉庫)的關(guān)系
數據倉庫:存儲歷史的業(yè)務(wù)處理明細數據和維度的匯總數據。
數據集市:為滿(mǎn)足各種特定分析需要,存儲個(gè)性化分析匯總后的數據,為用戶(hù)提供快捷的訪(fǎng)問(wèn)。
ODS:存儲實(shí)時(shí)的業(yè)務(wù)數據。
三、數據倉庫的設計
(1)數據倉庫的設計不可能一步到位,應按用戶(hù)需求和業(yè)務(wù)需要逐步完善。
(2)數據倉庫的設計范式應滿(mǎn)足第三范式,即雪花型數據模型設計。
(3)數據倉庫的設計盡量不使用視圖,而使用事實(shí)表,并且表之間一定要有嚴格的約束。
(4)數據倉庫事實(shí)表中要設置自身的主鍵(建議創(chuàng )建數字主鍵),不建議使用業(yè)務(wù)系統中的主鍵,盡管可能是一樣的,可以將其設置為事實(shí)表的代理健;盡量不用業(yè)務(wù)系統中的“備注”字段,避免引用描述性屬性;字段類(lèi)型為字符類(lèi)型的,使用nvarchar,而不用varchar。
(5)數據權限的控制:數據庫角色的權限只能控制到表的操作權限,而數據倉庫的角色可以控制到數據倉庫中字段的操作權限。
(6)根據業(yè)務(wù)分析需要,當數據倉庫中的數據超過(guò)了分析周期時(shí),可以將其遷移到磁帶庫中。
四、數據抽取和數據挖掘
(1)數據抽取有兩種方式:增量抽取和完全抽取。增量抽取中推薦采用時(shí)間戳法抽取,當數據更新量不大時(shí),可以采用觸發(fā)器法抽取。增量抽取方法并不一定優(yōu)于完全抽取方法,需要根據實(shí)際情況進(jìn)行選擇。
(2)數據抽取ETL的過(guò)程需要被監控,對抽取失敗的數據應重新同步。
(3)數據挖掘的方法有:決策樹(shù)、聚類(lèi)、時(shí)間序列、貝葉斯、關(guān)聯(lián)、神經(jīng)網(wǎng)絡(luò )、邏輯回歸、線(xiàn)性回歸、文本挖掘。
五、數據分析SSAS
(1)OLAP分析的維度、層次、Cube的了解
根據Cube新建向導,創(chuàng )建Cube,將維度和層次引入,利用MDX查詢(xún)多維數據,并根據需要,可以選擇KPI中的“值”、“目標”、“狀態(tài)指示燈”、“趨勢”、“趨勢信號燈”方式進(jìn)行展示,展示后,可以對其單元格中的數據進(jìn)行數據鉆取獲取明細數據,每次鉆取都會(huì )向數據倉庫發(fā)出一條查詢(xún)語(yǔ)句。
(2)聚類(lèi)分析
聚類(lèi)分析有三種:MOLAP、ROLAP、HOLAP。MOLAP是將聚合數據和明細數據都存放在Cube中,是非實(shí)時(shí)的,存放于一個(gè)文本文件;ROLAP是實(shí)時(shí)的,只存放Cube框架,包括層次、維度等,用戶(hù)在進(jìn)行分析時(shí),數據需要進(jìn)行實(shí)時(shí)統計分析;HOLAP介于MOLAP與ROLAP之間,聚合數據存放在Cube中,明細數據仍存放在數據倉庫中。推薦使用MOLAP。
(3)報表分析SSRS
可以通過(guò)報表分析對事實(shí)表或數據表以及矩陣進(jìn)行任意的集成,展示后,不能對其單元格中的數據進(jìn)行數據鉆取獲取明細數據。
數據管理培訓心得體會(huì )2
3月24日我參加了“全國數據管理學(xué)習班”的培訓,通過(guò)三天的學(xué)習,感覺(jué)收獲良多,回到公司,我在部門(mén)進(jìn)行了三次集中培訓,將所學(xué)的知識共享給大家,大家反應很好,并引發(fā)了很多的討論,F就學(xué)習與部門(mén)培訓情況簡(jiǎn)單總結如下:
“全國數據管理學(xué)習班”共分三天的課程:
第一天,由高復先教授講解《信息資源規劃》,主要講解了IRP的概念、重要性、原理及實(shí)施步驟,結合眾多案例,生動(dòng)地對IRP的整個(gè)理念及實(shí)施過(guò)程進(jìn)行了介紹。之前我也一直在關(guān)注這一理論的發(fā)展,高復先是這一理論的發(fā)起者,他通過(guò)對國外數據管理的多年研究,經(jīng)過(guò)引進(jìn)、消化、吸收和創(chuàng )新過(guò)程,使得這一理論在中國的大地上開(kāi)花并結果,付出了很多的.心血。通過(guò)他的親身講授,我更加深刻地領(lǐng)會(huì )到了他理論的精髓。
第二天,《知識管理與數據挖掘》,由信息產(chǎn)業(yè)部系統集成室主任,清華大學(xué)研究生蔣波主講,主要講授了知識管理的原理及實(shí)施過(guò)程,并通過(guò)幾個(gè)典型案例引申出數據挖掘的重要性,對知識管理和數據挖掘領(lǐng)域現今廣為流行的應用工具也多有涉獵,應該說(shuō)這些內容,是我們將來(lái)發(fā)展到領(lǐng)導決策支持應用階段時(shí)應該考慮的內容,因此具有很強的前瞻性和可參考性。
第三天,由業(yè)界知名人士楊大川講授《商業(yè)智能》,商業(yè)智能(BI)是目前信息化發(fā)展的最高境界,但是它需要有強大的和海量的數據做基礎,它是領(lǐng)導決策的智能化工具,目前有很多企業(yè)在用一些BI的工具來(lái)進(jìn)行客戶(hù)和市場(chǎng)的分析,他們從浩瀚的數據庫中鉆取自己有用的信息來(lái)進(jìn)行決策層的智能分析,我想這應該是我們發(fā)展的目標和方向。
回公司后,我針對自己所學(xué)的知識,找出自己領(lǐng)會(huì )最深刻、與目前我們公司信息發(fā)展關(guān)系最密切的部分專(zhuān)門(mén)制作了PPT,向各位同事做了匯報和交流,由于大家對這些內容的濃厚興趣,使得本來(lái)打算利用晚上兩個(gè)小時(shí)講完的內容,分了三個(gè)晚上共十多個(gè)小時(shí)才完成。
通過(guò)學(xué)習匯報,我感覺(jué)大家對我所學(xué)到的東西有了一個(gè)整體認識,通過(guò)內部交流,也更加加速了消化和吸收,當然更重要的是在今后的工作中自覺(jué)地結合所學(xué)達到致用的目的。
數據管理培訓心得體會(huì )3
這段時(shí)間,公司出錢(qián)讓我們幾人去參加培訓了,項目數據分析師培訓,講師全部都是從北京請過(guò)來(lái)的,都是該領(lǐng)域的專(zhuān)家級人物,既有扎實(shí)的理論經(jīng)驗,也有豐富的實(shí)戰經(jīng)驗。雖然老師的實(shí)戰經(jīng)驗學(xué)不到多少,但是老師給予的精彩講解,也讓我學(xué)到了許多有用的東西,自己可以在以后的工作中積累實(shí)踐經(jīng)驗。
培訓期間老師給我們看了他操作的一些實(shí)用軟件,還包括配色軟件,雖然自我感覺(jué)配色還行,但是沒(méi)軟件應用起來(lái)方便。還有他自己做的一些“系統”,這些系統都是EXCEL與水晶易表做的。在這之前我就了解過(guò)EXCEL做的系統是怎樣做的,但自己還未曾去動(dòng)手做過(guò),不過(guò)也學(xué)了一些之前都沒(méi)用過(guò)的EXCEL小技巧。
另外一個(gè)水晶易表這個(gè)軟件在老師上課的時(shí)候就我一個(gè)人知道,其實(shí)是在去年就知道了,也拿到了中文版教程和軟件,也與部分朋友分享過(guò),但因為當時(shí)這個(gè)軟件看起來(lái)不是非常實(shí)用,加上工作忙、軟件是英文的,所以就沒(méi)去研究它,F在再來(lái)看這個(gè)軟件,在老師的手中居然可以那樣出神入化,這樣再一次激發(fā)我去學(xué)習水晶易表的欲望,在課間已經(jīng)請教了老師一些基本操作,剩下的就是進(jìn)行動(dòng)手實(shí)踐及深入研究動(dòng)態(tài)鏈接。
這次主要由于參加培訓的學(xué)員大部分都沒(méi)接觸過(guò)數據分析,所以老師也沒(méi)深入講授數據挖掘,后來(lái)再我們的要求下就繼續介紹了一些。當然也從培訓學(xué)到了一些分析方法,不過(guò)那些方法都是在最基本一些原理基礎上的,如:正態(tài)分布、余弦定理、邊緣分布等,這些都是基本原理,但我們都忘光了,也不知道可以應用在這些方面,現在更加體會(huì )到中國的教育與社會(huì )實(shí)際脫節的嚴重性。在老師面前我都不敢說(shuō)我是學(xué)數據分析專(zhuān)業(yè)的,自己的專(zhuān)業(yè)都沒(méi)有應用在實(shí)際工作中,真是慚愧。
數據分析在我來(lái)現在的公司前就已經(jīng)意識到將在我現在的工作具有重要的作用,之前也想過(guò)要進(jìn)行學(xué)習,但是看了一點(diǎn)資料不知道為什么就沒(méi)繼續下去了,可能是看了大堆的文字資料,覺(jué)得有些枯燥。老師也提到如果之前就去看書(shū)一般是看不進(jìn)去的,沒(méi)有什么效果,或者說(shuō)沒(méi)有感覺(jué),只有自己去動(dòng)手操作后,遇到一些困難問(wèn)題,再去看書(shū),這樣才能理解書(shū)中的內容,想想是非常有道理的。
通過(guò)這次的數據分析師培訓,讓我了解到了國內數據分析行業(yè)目前的發(fā)展狀況和未來(lái)良好的發(fā)展趨勢,也堅定了我從事數據分析的信心和決心。
【數據管理培訓心得體會(huì )】相關(guān)文章:
試論電子商務(wù)數據管理08-08
人力資源數據管理技巧09-25
現場(chǎng)培訓心得體會(huì )-培訓心得體會(huì )12-31
酒店培訓的心得體會(huì )-培訓心得體會(huì )12-21
如何做好營(yíng)銷(xiāo)數據管理提高企業(yè)收益08-28
直升機試飛試驗數據管理的論文10-04