對于鐵路物資應用大數據管理解決方案的研究論文

　　鐵路物資應用大數據管理系統首先構建物資專(zhuān)業(yè)數據庫,需要補充和完善需要的數據項,構建物資專(zhuān)業(yè)全量數據體系,例如增加重要物資的生產(chǎn)日期,技術(shù)證件(復印件或圖片),驗收記錄,復檢復驗業(yè)務(wù)數據,質(zhì)量問(wèn)題圖片數據,供應商的生產(chǎn)許可數據、生產(chǎn)資質(zhì)(圖片)等數據;其次完善物資管理職能,豐富和增加基礎數據源,例如修舊利廢管理,廢舊物資管理等,在提高對廢、舊物資管理的同時(shí),完善物資管理數據源;系統通過(guò)歸集處理,完成對物資專(zhuān)業(yè)產(chǎn)生的數據、與物資有關(guān)的其他數據、來(lái)自互聯(lián)網(wǎng)上的相關(guān)數據,還包括手工編輯導入的數據等集中處理,將這些數據(結構化、非結構化)歸集到大平臺數據庫中,形成數據源;數據存儲和處理,采用大數據技術(shù)對歸集的數據源進(jìn)行清洗、轉換并存入不同的數據庫,并進(jìn)行匯總、挖掘處理,形成對外統一的大數據接口;數據查詢(xún)、分析和預測系統對處理后的大數據根據業(yè)務(wù)需求進(jìn)行各種統計、查詢(xún)和預測,達到讓數據張口,靠數據說(shuō)話(huà),減少因缺少數據支撐而帶來(lái)的偏差,降低決策風(fēng)險。

　　1 物資管理數據體系

　　在物資管理信息系統中,增加物資的生產(chǎn)日期、入庫驗收信息,相關(guān)技術(shù)證件、復檢復驗數據等;在物資質(zhì)量問(wèn)題反饋管理中增加質(zhì)量問(wèn)題圖片;增加物資屬性圖片及供應商的詳細信息(如生產(chǎn)規模、信譽(yù)等級、資質(zhì)、生產(chǎn)許可和認證等),建立物資專(zhuān)業(yè)基本信息庫,形成物資管理全量數據體。

　　1.1 完善物資管理職能

　　增加修舊利費管理子系統,對卸下的配件經(jīng)過(guò)維修再利用,提高物資的使用率;增加廢舊物資管理子系統,將報廢的各類(lèi)物資進(jìn)行分類(lèi)歸集,由物資處進(jìn)行統一處置,清算處理,沖減成本;增加物資質(zhì)量跟蹤管理子系統,與各專(zhuān)業(yè)的生產(chǎn)檢修系統進(jìn)行互聯(lián)互通,實(shí)現對物資采購、檢驗、使用、維修、報廢等全過(guò)程管理。

　　1.2 數據采集

　　數據采集就是從數據源收集、識別和選取數據的過(guò)程,隨著(zhù)業(yè)務(wù)的進(jìn)行,各類(lèi)數據的累積越來(lái)越大,如何有效地收集這些數據,保證采集數據的可靠性,避免重復數據,保證數據的質(zhì)量,是數據采集這個(gè)環(huán)節需要解決的。

　　數據采集分為兩個(gè)來(lái)源:數據來(lái)自應用系統之外,簡(jiǎn)稱(chēng)為外部采集;數據來(lái)自引用系統內部,簡(jiǎn)稱(chēng)為內部采集。外部采集主要來(lái)自物資經(jīng)營(yíng)的專(zhuān)業(yè)網(wǎng)站,例如東方財富網(wǎng)等其他一些網(wǎng)站,數據包括關(guān)注物資的價(jià)格變化數據,供應商的生產(chǎn)、銷(xiāo)售數據,價(jià)格數據;還包括國家統計部門(mén)發(fā)布的GDP、PPI和CPI等;包括總公司、路局專(zhuān)業(yè)處室的下一時(shí)間段的大修、更新項目計劃數據,主要用來(lái)分析和預測價(jià)格走勢,下一階段的物資采購預測等。

　　1.3 數據挖掘

　　數據挖掘作為一種決策支持過(guò)程,高度自動(dòng)化地分析企業(yè)的數據,做出歸納性的推理,從中挖掘出潛在的模式,幫助決策者調整市場(chǎng)策略,減少風(fēng)險,做出正確的決策。針對歸集的大量相關(guān)業(yè)務(wù)數據,進(jìn)行清洗、刪除和處理,保證數據的有效性和正確性,然后分析物資專(zhuān)業(yè)所關(guān)注各項內容(或關(guān)鍵指標)之間潛在的關(guān)系,找出影響分析結果的主、次因素,作為數據挖掘的基礎。

　　2 數據分析和展現

　　在大數據分析與業(yè)務(wù)協(xié)同的基礎上,利用基本分析引擎驅動(dòng)的圖形信息顯示功能,建立管理儀表盤(pán)跟蹤、分析、監控、預測關(guān)鍵指標和目標,實(shí)現對物資價(jià)格預測、需求和采購分析、質(zhì)量跟蹤、廉政風(fēng)險防控等業(yè)務(wù)決策模型的最終分析運用結果進(jìn)行展現。

　　2.1 重要物資價(jià)格變化趨勢

　　根據每月產(chǎn)生的采購價(jià)格,形成價(jià)格的直觀(guān)圖表,同時(shí)可以關(guān)聯(lián)相關(guān)數據預測未來(lái)一段時(shí)間內的價(jià)格走勢;也可以顯示歷史(一年前過(guò)兩年前的)變化,作為比較依據。

　　2.2 重要物資需求預測分析

　　根據物資大數據,可以分析預測出下年度的重要物資的需求數量,以便根據市場(chǎng)情況,提前做出采購預算,保證供應;分析結果可以通過(guò)報表或柱狀圖展示。

　　2.3 物資采購綜合分析

　　根據物資大數據,對物資采購的各項指標進(jìn)行綜合分析,包括采購周期、采購方式、物資使用方向、采購金額、供應商反饋及問(wèn)題投訴,從中發(fā)現可能存在的廉政風(fēng)險,強化陽(yáng)光采購。

　　2.4 庫存周轉與采購周期分析

　　根據物資專(zhuān)業(yè)大數據,對全局的庫存物資的周轉天數(能夠按照物資小類(lèi)、物資大類(lèi)等)及相對應的采購周期進(jìn)行分析,查找周轉天數差異,找出問(wèn)題所在,提高庫存的周轉率,杜絕庫存積壓、減少庫存資金占用;分析結果通過(guò)報表或圖形展現。3 技術(shù)方案總體架構。整個(gè)架構分為5層:數據源層,處于整個(gè)架構的最底層,包含物資管理系統及與之關(guān)聯(lián)的全部業(yè)務(wù)數據:結構化、半結構化和非結構化。獲取層:數據采集(ETL),負責對源數據的采集、清洗、轉換和加載,包括:把原始數據加載到Hadoop平臺。數據層:包括主數據倉庫、分布式數據庫及Hadoop云平臺,Hadoop云平臺負責存儲海量的單據數據,提供并行的計算和非結構化數據的處理能力,實(shí)現低成本的存儲和低時(shí)延、高并發(fā)的查詢(xún)能力;主數據倉庫(與MPP合設)負責存儲指標數據、KPI數據和高度匯總數據;分布式數據庫(MPP)負責存儲加工、關(guān)聯(lián)、匯總后的業(yè)務(wù)數據,并提供分布式計算、支撐數據深度分析和數據挖掘能力,向主數據倉庫輸出KPI和高度匯總數據。能力層:負責向上層的應用方提供大數據平臺能力,同時(shí)提供統一的數據開(kāi)放接口,使多方大數據應用方享用。應用層:為用戶(hù)提供大數據平臺的數據分析、查詢(xún)、挖掘等功能,實(shí)現對物資管理專(zhuān)業(yè)的需求預測、采購預期、價(jià)格走勢、物資質(zhì)量跟蹤、供應商績(jì)效考核等綜合分析。

　　3 安全方案

　　基于信息安全等級保護二級要求落實(shí)安全措施的要求,結合本系統的具體需求,在系統設計時(shí),應重點(diǎn)考慮應用安全、數據安全和網(wǎng)絡(luò )安全三個(gè)方面。

　　4.1 應用安全

　　應用安全是信息系統整體防御的最后一道防線(xiàn)。在應用層面運行著(zhù)信息系統的基于網(wǎng)絡(luò )的應用以及特定業(yè)務(wù)應用�；�于網(wǎng)絡(luò )的應用是形成其他應用的基礎,包括消息發(fā)送、web瀏覽等,可以說(shuō)是基本的應用。業(yè)務(wù)應用采納基本應用的功能以滿(mǎn)足鐵路物資管理信息系統的要求。由于各種基本應用最終是為業(yè)務(wù)應用服務(wù)的,因此對應用系統的安全保護最終就是如何保護系統的各種業(yè)務(wù)應用程序安全運行。

　　4.2 數據安全

　　系統處理的各種數據(用戶(hù)數據、系統數據、業(yè)務(wù)數據等)在維持系統正常運行上起著(zhù)至關(guān)重要的作用。一旦數據遭到破壞(泄漏、修改、毀壞),都會(huì )在不同程度上造成影響,從而危害到系統的正常運行。由于物資應用大數據管理系統的各個(gè)層面(網(wǎng)絡(luò )、主機、應用等)都對各類(lèi)數據進(jìn)行傳輸、存儲和處理等,因此,對數據的保護需要物理環(huán)境、網(wǎng)絡(luò )、數據庫和操作系統、應用程序等提供支持。各個(gè)“關(guān)口”把好了,數據本身再具有一些防御和修復手段,必然將對數據造成的損害降至最小。另外,數據備份也是防止數據被破壞后無(wú)法恢復的重要手段,而硬件備份等更是保證系統可用的重要內容。

　　4.3 網(wǎng)絡(luò )安全

　　網(wǎng)絡(luò )安全為物資應用大數據管理系統在網(wǎng)絡(luò )環(huán)境的安全運行提供支持。一方面,確保網(wǎng)絡(luò )設備的安全運行,提供有效的網(wǎng)絡(luò )服務(wù),另一方面,確保在網(wǎng)上傳輸數據的保密性、完整性和可用性等。該系統納入鐵路總公司、鐵路局網(wǎng)絡(luò )和信息安全保障體系中。

　　4.4 關(guān)鍵技術(shù)

　　大數據并非一項新技術(shù),其前身是商務(wù)智能BI,是一系列信息技術(shù)的集合。怎樣將數據中的價(jià)值挖掘出來(lái),并以直觀(guān)、清晰地方式展現在人們面前,是大數據解決的基本問(wèn)題。數據展現通過(guò)借助表格、圖片等手段,揭示隱藏在數據背后的模式與數據之間的關(guān)聯(lián)關(guān)系,它以簡(jiǎn)單、友好的方式將這種關(guān)系呈現給用戶(hù),可以有效地提升數據的使用效率。該系統包括數據采集、數據管理、計算處理、數據分析和數據展現5個(gè)技術(shù)環(huán)節。

　　數據存儲是大數據時(shí)代需要解決的重要問(wèn)題。目前,鐵路物資系統保存了大量的結構化數據,然而亟待解決的是海量半結構化和非結構化數據的存儲問(wèn)題。非結構化的數據主要采用對象存儲系統或分布式文件系統進(jìn)行存儲,本文采用Hadoop分布式文件系統。Hadoop基于一種開(kāi)源的理念實(shí)現的分布式文件系統;半結構化數據可以使用NoSQL數據庫HBase中存放;結構化數據存放在關(guān)系型數據庫Oracle或SQL Server中。HDFS(Hadoop Distributed FileSystem)是Hadoop的核心模塊之一,具有如下特點(diǎn):

　　在一個(gè)多節點(diǎn)塊集群存儲文件;在節點(diǎn)間復制模塊;主從架構;沒(méi)有文件更新;一次寫(xiě),多次讀;大數據塊順序讀模式;為批處理設計。大數據時(shí)代的數據有以下幾個(gè)特征:大體量(Volume)、多樣性(Variety)、大價(jià)值(Value)、時(shí)效性(Velocity)、準確性(Veracity)的5V特點(diǎn)。常規的數據分析僅僅是對己有數據的靜態(tài)分析,并不能進(jìn)行動(dòng)態(tài)的預測,而物資系統要求動(dòng)態(tài)實(shí)時(shí)的反應生產(chǎn)實(shí)際,所以該系統大數據分析的難點(diǎn)是動(dòng)態(tài)化、多維化和深度化。適用于大數據的技術(shù),包括大規模并行處理(Mpp)數據庫,數據挖掘電網(wǎng),分布式文件系統,分布式數據庫,云計算平臺,互聯(lián)和可擴展的存儲系統。

　　4 結語(yǔ)

　　5.1 實(shí)施策略

　　大數據平臺的建設工作量大、周期長(cháng)、涉及部門(mén)多,系統的實(shí)施應遵循統一指揮、統一規劃的原則,系統實(shí)施過(guò)程采用分步建設、試點(diǎn)先行的原則,在明確分工的基礎上,大力協(xié)同,科學(xué)實(shí)施,確保各項工作的有序推進(jìn)。

　　5.2 項目實(shí)施組織

　　成立物資應用大數據管理信息系統項目工作組,按照本方案有序推進(jìn)實(shí)施工作。項目工作組負責總體指導和統籌協(xié)調,解決系統工程建設中的重大問(wèn)題,確保按統一規劃和建設標準進(jìn)行實(shí)施;協(xié)調設計單位、相關(guān)接口系統的設計開(kāi)發(fā)單位、業(yè)務(wù)處室和站段直接的分工協(xié)作。

　　成立專(zhuān)家組負責業(yè)務(wù)指導和技術(shù)把關(guān),為項目開(kāi)發(fā)和實(shí)施過(guò)程中出現的問(wèn)題提供咨詢(xún)支持。成立項目總體組,負責項目總體設計、進(jìn)行任務(wù)分工、把握項目進(jìn)度、協(xié)調項目組內部工作等,下設數據組、軟件開(kāi)發(fā)組與實(shí)施組、質(zhì)量保證組。

　　物資應用大數據管理信息系統的建設可以有效地提升物資管理水平,可以對市場(chǎng)價(jià)格及路局下一階段重要物資的需求有一個(gè)相對準確的預判,根據大數據的預測提前部署物資的采購工作,可以保證全局的物資供應;通過(guò)大數據平臺的應用可以實(shí)現物資質(zhì)量跟蹤與供應商評價(jià)有機結合;實(shí)現對物資庫存數據的挖掘和分析,可以降低庫存物資,減少物資積壓,提高對廢舊物資的有效利用,對降低物資消耗有積極作用。

【對于鐵路物資應用大數據管理解決方案的研究論文】相關(guān)文章：

對于鐵路機車(chē)車(chē)輛運行故障監測診斷技術(shù)的研究與應用的分析論文03-15

GPRS技術(shù)在鐵路偏遠給水所的研究和應用論文03-16

鐵路運輸節能技術(shù)的應用論文03-17

計算機存儲技術(shù)對GIS數據管理的應用論文03-08

鐵路施工企業(yè)物資成本控制論文02-23

煤炭企業(yè)物資管理研究的論文11-10

鐵路專(zhuān)用線(xiàn)供電方案研究論文02-14

鐵路項目工程物資管理的相關(guān)問(wèn)題探討論文03-05

大數據制訂鐵路運輸物資的調運方案論文02-12