關(guān)于基于大數據的分布網(wǎng)絡(luò )安全管理系統構建的論文

　　摘要：在社會(huì )發(fā)展進(jìn)程中, 在傳統安全管理平臺上大量多源異構安全數據提供相應的參考, 比如說(shuō)數據收集、安全風(fēng)險以及安全警示等等。本文則針對大數據安全問(wèn)題, 依照開(kāi)源分布式組件實(shí)施大數據分布式安全管理平臺設計, 在內置關(guān)聯(lián)分析應用中, 以此顯著(zhù)提升安全數據分析能力, 能夠對傳統安全管理平臺數據管理中存在的相關(guān)問(wèn)題有效處理, 分布式部署的應用有助于提升管理平臺的使用率及擴展性。

　　關(guān)鍵詞：大數據; 分布式; 網(wǎng)絡(luò )安全管理;

　　在移動(dòng)互聯(lián)網(wǎng)及物聯(lián)網(wǎng)技術(shù)發(fā)展環(huán)境下, 在社會(huì )不同行業(yè)中的應用也逐漸廣泛。據調查, 世界內互聯(lián)網(wǎng)運營(yíng)企業(yè)每年的用戶(hù)數據增長(cháng)速度非�？�。隨著(zhù)新技術(shù)及新研究方式的出現, 在人類(lèi)的生活及工作中, 大量的數據被廣泛應用, 對于互聯(lián)網(wǎng)運營(yíng)企業(yè)及國家單位等來(lái)講海量數據更是發(fā)展基礎, 在人類(lèi)發(fā)展中大量數據進(jìn)一步提高了價(jià)值。數據類(lèi)型不同, 則會(huì )進(jìn)一步提升數據處理的難度, 因此需要強化大數據管理及處理。

　　1 大數據分布式網(wǎng)絡(luò )安全管理平臺設計

　　圖1是大數據分布式網(wǎng)絡(luò )安全管理平臺評估設計。由此能夠發(fā)現在管理平臺設計中, 實(shí)現方式則是在數據處理過(guò)程中, 將其分成數據源、預處理、數據收集、存儲分析以及展示五層。其中最基礎的則是數據源, 也就是將相關(guān)數據輸入到系統中。在數據庫中Kafka組件存儲所收集的數據, 并在此基礎上實(shí)施數據處理。數據預處理是實(shí)現數據的標準化管理。數據處理則可以分成兩種, 其中分別是非結構化及結構化, 大數據計算則是在Nana組件應用下深入挖掘離線(xiàn)例數數據, 并對相關(guān)數據流實(shí)施相應的計算。數據展開(kāi)層能夠有效展示相關(guān)數據, 例如其中包括的網(wǎng)絡(luò )安全態(tài)勢信息以及預警信息等等[1]�，F代網(wǎng)絡(luò )安全分析主要是以日志和流量?jì)煞N數據, 并且還配以用戶(hù)行為、訪(fǎng)問(wèn)、漏洞、資產(chǎn)、業(yè)務(wù)行為、應用行為及外部情報等信息進(jìn)行關(guān)聯(lián)分析。其中日志分析主要包括安全審計、網(wǎng)絡(luò )安全風(fēng)險分析和主機入侵檢測�；�于流量安全分析主要包括異常流量檢測、惡意代碼檢測、web安全分析、僵木蠕檢測及網(wǎng)絡(luò )入侵檢測等。融入大數據分析技術(shù), 在此種安全應用技術(shù)整合流量數據, 利用高效收集、存儲、檢索及分析有效提高安全檢測及信息處理的效率, 降低分析和反應時(shí)間。在安全數據收集方面, 為了能夠實(shí)現海量數據的快速收集, 可以使用Flume、Chukwa等工具, 利用分布式收集實(shí)現每秒數百兆日志數據收集和傳輸。對于流量可以使用功能傳統流量鏡像方式實(shí)現全流量數據收集。

　　圖1 基于大數據的分布式網(wǎng)絡(luò )安全管理平臺架構

　　2 大數據分布式網(wǎng)絡(luò )安全管理平臺流程設計

　　圖2能夠發(fā)現, 在數據流計算完成后則需要依照實(shí)際需求, 對相關(guān)數據進(jìn)行強化處理, 例如補充資產(chǎn)編號以及地理信息等等。之后構建數據索引, 在實(shí)時(shí)索引中保存處理, 在此過(guò)程中數據量會(huì )出現明顯增加, 在HBase中可以長(cháng)時(shí)間保存相關(guān)數據。在處理過(guò)的數據之后也就會(huì )減少數據量。一旦觸發(fā)告警信息, 則會(huì )出現告警數據, 在展示層中可以將HBase中的數據實(shí)施警處理。機器學(xué)習模塊可以進(jìn)行數據自動(dòng)化分析, 數據智能安全關(guān)聯(lián)之后所得結果也會(huì )被保存在HBase中�，F代先進(jìn)技術(shù)在機器學(xué)習數據中的應用, 有助于實(shí)現人工無(wú)法實(shí)現的目標, 能夠引導工作人員找到數據詳細點(diǎn), 以此進(jìn)行數據挖掘[2]。

　　分布式數據庫技術(shù)在數據存儲中的有效應用, 具有重要應用優(yōu)勢。傳統數據存儲規模較小, 也比較單一, 在當前海量數據環(huán)境下無(wú)法有效實(shí)施數據處理, 針對這一問(wèn)題, 分布式數據庫管理的應用則能夠進(jìn)一步提升大數據的擴展性及適用性�，F代分布式數據庫管理平臺的應用也隨之廣泛, 例如Bigtable技術(shù)的應用, 可以在數據操作及管理過(guò)程中將數據訪(fǎng)問(wèn)信息轉換為字符串, 實(shí)現數據信息管理, 字符串不必解釋也就能夠呈現出分布式數據的非結構化及結構化特點(diǎn), 可以實(shí)現數據庫的文本、上接第183頁(yè)無(wú)法滿(mǎn)足需求, 在此背景下就產(chǎn)生了分布式數據庫。對于現代大數據及網(wǎng)絡(luò )方面存在的多種問(wèn)題, 就要設計全新的分布式網(wǎng)絡(luò )安全管理平臺, 從而為大數據提供實(shí)時(shí)的數據收集、檢索和存儲等多種功能。通過(guò)實(shí)驗表示, 本文所設計的分布式網(wǎng)絡(luò )安全管理平臺能夠有效提高大數據的處理能力, 能夠在大量日志備份、檢索和網(wǎng)絡(luò )報文收集及分析中使用。圖像以及視頻等不同存儲類(lèi)型, 以此提高系統管理便利性。Dynamo技術(shù)在數據庫技術(shù)中的應用, 能夠借助于鏈值存儲、分布式數據等相關(guān)技術(shù), 最大化的提升系統運行管理中大數據管理系統應用效率, 進(jìn)一步推進(jìn)關(guān)系型數據庫次序發(fā)展。在智能化技術(shù)發(fā)展進(jìn)程中, 在分布式數據庫中則出現多種算法, 其中主要包括有機器學(xué)習、神經(jīng)網(wǎng)絡(luò )及模式識別等等, 有助于顯著(zhù)提升數據的快速處理, 也有助于顯著(zhù)提升數據處理一致性[3]。

　　圖2 分布式網(wǎng)絡(luò )安全管理平臺流程

　　(文件1:文件內容直接在HDFS中存儲, 文件元數據在HBase中存儲;聚合2:輕度匯總數據保存一年;數據存儲3:不同存儲模塊數據的保留時(shí)間能夠配置Nana, 長(cháng)期存儲和短期數據索引)

　　在當前環(huán)境下, 海量數據存儲也逐漸加大, 傳統數據管理模式已經(jīng)無(wú)法有效滿(mǎn)足當前數據處理需求, 因此針對這一問(wèn)題廣大研究人員積極展開(kāi)研究�；�于研究方向差異, 數據管理中的可用性、擴展性以及緩存等各個(gè)方面均已經(jīng)取得一定的新研究成果。例如全域名空間, 則不用提供文件姓名, 借助于姓名, 也就能夠在系統中應用文件。在此過(guò)程中也能夠對復數服務(wù)器起到協(xié)調作用, 系統被分成若干個(gè)部位, 各個(gè)部位內容之間相互獨立同時(shí)也具有密切聯(lián)系。分布式系統擴展性的實(shí)現, 也就是進(jìn)一步提高系統性能及容量, 采用的技術(shù)主要為虛擬化存儲, 以此進(jìn)一步提高系統擴展性。在系統中信息處理主要方式有降載算法和貪心算法, 前者能夠優(yōu)化系統各個(gè)流程, 但是這一算法應用沒(méi)有綜合考慮到局部問(wèn)題。數據過(guò)程中系統應用存在一定限制, 降載算法在數據處理中的應用, 一旦出現系統過(guò)載會(huì )直接放棄, 對其應用范圍產(chǎn)生影響[4]。

　　3 實(shí)驗分析

　　大數據分布式網(wǎng)絡(luò )安全管理系統的設計選用的是B/S架構, 在管理過(guò)程中選用的是統一和集中管理。隔離環(huán)境下, 對分布式網(wǎng)絡(luò )安全管理平臺進(jìn)行測試, 具體過(guò)程見(jiàn)圖3。在Node1-Node11、模擬流量一級模擬日志收集器的應用下, 實(shí)現和交換機的有效集合, 在此基礎上進(jìn)行局域網(wǎng)設計。日志收集器的應用, 能夠將具體的日志樣本進(jìn)行轉換, 從而編程日志數據, 最后在PC模型的應用之后, 完成網(wǎng)絡(luò )流量的發(fā)送。

　　圖3 系統的實(shí)驗測試拓撲

　　基于以上研究結果可以確定拓撲能夠實(shí)現大數據集群和分布式收集器網(wǎng)絡(luò )配置, 大數據集群的應用下導入大量的數據。在大數據應用中進(jìn)一步提高訪(fǎng)問(wèn)記錄檢索精確性, 依照檢索時(shí)間也就能夠達到所需數據, 還能夠顯著(zhù)減少使用時(shí)間。

　　4 結語(yǔ)

　　隨著(zhù)計算機網(wǎng)絡(luò )技術(shù)的發(fā)展及應用, 大量的數據也在不斷增長(cháng), 網(wǎng)絡(luò )中的問(wèn)題也越來(lái)越突出。大數據作為全新的顛覆性技術(shù), 為大量數據的處理提供了多種可能性。

　　參考文獻

　　[1]章翔凌, 楊永群, 黃勤龍等.基于大數據分析的應用安全態(tài)勢系統設計與實(shí)現[J].信息安全與技術(shù), 2017, (z1) :54-59.

　　[2]王海燕.芻議面向大數據分析的分布式文件系統關(guān)鍵技術(shù)[J].網(wǎng)絡(luò )安全技術(shù)與應用, 2015, (3) :41-42.

　　[3]黃天恩, 孫宏斌, 郭慶來(lái)等.基于電網(wǎng)運行大數據的在線(xiàn)分布式安全特征選擇[J].電力系統自動(dòng)化, 2016, (4) :32-40.

　　[4]陳康, 黃劍, 劉建楠.分布式協(xié)商:建立穩固分布式大數據系統的基石[J].大數據, 2016, 2 (4) :24-35.

【基于大數據的分布網(wǎng)絡(luò )安全管理系統構建的論文】相關(guān)文章：

基于價(jià)值鏈的戰略成本管理系統構建03-24

基于DSP芯片的分級分布式管理系統設計03-18

基于GPS的船舶數據模擬系統的研究03-07

基于USB接口的數據采集系統設計03-18

基于USB總線(xiàn)的高速數據采集系統03-26

基于ods構建貿易系統的即時(shí)olap應用03-22

基于勝任力概念的人力資源管理系統構建03-24

基于Verilog HDL設計的自動(dòng)數據采集系統03-21

基于DSP的USB口數據采集分析系統03-18

關(guān)于基于知識管理的臨床信息系統的研究論文03-31