大規模存儲系統可靠性參數最優(yōu)化分析

　　摘 要：在大規模的存儲系統中，數據的可靠性變得越來(lái)越重要，過(guò)往的研究大多數都是在已知的系統規模下，分析基本的系統參數，但較少考慮它們的最優(yōu)組合。本文將簡(jiǎn)要分析大規模存儲系統的可靠模型下，各個(gè)系統參數的最優(yōu)值及它們組合在一起的最優(yōu)值，促進(jìn)更可靠的大規模存儲系統的發(fā)展。

　　關(guān)鍵詞：大規模存儲系統 最優(yōu)值 可靠性參數

　　當前，很多依托大規模存儲技術(shù)的實(shí)際應用已經(jīng)出現在互聯(lián)網(wǎng)搜索、電信通訊、科學(xué)實(shí)驗等領(lǐng)域之中。在大規模存儲技術(shù)的實(shí)際運用中，許多研究都在關(guān)注數據的可靠性問(wèn)題。為了克服應用中的局限，就要針對實(shí)際需求和相關(guān)參數來(lái)構建可靠的存儲系統，這對于存儲系統的實(shí)際應用有重要意義。

　　一、大規模存儲系統可靠性參數概況

　　大規模的存儲系統一般都是由相應的存儲節點(diǎn)的集群構成，其中每一個(gè)存儲節點(diǎn)都相應配備有內存、CPU及磁盤(pán)，其中較為有代表性的系統主要是NASD、FAB及GFS等。大規模存儲系統應用與實(shí)際的一個(gè)主要趨勢是很多應用都需要存儲WORM數據，即Write Once Read Many類(lèi)型數據，也被稱(chēng)作“寫(xiě)一次讀多次”數據。磁盤(pán)寬帶自身的增長(cháng)速度要遠遠低于磁盤(pán)本身空間的增長(cháng)速度，因此大規模存儲系統一般具有很高的故障率，需要較長(cháng)的時(shí)間才可以恢復，這就需要為WORM數據建構可靠的大規模存儲系統。

　　當前關(guān)于數據可靠性的研究顯示，復制冗余機制是一種被廣泛應用的防止數據丟失的有效技術(shù)，在實(shí)際操作系統中，操作人員在其中部署了多樣的副本分布策略，比如在RAID中的PTN、在GFS中的RANDOM。操作人員對這幾種主要策略進(jìn)行分析，研究它們對系統可靠性的影響，在具體的研究分析中，假設有n個(gè)不同的對象，把這些對象都存儲于N個(gè)節點(diǎn)上，每一個(gè)對象都有K個(gè)副本，每一種副本的放置用來(lái)表示存儲節點(diǎn)和副本之間的關(guān)系。第一種策略是PTN，它將所有的對象副本進(jìn)行分組，再將每一組放置在K個(gè)節點(diǎn)上，PTN主要應用于Coda及RAID;第二種策略是RANDOM，它將所有副本隨機分散到各個(gè)節點(diǎn)上，主要應用于GFS、RIO、FARSITE等;還有一種策略是Q-rot，它將所有的存儲節點(diǎn)分成了K個(gè)站點(diǎn)，每一個(gè)站點(diǎn)都是其他對應站點(diǎn)的副本。存儲系統的設計者在根據需求確定了系統的規模以后，往往難以確定其他相關(guān)的系統參數，這樣就會(huì )給構建可靠安全的系統帶來(lái)一系列問(wèn)題。因此，將相應的可靠性參數進(jìn)行優(yōu)化分析是必要的。

　　表1：主要系統參數表

　　參數 定義 默認值

　　N 總節點(diǎn)數 變量

　　B 網(wǎng)絡(luò )帶寬 變量

　　m 單個(gè)節點(diǎn)的存儲評價(jià)對象個(gè)數 變量

　　b 單個(gè)節點(diǎn)上IO帶寬 變量

　　K 每個(gè)對象的副本數 3

　　S 數據總量 1PB

　　s 單個(gè)對象的平均大小 S/(N×m)

　　n 不同對象的總數 N×m/K

　　ni 獨立對象數目 N/K

　　二、大規模存儲系統可靠性參數的最優(yōu)化分析

　　2.1 數據可靠性的概念

　　數據可靠性一般指丟失的第一個(gè)存儲對象的前一個(gè)存儲系統可以提供相應服務(wù)的時(shí)間。存儲對象的可靠性是單個(gè)對象的所有副本集體丟失的平均用時(shí)，一般用MTTDL0來(lái)表示，MTTDL0主要受對象的恢復速度和對象的自身故障率的影響。這里面，對象恢復速度受對象自身的平均大小影響，對象故障率受磁盤(pán)故障率的影響。

　　2.2 Markov可靠性模型

　　Markov可靠性模型也被稱(chēng)作馬爾可夫模型，可以綜合分析系統的可恢復性及其脆弱性，在可靠性分析方面具有很強的功效性，這種模型可以很好地描述對象副本的運行故障及具體恢復過(guò)程。Markov可靠性模型替換掉了以前模型中的故障節點(diǎn)方面的細節，著(zhù)重研究的是在假設的平均故障節點(diǎn)數的時(shí)候，對象的相關(guān)恢復情況。

　　2.3 進(jìn)行可靠性參數最優(yōu)化分析的相關(guān)工作

　　在大規模的存儲系統中，數據的可靠性是無(wú)法被忽視的一個(gè)重要問(wèn)題。在存儲規模達到更大的時(shí)候，系統的故障率就會(huì )增高，相應的恢復速度就成為了一個(gè)關(guān)鍵因素，如何在RAID的基礎上，提高數據的可靠性，成為了研究人員的工作重點(diǎn)。下面簡(jiǎn)單介紹幾種參數最優(yōu)化分析的相關(guān)工作。

　　第一，研究怎樣在RAID之間和RAID內部實(shí)現良好的分布式恢復，但很少關(guān)注分布的策略對于恢復速度的具體影響。有的研究分析了在運行的副本系統中單個(gè)對象自身的可靠性，但沒(méi)有考慮到恢復帶寬的因素。

　　第二，有的研究指出了分布策略，還利用了用于節點(diǎn)恢復的馬爾可夫模型，對影響系統可用性的具體因素進(jìn)行了分析，主要分析的是具體的訪(fǎng)問(wèn)模式和讀寫(xiě)模式如何對系統產(chǎn)生影響。

　　第三，還有很多相關(guān)研究是關(guān)于大規模存儲系統的可用性，而不是可靠性。比如研究廣域網(wǎng)中不同的副本在分布策略方面的多對象可用性;利用動(dòng)態(tài)副本的分布策略來(lái)提高系統整體可用性;隨機分布策略對分布式的存儲系統可用性的影響和作用等。

　　要想系統分析可靠性參數的最優(yōu)化，要在兩個(gè)方面進(jìn)行突破。第一，提出一個(gè)全新的基于研究對象本身的馬爾可夫模型，基于馬爾可夫模型量化分析在系統的規模已知的具體情況下，三個(gè)最常用的副本放置策略當中，系統參數對于可靠性的影響。這些系統參數主要有對象總數、存儲節點(diǎn)總數，磁盤(pán)的帶寬等，相比于過(guò)去很復雜的模型，馬爾可夫模型規模較小、簡(jiǎn)潔直觀(guān)，以自身小規模的狀態(tài)來(lái)進(jìn)行矩陣轉換，易于求解。此外，還便于研究者獲得綜合性很強的結果。第二，在研究過(guò)程中，提出一個(gè)“兩階段”的分析過(guò)程。其中，第一階段以固定其他相應參數為前提，對各個(gè)參數的影響進(jìn)行獨立分析，找出相對來(lái)說(shuō)最為精確的最優(yōu)值。第二階段在所有的參數都可以進(jìn)行變化的前提條件下，通過(guò)對它們復雜綜合的影響進(jìn)行分析，進(jìn)而得到參數的最優(yōu)組合。

　　三、結語(yǔ)

　　大規模的存儲系統在運行中會(huì )面臨很多的問(wèn)題和挑戰，想要讓數據更加的可靠和精確，就要注意分析相應的可靠性參數，對其進(jìn)行有效的整合和優(yōu)化。這樣，才能讓系統運行的更有效率，最大程度的發(fā)揮自身的功效和作用。

　　參考文獻：

　　[1]章宏燦，薛巍.集群RAID5存儲系統可靠性分析[J].計算機研究與發(fā)展，2010(04).

　　[2]鄭勝，李通.一種應用于大規模存儲系統的數據分布算法[J].計算機科學(xué)，2013(S2).