存儲架構體系發(fā)展在電信支撐系統中的應用

　　磁盤(pán)存儲器經(jīng)過(guò)多年發(fā)展，在容量、速度及體系架構方面都有很大發(fā)展，從目前電信運營(yíng)商支撐系統的現狀來(lái)看，主流還是SMP/NUMA存儲，但在電信運營(yíng)商互聯(lián)網(wǎng)化的進(jìn)程中，MPP存儲應用可能會(huì )越來(lái)越廣泛。

　　一、存儲器發(fā)展簡(jiǎn)述

　　存儲與主機分離的概念顛覆了傳統的DAS模式，存儲子系統從原來(lái)的計算系統中分離出來(lái)形成一個(gè)獨立的子系統，存儲和主機間通過(guò)高速網(wǎng)絡(luò )互聯(lián)。同時(shí)隨著(zhù)網(wǎng)絡(luò )共享應用的持續增長(cháng)和網(wǎng)絡(luò )文件共享協(xié)議的成熟，文件服務(wù)器作為一種獨立的NAS存儲器也走向了市場(chǎng)。

　　二、存儲體系架構的發(fā)展

　　存儲本質(zhì)上也是計算機，影響計算機行業(yè)快速發(fā)展、頻繁更新?lián)Q代的最重要的部件是CPU。計算機體系架構中一個(gè)很重要的部分就是如何讓多個(gè)CPU一起協(xié)同工作，而且性能能夠成倍提高。

　　結合到存儲行業(yè)來(lái)講，主機主要負責信息的快速處理，而數據存儲和數據保護等工作漸漸被轉移到存儲器上。歸根到底存儲器的功能還是儲存和保護被主機處理過(guò)的信息，其主要的設計思想應該是著(zhù)重于在接收到主機的信息后做到以下幾點(diǎn)：高性能的IO響應能力、高可靠性、可管理性和其他數據保護功能(如容災、克隆、快照等)。

　　存儲器比較學(xué)術(shù)的一種分類(lèi)方法是根據其體系架構進(jìn)行分類(lèi)。(1)低端的基于陣列控制卡技術(shù)的存儲器。(2)中端的基于簡(jiǎn)單群集技術(shù)的模塊化存儲器。(3)高端存儲器現在有兩種方向，一種是基于統一大緩存scale-up架構多處理器(SMP)存儲器;另外一種是分布式緩存多處理器scale-out架構的存儲器。

　　三、scale-up架構多處理器存儲介紹

　　此類(lèi)存儲通�？梢韵戎慌渖倭康那岸酥鳈C接口卡、后端磁盤(pán)接口卡或者核心控制卡，在升級擴容時(shí)在通過(guò)靈活添加相關(guān)接口卡來(lái)提升各個(gè)部分的性能從而達到存儲器整體性能的提升，這種設計思路稱(chēng)為scale up縱向擴展大存儲器的設計思路。

　　存儲器從雙控制器集群發(fā)展到高端陣列，為了滿(mǎn)足性能需求，需要用到多個(gè)控制器，把數量超過(guò)兩個(gè)以上的多控制器組合起來(lái)協(xié)同工作。這種把多路CPU組合在一起工作的設計方式在計算機體系結構里稱(chēng)為共享存儲對稱(chēng)多處理機系統(SMP)架構。SMP架構的特點(diǎn)包括：(1)對稱(chēng)共享存儲：系統中任何處理器均可直接訪(fǎng)問(wèn)任何存儲模塊中的存儲單元和I/O模塊聯(lián)接的I/O設備，所有內存地址單元統一編址。(2)單一的操作系統映像：全系統只有一個(gè)操作系統駐留在共享存儲器中。(3)局部高速緩存Cache及其數據一致性：每個(gè)處理器均配備局部Cache，但是這些數據必須保持與存儲器中數據是一致的。(4)低通信延遲：各個(gè)進(jìn)程通過(guò)讀/寫(xiě)操作系統提供的共享數據緩存區來(lái)完成處理器間的通信。(5)共享總線(xiàn)帶寬：所有處理器共享總線(xiàn)的帶寬，完成對內存模塊和I/O模塊的訪(fǎng)問(wèn)。

　　四、分布式緩存多處理器scale-out架構的存儲器

　　Scale out體系架構是指基于橫向擴展的體系架構的思路，即整個(gè)系統一開(kāi)始由一個(gè)節點(diǎn)構成，隨著(zhù)業(yè)務(wù)需求的增加，通過(guò)把更多的節點(diǎn)添加進(jìn)去，把多臺小計算機(節點(diǎn))通過(guò)一個(gè)快速的通道技術(shù)/或外部網(wǎng)絡(luò )連接起來(lái)，這樣就形成一臺可以做到線(xiàn)性擴展的超大型計算機設備，這種思路在服務(wù)器體系架構中叫做scale out，即橫向擴展。(1)傳統的存儲陣列相當于老式機頭牽引的火車(chē)。存儲控制器：1個(gè)或2個(gè)火車(chē)頭，代表性能與冗余性;每節車(chē)廂只代表容量;對于較短的火車(chē)，火車(chē)頭會(huì )過(guò)度配置;添加車(chē)廂過(guò)載亦會(huì )超過(guò)功率極限。(2)新架構的Scale Out存儲相當于高鐵和諧號。每節車(chē)廂同時(shí)代表容量和性能;如果一節車(chē)廂的引擎出現故障，其它車(chē)廂不會(huì )受到影響;添加車(chē)廂即同時(shí)擴展性能;組合功能整體上仍是一列火車(chē)。

　　Scale-Out具體又可再細分成兩類(lèi)架構，一種是分布式緩存但統一編址的NUMA架構，另一類(lèi)產(chǎn)品線(xiàn)是每個(gè)節點(diǎn)各自管理控制器內部緩存的MPP架構。

　　五、Scale-Out架構分支一：NUMA架構

　　在前述SMP架構中，整個(gè)系統相當于一臺大型計算機，所有的處理器P/C訪(fǎng)問(wèn)內存SM的速度和延遲都是一致的。由于總線(xiàn)和交叉開(kāi)關(guān)工藝終將會(huì )碰到難于擴展的問(wèn)題，因此其上端的處理器的數量以及下端的緩存模塊的數量和容量也會(huì )碰到擴展性的問(wèn)題。這些擴展性的問(wèn)題在早期并不明顯，因為存儲器容量或者處理能力不夠時(shí)，用戶(hù)可以再新增購買(mǎi)，但在今天整個(gè)IT架構對于存儲器的容量、處理能力以及擴展性都提出了更大的挑戰，因此就出現了另外一種設計思路，即拋開(kāi)設計一臺超級大計算機的思路，而是把多個(gè)存儲節點(diǎn)(引擎)通過(guò)一個(gè)快速的通道技術(shù)連接起來(lái)，仍然采用統一內存編址設計，這樣就形成一臺可以做到線(xiàn)性擴展的架構。

　　具備這種設計思想稱(chēng)為分布共享存儲多處理機系統架構DSM，又稱(chēng)為CC-NUMA架構(高速緩存一致性非均勻存儲訪(fǎng)問(wèn)，ccNUMA，Cache-Coherent Non-Uniform Memory Access)，如圖1所示。

　　NUMA架構的特點(diǎn)：

　　(1)每個(gè)處理器都有自己的內存LM，本質(zhì)上就是1臺的計算機;(2)這些處理器之間通過(guò)一個(gè)快速的定制網(wǎng)絡(luò )互聯(lián)起來(lái);(3)各個(gè)處理器之間的內存/緩存LM統一編址，即虛擬分布共享內存體系DSM;(4)通過(guò)在定制網(wǎng)絡(luò )范圍內添加更多的處理器芯片和LM緩存等模塊，從而方便的擴展整個(gè)存儲系統，即scale out橫向擴展。

　　六、Scale-Out架構分支一：MPP架構

　　NUMA架構可以理解成將多個(gè)SMP進(jìn)行松一點(diǎn)的耦合，即多個(gè)SMP之間通過(guò)快速交換通道互聯(lián)，每個(gè)SMP都有各自自己的內存，一個(gè)SMP內部的CPU訪(fǎng)問(wèn)自己的內存時(shí)與之前沒(méi)什么兩樣，但是要訪(fǎng)問(wèn)其他SMP處的內存，就需要走交換通道。所以，NUMA通過(guò)犧牲了內存訪(fǎng)問(wèn)的時(shí)延來(lái)達到更高的擴展性。SMP和NUMA架構同一臺機器內都使用單一操作系統。但是由于NUMA訪(fǎng)問(wèn)遠端內存時(shí)的時(shí)延問(wèn)題，擴展到達一定規模時(shí)，NUMA架構下的效率也不能隨著(zhù)CPU數量的增加而線(xiàn)性增長(cháng)，但是要好過(guò)SMP。 　　而MPP實(shí)質(zhì)上是將許多獨立的主機使用外部網(wǎng)絡(luò )來(lái)組成一個(gè)集群。每個(gè)節點(diǎn)都有各自的CPU、內存、IO總線(xiàn)和操作系統。整個(gè)系統屬于最松散的耦合，各個(gè)節點(diǎn)運行大范圍并行化的程序。MPP的效率隨節點(diǎn)數量的增長(cháng)表現為線(xiàn)性關(guān)系。MPP相當于把內存、把操作系統強制分開(kāi)，把程序架構也強制改變以保持海量計算下的效率線(xiàn)性增長(cháng)。

　　MPP體系架構特點(diǎn)包括：(1)由數百個(gè)乃至數千個(gè)計算結點(diǎn)和I/O結點(diǎn)組成，通過(guò)高性能互聯(lián)網(wǎng)絡(luò )相互聯(lián)接。(2)每個(gè)結點(diǎn)相對獨立，并擁有一個(gè)或多個(gè)微處理器(P/C)。(3)MPP的各個(gè)結點(diǎn)均擁有不同的操作系統映像。(4)各個(gè)結點(diǎn)間的內存模塊相互獨立，且不存在全局內存單元的統一硬件編址。

　　七、電信支撐系統對于存儲架構的選擇

　　面對同樣的預算區間，電信支撐系統是選擇傳統scale up高端陣列，還是新型scale out架構的高端陣列，其實(shí)這是一個(gè)辯證的問(wèn)題。在服務(wù)器領(lǐng)域，通常會(huì )根據應用系統的特點(diǎn)不同，選擇基于scale up架構的服務(wù)器(如數據庫服務(wù)器)，或者基于scale out架構擴展的服務(wù)器(如應用服務(wù)器)。

　　特定場(chǎng)景下，由于單路I/O就可能導致整個(gè)MPP集群中的磁盤(pán)資源全部牽動(dòng)(每磁盤(pán)同一時(shí)刻只能執行一個(gè)I/O)。然后在多路大塊連續I/O并發(fā)的情況下，反而效率很差(比如多流大塊連續地址I/O);而某些特定場(chǎng)景下，多路I/O之間牽制很少，則表現出線(xiàn)性增長(cháng)的性能(比如小塊高隨機I/O)。這也可以類(lèi)比為將一個(gè)程序并行分解成多個(gè)執行顆粒(類(lèi)比為高隨機I/O)，顆粒間的關(guān)聯(lián)性越少，則并行執行的效率越高。所以MPP自身為Share-Nothing架構，那么運行在它上面的程序顆粒之間最好也Share-Nothing。因此MPP架構可廣泛用于互聯(lián)網(wǎng)運營(yíng)商的底層Key-Value分布式數據庫，在高隨機小塊讀訪(fǎng)問(wèn)場(chǎng)景下能獲得巨量的性能以及線(xiàn)性的效率-擴展曲線(xiàn)。

【存儲架構體系發(fā)展在電信支撐系統中的應用】相關(guān)文章：

圖書(shū)檢索系統體系架構研究12-05

紅帽認證體系架構介紹03-29

如何搭建系統CSS架構12-31

大數據時(shí)代下的三種存儲架構03-20

系統架構設計模式大全02-26

便攜式、低功耗體電信號采集存儲系統研究03-20

辦公自動(dòng)化系統在高校中的應用01-24

如何成為優(yōu)秀的系統架構師03-10

基于云架構的系統安全設計03-30