- 相關(guān)推薦
linux系統集群的架構與實(shí)現
基于Linux系統的開(kāi)源與穩定性，以及目前服務(wù)器集群的廣泛應用，小編下面為大家整理關(guān)于linux系統集群的架構與實(shí)現的文章，歡迎閱讀參考：
1.引言
伴隨互聯(lián)網(wǎng)技術(shù)飛速發(fā)展和各種應用的逐漸開(kāi)發(fā)，以及對計算機運行效率要求的不斷提高，依靠增加單一服務(wù)器的處理能力并不能很好地解決迅速增長(cháng)的網(wǎng)絡(luò )應用的需求。因為采用單一服務(wù)器就意味著(zhù)單點(diǎn)失效問(wèn)題的存在，同時(shí)服務(wù)器的升級往往需要暫時(shí)中斷服務(wù)。這都難以保證網(wǎng)絡(luò )的高可用性，而且采用更高性能的服務(wù)器意味著(zhù)更高的成本投入，由于這些特點(diǎn)，集群技術(shù)由此應運而生。而且由于其造價(jià)低廉，性能優(yōu)異，便于管理，編程方便，可擴展性好等優(yōu)勢，集群系統的應用變得越來(lái)越廣泛。
2.集群的概念和分類(lèi)
集群就是一組計算機，它們作為一個(gè)整體向用戶(hù)提供一組網(wǎng)絡(luò )資源。這些單個(gè)的計算機系統就是集群的節點(diǎn)，它們之間通過(guò)高速網(wǎng)絡(luò )連接。這些計算機能夠協(xié)同工作，并對外表現為一個(gè)集成單一的計算機資源[1]。
常見(jiàn)的Linux集群系統分為如下三種基本類(lèi)型：
(1)高性能計算集群(HPC：High Perfor-mance Clus ter)。主要特點(diǎn)為并行計算，目的是用于進(jìn)行大規模數值計算，解決復雜的科學(xué)問(wèn)題。這種集群中的服務(wù)器(也稱(chēng)計算節點(diǎn))采用并行計算方法，把一個(gè)海量的計算任務(wù)分解成各個(gè)子任務(wù)，然后分配給各節點(diǎn)并行計算，并通過(guò)標準化的消息傳遞接口(PVM或MPI)實(shí)現各計算節點(diǎn)的同步和數據的匯集。根據其高效的計算特性一般應于于航空航天、環(huán)境科學(xué)、石油地震勘探計算數學(xué)、DNA模型計算等領(lǐng)域。
(2)高可用性集群(HA：High Availabi-lity)。主要特點(diǎn)為主備服務(wù)器自動(dòng)無(wú)縫切換，目的是提供不間斷的服務(wù)。它是由主、從或多臺服務(wù)器組成。發(fā)生故障時(shí)，服務(wù)器自動(dòng)切換到后備服務(wù)器，這種切換對用戶(hù)是透明的，用戶(hù)無(wú)法感覺(jué)到服務(wù)器的切換。目前，對于要求24小時(shí)提供不間斷服務(wù)的地方常常使用高可用性集群。如實(shí)時(shí)計費系統、實(shí)時(shí)交易處理系統、氣象信息數據庫、科技信息數據庫服務(wù)等領(lǐng)域。
(3)高可伸縮性負載均衡集群(HSLB：High Scalability Load Balance)主要特點(diǎn)為負載均衡，目的是提供與節點(diǎn)個(gè)數成正比的負載能力，將系統的整體負載合理地分配到各個(gè)服務(wù)器節點(diǎn)上，使得每個(gè)節點(diǎn)都不會(huì )因為超負荷工作而崩潰;并且當對系統整體負載需求大于系統整體負載能力時(shí)，可以通過(guò)增加服務(wù)器節點(diǎn)，平滑地拓展系統負荷能力。這種集群非常適合提供大訪(fǎng)問(wèn)量的網(wǎng)絡(luò )服務(wù)。如網(wǎng)上銀行、圖形對象發(fā)布、氣象信息檢索服務(wù)、科技信息檢索服務(wù)等領(lǐng)域。
結合公司的服務(wù)器及實(shí)際應運情況，本文只討論第一種高性能計算集群。
3.并行計算集群設計
并行集群構造方案是一個(gè)管理節點(diǎn)與一組同構或者異構的計算節點(diǎn)通過(guò)網(wǎng)絡(luò )相連，管理節點(diǎn)承擔分配并行任務(wù)和提供外部管理接口的任務(wù)，計算節點(diǎn)負責各自分配得到的并行計算任務(wù)以及和其它節點(diǎn)之間的數據交換，可選的存儲節點(diǎn)提供配置文件和處理數據的統一管理[2][3]。以四個(gè)節點(diǎn)為例的集群系統的構造拓撲如圖1所示。
集群軟件模塊如圖2所示：
(1)操作系統：Linux系統對不同計算機架構的良好支持保證了高性能集群的擴展能力和性?xún)r(jià)比。選取比較穩定的Linux系統版本(本文采用的是Red Hat)。對于計算節點(diǎn)的系統管理可以采用PXE網(wǎng)絡(luò )安裝等方式，提升安裝和管理的效率。
(2)節點(diǎn)間通信：通過(guò)建立節點(diǎn)間的無(wú)密碼SSH訪(fǎng)問(wèn)實(shí)現節點(diǎn)間通信。
(3)文件共享方案：NFS文件共享系統的引入方便并行程序或者待處理的數據文件的統一部署。該方案便于統一管理，對可執行程序或者配置文件的修改都可以在同一路徑下一次性完成。各個(gè)計算節點(diǎn)之間的環(huán)境變量等配置文件都相同。
4)計算任務(wù)分配：MPI。
4.實(shí)現并行計算集群的關(guān)鍵技術(shù)
高性能計算集群之所以高效其核心在于并行計算模型的設計[4]——MPI。
并行計算將進(jìn)程相對獨立的分配于不同的節點(diǎn)上，由各自獨立的操作系統調度，享有獨立的CPU和內存資源(內存可以共享);通過(guò)網(wǎng)絡(luò )聯(lián)接的不同計算機的多個(gè)進(jìn)程，進(jìn)程位于不同的計算機，消息傳遞是實(shí)現進(jìn)程間通信的唯一方式;根據應用程序對消息傳遞功能的需求，全球工業(yè)、應用和研究部門(mén)聯(lián)合推出標準的消息傳遞界面函數，不考慮其具體實(shí)現，以保證并行應用程序的可移植性在當前所有的消息傳遞軟件中。最重要的就是MPI，MPI表示消息傳遞接口(Message Passing Interface)，它能運行在所有的并行平臺上，包括SMP和PVP。
MPI的目的是為編寫(xiě)消息傳遞程序而開(kāi)發(fā)的廣范使用的標準。象這個(gè)接口一樣，為消息傳遞建立一個(gè)實(shí)際的、可移植的、有效的和靈活的標準。實(shí)現如下目標：
(1)統一的應用編程接口(不必為編譯器或一個(gè)系統實(shí)現庫)。
(2)允許有效的通信：避免存儲器到存儲器的拷貝，而允許計算和通信的重疊，盡可能給通信協(xié)同處理器卸載。
(3)對于接口允許方便的C語(yǔ)言和Fortran 77聯(lián)接。
(4)設定一個(gè)可靠的通信接口：用戶(hù)不必處理通信失敗。這些失敗由基本的通信子系統處理。
(5)定義一個(gè)接口，并非不同于現在的實(shí)踐，如：PVM，NX，Express，p4等，還提供更大靈活性的擴展。
(6)定義一個(gè)接口，它能在基本的通信和系統軟件無(wú)重大改變時(shí)，在許多生產(chǎn)商的平臺上實(shí)現。接口的語(yǔ)義是獨立于語(yǔ)言的。
(7)接口應設計成允許線(xiàn)索-安全(thread-safety)。
5.架設適合我公司的集群
5.1 硬件選擇
(1)以使用的曙光服務(wù)器為例，使用千兆網(wǎng)絡(luò )(千兆交換機)，進(jìn)行高性能計算。使用百兆網(wǎng)絡(luò )進(jìn)行網(wǎng)絡(luò )監控和管理。
(2)每臺服務(wù)器做為一個(gè)節點(diǎn)(以四臺服務(wù)器為例)，每臺機器的系統及配置必須一致。
5.2 軟件安裝準備
主(Master)服務(wù)器需安裝：
(1)防火墻(含NAT架設);
(2)RSH;
(3)NIS Server;
(4)NFS Server;
(5)Compiler Install;
(6)MPICH Install;
(7)其它特殊功能。
從屬(Slave)服務(wù)器所需安裝：
(1)防火墻的設定;
(2)RSH;
(3)NIS Client;
(4)NFS Client。
5.3 安裝步驟
(1)架設服務(wù)器系統
以圖1所示拓撲圖為例，但需在主服務(wù)器上連接顯示器，鍵盤(pán)及鼠標。
(2)系統安裝(Red Hat)
選擇安裝類(lèi)型：Red Hat提供了三種不同類(lèi)型的軟件包套件、個(gè)人桌面、工作站和服務(wù)器，以根據自己的需要選擇不同的安裝類(lèi)型，這里選擇“定制”。硬盤(pán)分區選擇用Disk Druid工具進(jìn)行分區，這里將分成兩個(gè)分區，一個(gè)Swap和一個(gè)根目錄(/)，swap空間的大小一般為物理內存的2-3倍，剩下的空間都分給根目錄。
(3)防火墻(含NAT主機)與網(wǎng)絡(luò )設定、網(wǎng)絡(luò )配置
Red Hat提供了三種安全級別的防火墻配置，可以根據自己的需要進(jìn)行選擇。在此設計中，需要開(kāi)22端口，也就是SSH服務(wù)。
分別將四臺機器的IP地址設置為192.168.1.1(master)、192.196.1.2、192.196.1.3、192.168.1.4，子網(wǎng)掩碼為255.255.255.0。按先后順序對NFS、NIS和RSH進(jìn)行設定，主要目的為實(shí)現資源共享。
(4)選擇安裝軟件包(關(guān)鍵要是對MPICH的安裝)但注意需要安裝GCC編譯器
下面是在命令界面下測試集群是否安裝成功進(jìn)行的測試舉例[5]：
[test@servertest]$cp-r/cluster/server/program/mpich/examples/.
[test@server test]$cd examples
[test@server examples]$make clusterfile
[test@server examples]$mpirun-np 4 clusterfile
注：在最后一行命令-np后面接的就是所使用的節點(diǎn)的個(gè)數。
6.結論
通過(guò)一個(gè)簡(jiǎn)單的測試對1000個(gè)100000進(jìn)行累加運算表明：即使只有四個(gè)節點(diǎn)的集群服務(wù)器的運算速度也比一臺主機的運算速度高出3倍，充分發(fā)揮曙光集群系統的作用。但必須注意的是做為服務(wù)器的集群系統，在日常的使用和維護中，必須以穩定和安全做為首要目的，因此以具備系統穩定性的linux集群系統防火墻的設計也值得去研究。
【linux系統集群的架構與實(shí)現】相關(guān)文章：
Linux 服務(wù)器集群系統實(shí)現方案07-12
Linux概念架構解讀201610-15
三層架構用戶(hù)服務(wù)系統的設計與實(shí)現08-26
Linux文件系統簡(jiǎn)介06-01
Linux操作系統概述06-22
Linux系統下ftp的管理08-19
如何搭建系統CSS架構12-31
Linux系統守護進(jìn)程的啟動(dòng)方法12-15
Linux btrfs文件系統及管理07-31