- 相關(guān)推薦
集群技術(shù)科研應用管理論文
【摘要】集群技術(shù)是一種較新的技術(shù)，通過(guò)集群技術(shù)，可以在付出較低成本的情況下獲得在性能、可靠性、靈活性方面的相對較高的收益。本文力圖對集群技術(shù)做一個(gè)簡(jiǎn)單的介紹。本文首先給出了集群的定義，闡述了采用集群技術(shù)的意義，對幾種常見(jiàn)的集群類(lèi)型進(jìn)行了介紹，并在此基礎上給出了一個(gè)集群在科研中的實(shí)例。
【關(guān)鍵字】集群集群技術(shù)負載均衡HALBCLUSTER
一、集群的定義
廣義上說(shuō)，相互獨立的一些系統構成了一個(gè)組就是集群。一個(gè)客戶(hù)與集群相互作用時(shí)，集群的行為像是一個(gè)獨立的系統一樣。
從狹義上講，集群是一些相互獨立的計算機，這些計算機作為一個(gè)整體對外提供服務(wù)。對于客戶(hù)來(lái)說(shuō)，這些計算機的行為就好像一個(gè)計算機一樣，但是其處理能力、可靠性、IO能力都得到了大幅的提升。
二、采用集群的目的
采用集群技術(shù)的目的可以概括為以下幾個(gè)方面：
提高性能.一些計算密集型應用，如：天氣預報，核試驗模擬等，需要計算機要有很強的運算處理能力，現有的技術(shù)，即使普通的大型機其計算也很難勝任，這時(shí)，一般都使用計算機集群技術(shù)，集中幾十臺甚至上百臺計算機的運算能力來(lái)滿(mǎn)足要求。提高處理性能一直是集群技術(shù)的一個(gè)重要目標之一。
降低成本.通常一套象樣的群集配置，其軟硬件開(kāi)銷(xiāo)要超過(guò)$100,000。但與價(jià)值上百萬(wàn)美元的專(zhuān)用超級計算機相比已經(jīng)相當便宜。在達到同樣性能的條件下，采用計算機集群比采用同等運算能力的大型計算機具有更高的性?xún)r(jià)比。
提高規模擴展性（Scalabilitry）.，計劃擴展系統能力的用戶(hù)必須購買(mǎi)昂貴的最新的服務(wù)器，才能獲得額外所需的CPU，驅動(dòng)器和內存。如果該服務(wù)系統采用集群技術(shù)，則只需要將新的服務(wù)器加入集群中即可，對于客戶(hù)來(lái)看，服務(wù)無(wú)論從連續性還是性能上都幾乎沒(méi)有變化，好像系統在不知不覺(jué)中完成了升級。
增強可靠性.據統計每年由于系統停運，全美國損失40億美元。在零售業(yè)，平均每次停運損失140000美元，保安業(yè)每次停運平均損失450000美元，集群技術(shù)使系統在故障發(fā)生時(shí)仍可以繼續工作，將系統停運時(shí)間減到最小。集群系統在提高了系統的可靠性的同時(shí)，也大大減小了故障損失。
三、集群類(lèi)型
最常見(jiàn)的三種群集類(lèi)型包括高性能科學(xué)群集、負載均衡群集和高可用性群集。
1、科學(xué)群集
科學(xué)集群是并行計算的基礎。通常，科學(xué)群集涉及為群集開(kāi)發(fā)的并行應用程序，以解決復雜的科學(xué)�？茖W(xué)集群對外就好像一個(gè)超級計算機，這種超級計算機內部由十至上萬(wàn)個(gè)獨立處理器組成。但它卻使用商業(yè)系統，并且在公共消息傳遞層上進(jìn)行通信以運行并行應用程序。
我們常常聽(tīng)說(shuō)又有一種便宜的Linux超級計算機問(wèn)世了。這種超級計算機實(shí)際上是一個(gè)計算機群集，其處理能力與真的超級計算機相仿，但是硬件以及運行維護費用要比真正的超級計算機低很多，具有極高的性?xún)r(jià)比。
并行群集系統之所以可以達到如此高的帶寬和低延遲，是因為它們通常繞過(guò)使用協(xié)議，如TCP/IP。雖然網(wǎng)際協(xié)議對于廣域網(wǎng)很重要，但它包含了太多的開(kāi)銷(xiāo)，而這些開(kāi)銷(xiāo)在節點(diǎn)相互已知的封閉網(wǎng)絡(luò )群集中是不必要的。節點(diǎn)之間可以使用直接內存訪(fǎng)問(wèn)(DMA)來(lái)進(jìn)行通訊，它類(lèi)似于圖形卡和其它外圍設備在一臺機器中的工作方式。因此橫跨群集，可以通過(guò)任何節點(diǎn)上的任何處理器直接訪(fǎng)問(wèn)分布式共享內存。
同樣也可以使用低開(kāi)銷(xiāo)的消息傳遞系統，在節點(diǎn)之間進(jìn)行通信。消息傳遞接口(MPI)是并行群集系統間消息傳遞層的最常見(jiàn)實(shí)現。MPI存在幾種衍生版本，但在所有情況下，它為開(kāi)發(fā)者訪(fǎng)問(wèn)并行應用程序提供了一個(gè)公共API，這樣開(kāi)發(fā)者就不必手工解決如何在群集的節點(diǎn)之間分發(fā)代碼段。
2、負載均衡群集
負載均衡群集為需求提供了更實(shí)用的系統。如名稱(chēng)所暗示的，負載均衡群集使負載可以在機群集中盡可能平均地分攤處理。負載通常包括程序處理負載和流量負載。這樣的系統非常適合向使用同一組應用程序的大量用戶(hù)提供服務(wù)。每個(gè)節點(diǎn)都可以承擔一定的處理負載，并且可以實(shí)現處理負載在節點(diǎn)之間的動(dòng)態(tài)分配，以實(shí)現負載均衡。對于網(wǎng)絡(luò )流量負載，當網(wǎng)絡(luò )服務(wù)程序接受了太多入網(wǎng)流量，以致無(wú)法迅速處理，這時(shí)，網(wǎng)絡(luò )流量就會(huì )發(fā)送給在其它節點(diǎn)上運行的網(wǎng)絡(luò )服務(wù)程序。同時(shí)，還可以根據每個(gè)節點(diǎn)上不同的可用資源或網(wǎng)絡(luò )的特殊環(huán)境來(lái)進(jìn)行優(yōu)化。
與計算集群一樣，負載均衡群集也在多節點(diǎn)之間分發(fā)計算處理負載。他們之間的最大區別在于缺少跨節點(diǎn)運行的單并行程序。大多數情況下，負載均衡群集中的每個(gè)節點(diǎn)都是運行單獨軟件的獨立系統。但是，不管是在節點(diǎn)之間進(jìn)行直接通信，還是通過(guò)中央負載均衡服務(wù)器來(lái)控制每個(gè)節點(diǎn)的負載，在節點(diǎn)之間都有一種公共關(guān)系。通常，使用特定的算法來(lái)分發(fā)該負載。
網(wǎng)絡(luò )流量負載均衡是一個(gè)過(guò)程，它檢查到某個(gè)群集的入網(wǎng)流量，然后將流量分發(fā)到各個(gè)節點(diǎn)以進(jìn)行適當處理。它最適合大型網(wǎng)絡(luò )應用程序，如Web或FTP服務(wù)器。負載均衡網(wǎng)絡(luò )應用服務(wù)要求群集軟件檢查每個(gè)節點(diǎn)的當前負載，并確定哪些節點(diǎn)可以接受新的作業(yè)。這最適合運行如數據等串行和批處理作業(yè)。那些系統還可以配置成關(guān)注某特定節點(diǎn)的硬件或操作系統功能,這樣，群集中的節點(diǎn)就沒(méi)有必要是一致的。
3、高可用性群集
可用性(availability)當集群中的一個(gè)系統發(fā)生故障時(shí)，集群軟件迅速做出反映，將該系統的任務(wù)分配到集群中其它正在工作的系統上執行。
考慮到計算機硬件和軟件的易錯性，高可用性群集的的目的主要是為了使群集的整體服務(wù)盡可能可用。如果高可用性群集中的主節點(diǎn)發(fā)生了故障，那么這段時(shí)間內將由次節點(diǎn)代替它。次節點(diǎn)通常是主節點(diǎn)的鏡像，所以當它代替主節點(diǎn)時(shí)，它可以完全接管其身份，并且因此使系統環(huán)境對于用戶(hù)是一致的。
高可用性(HA)群集致力于使服務(wù)器系統的運行速度和響應速度盡可能快。它們經(jīng)常利用在多臺機器上運行的冗余節點(diǎn)和服務(wù)，用來(lái)相互跟蹤。如果某個(gè)節點(diǎn)失敗，它的替補將在幾秒鐘或更短時(shí)間內接管它的職責。因此，對于用戶(hù)而言，群集永遠不會(huì )停機。
某些HA群集也可以維護節點(diǎn)間冗余應用程序。因此，用戶(hù)的應用程序將繼續運行，即使他或她使用的節點(diǎn)出了故障。正在運行的應用程序會(huì )在幾秒之內遷移到另一個(gè)節點(diǎn)，而所有用戶(hù)只會(huì )察覺(jué)到響應稍微慢了一點(diǎn)。但是，這種應用程序級冗余要求將軟件設計成具有群集意識的，并且知道節點(diǎn)失敗時(shí)應該做什么。
HA群集也可以執行負載均衡，但通常主服務(wù)器運行作業(yè)，而系統使輔助服務(wù)器保持閑置。輔助服務(wù)器通常是主服務(wù)器操作系統設置的鏡像，盡管硬件本身稍有不同。輔助節點(diǎn)對主服務(wù)器進(jìn)行活動(dòng)監控或心跳觀(guān)察，以查看它是否仍在運行。如果心跳計時(shí)器沒(méi)有接收到主服務(wù)器的響應，則輔助節點(diǎn)將接管網(wǎng)絡(luò )和系統身份。
在群集的這三種基本類(lèi)型之間，經(jīng)常會(huì )發(fā)生混合與交雜�？梢园l(fā)現高可用性群集也可以在其節點(diǎn)之間均衡用戶(hù)負載。同樣，也可以從要編寫(xiě)應用程序的群集中找到一個(gè)并行群集，它可以在節點(diǎn)之間執行負載均衡。從這個(gè)意義上講，這種集群類(lèi)別的劃分是一個(gè)相對的概念，不是絕對的。
四、集群的科研應用
1、科學(xué)群集與并行計算
科學(xué)集群是并行計算的基礎，在科研領(lǐng)域，如：天氣預報，核試驗模擬等領(lǐng)域，科學(xué)集群獲得了廣泛的應用。因為科學(xué)集群涉及為解決特定的而設計的應用程序，需要有一定的學(xué)科背景知識，所以這里不作具體介紹。
2、負載均衡群集的遠程
對于教育應用來(lái)說(shuō)，負載均衡集群是應用面最廣，最有潛力的集群應用形式。
隨著(zhù)網(wǎng)絡(luò )教育的發(fā)展，網(wǎng)絡(luò )教育系統的用戶(hù)將成幾何方式增長(cháng)。由此而導致教育類(lèi)網(wǎng)站的訪(fǎng)問(wèn)量大幅增長(cháng)。由于教育網(wǎng)絡(luò )資源很多是多媒體素材，包括音頻、視頻、動(dòng)畫(huà)等，這就會(huì )產(chǎn)生極大的網(wǎng)絡(luò )流量負載以及額外的處理負載。
在這種情況下，單機的處理能力很快得到飽和，一種方案就是升級系統。升級系統的會(huì )導致服務(wù)器工作在降級模式下或服務(wù)器關(guān)機，對于客戶(hù)來(lái)說(shuō)，其效果和服務(wù)器遭受DOS攻擊時(shí)的效果時(shí)一樣的。
舉個(gè)簡(jiǎn)單的例子，許多網(wǎng)站在升級的過(guò)程中，比如(同學(xué)錄)，會(huì )不能訪(fǎng)問(wèn)或者有個(gè)提示："系統升級中，請稍后再訪(fǎng)問(wèn)"。這個(gè)"稍后"的概念通常是半天左右；而大家也可以注意到，象google這樣的網(wǎng)站，在比(中國同學(xué)錄)的客戶(hù)訪(fǎng)問(wèn)量上要大很多的情況下也幾乎沒(méi)有出現這種情況，原因就在于google采用的是集群服務(wù)器。Google系統升級在后臺進(jìn)行的時(shí)候，其處理和IO負載被自動(dòng)分發(fā)到集群中的其他服務(wù)器上，所以對于用戶(hù)而言，幾乎感覺(jué)不到在響應時(shí)間方面的差別。
另外一種方案就是添置新的服務(wù)器，但是在網(wǎng)絡(luò )上，一臺機器唯一的對應于一個(gè)IP地址，一個(gè)IP唯一的與一個(gè)域名綁定，客戶(hù)需要在訪(fǎng)問(wèn)一個(gè)URL的時(shí)候得到相同的響應，而不是來(lái)自不同主機的不同響應。這就要求新添置的服務(wù)器和原有的服務(wù)器應該對外看起來(lái)就像一臺服務(wù)器一樣，而不是多臺服務(wù)器。而這正是集群所產(chǎn)生的效果。
當教育網(wǎng)站的處理能力和IO能力超出單機的負載能力時(shí)，考慮性?xún)r(jià)比、運維成本、可靠性等多方面因素，集群技術(shù)就成為最佳的選擇。下面給出一個(gè)集群技術(shù)在教育科研網(wǎng)中的應用實(shí)例。
五、實(shí)際應用方案舉例
方案名稱(chēng)：寧波市教委教育與科研網(wǎng)絡(luò )整體系統
按照寧波市教委的意見(jiàn)，要求在2010年基本上實(shí)現全市范圍內教師、學(xué)生、家長(cháng)共同使用互聯(lián)網(wǎng)進(jìn)行教學(xué)與管理。依據寧波市發(fā)展的總體水平與增長(cháng)趨勢，這個(gè)目標經(jīng)過(guò)努力，是完全可以實(shí)現的。由此，教科網(wǎng)的構建成為整個(gè)目標的關(guān)鍵一環(huán)，其中包括了教育與科研網(wǎng)主干、教委辦公系統、教委網(wǎng)上平臺、網(wǎng)上學(xué)校、資源、內部E-MAIL等部分。而基于Turbolinux的整體教育解決方案以其出眾的性?xún)r(jià)比、高可靠性和可擴展性，出色的擔當了這一重任。
1、項目背景
1999年寧波市共有各級各類(lèi)學(xué)校（含幼兒園）3078所，在校生95。28萬(wàn)人，教職工5。72萬(wàn)人。是年，全市新增了公安海警高等專(zhuān)校等5所學(xué)校，使全市普通高校和成人高�？倲颠_到11所，在校生超過(guò)3萬(wàn)人。全市共有11185名學(xué)生升入全日制高校，高等教育毛入學(xué)率達到10。5％。與全國平均水平持平。普通中等專(zhuān)業(yè)學(xué)校24所。成人中專(zhuān)22所，在校生4。2萬(wàn)人，有普通中學(xué)326所，在校生25.12萬(wàn)人；初中畢業(yè)生升入高中段學(xué)習的比例為78。81％，據全省第一，普職招生比例保持在4.1：5.9，城區已經(jīng)基本普及高中段教育。小學(xué)1195所，在校生43.38萬(wàn)人。幼兒園2024所，在園幼兒15.05萬(wàn)人，幼兒園入園率達到93.64％。全市基本普及九年義務(wù)教育，義務(wù)教育人口覆蓋率為100％�？梢钥吹�，寧波市的教育狀況走到了全國領(lǐng)先的地步，而整個(gè)教育系統的上網(wǎng)也就提上了日程。
2、業(yè)務(wù)挑戰
寧波教科網(wǎng)由于組成部分多，多功能需求也就比較復雜，大體包含以下部分。
2.1大容量郵件
根據規劃，需要將市教委直屬機關(guān)、寧波市區所有學(xué)校的老師和學(xué)生的電子信箱集中放在教育和科研網(wǎng)絡(luò )中心的電子函件服務(wù)器中。因此電子郵件服務(wù)器的容量估計需要10萬(wàn)。而且，今后可以依據需要擴充。
2.2LDPA;
為了保證整個(gè)網(wǎng)站的一致性和安全性，需要采用LDPA認證。
2.3支持Webmail：
為了方便使用，必須支持Webmail，用戶(hù)只要使用瀏覽器就可以完成所有的郵件操作。
2.4Web
寧波市教委網(wǎng)站市一個(gè)為全市3000所中小學(xué)提供網(wǎng)上服務(wù)的平臺。該平臺應該以方便使用為目標，各個(gè)中小學(xué)、教委機構通過(guò)注冊用戶(hù)發(fā)布自己的網(wǎng)上信息。網(wǎng)管中心負責整個(gè)網(wǎng)站系統的安全和穩定工作
2.5辦公自動(dòng)化系統（OA）
教委辦公信息系統的實(shí)現市整個(gè)教科網(wǎng)的軟件實(shí)現的第一步，所以它不僅要在功能上能符合現在教委業(yè)務(wù)的需要，而且在整個(gè)體系結構上必須和以后要實(shí)現的學(xué)校辦公系統，教委義務(wù)管理系統、學(xué)校業(yè)務(wù)管理系統之間有很好的接口。另外在市教委系統和各縣（市。區）教委系統之間有較好的接口。
2.6網(wǎng)上學(xué)校
包括課件、教師、學(xué)生、練習、答疑、討論、點(diǎn)播、交互等多個(gè)部分
2.7資源
包括各種音頻、視頻、文本、動(dòng)畫(huà)等資源
3.項目實(shí)施
3.1Web系統
通過(guò)Turbolinuxserver和turboClusterserver構建WebServer集群。實(shí)現Web、FTP等服務(wù)的負載均衡和高可用性方案。WebServer為Apache。對于基于BS結構的OA系統�？梢酝ㄟ^(guò)此接口為用戶(hù)提供可靠的服務(wù)。
3.2數據庫系統
通過(guò)TurbolinuxDataServer＋Oracle8i和TurboHA構建Database集群，提供高可用性的數據庫，數據庫為Oracle8i，通過(guò)TurboHA實(shí)現雙擊熱備份功能。對于OA系統，可以提供可靠的數據庫服務(wù)
3.3Mail系統
通過(guò)TurbolinuxServer和TurboHA為Mail系統提供穩定的系統平臺
3.4OA系統
根據具體需求合作開(kāi)發(fā)，使用TurbolinuxDataServer+Oracle8i為開(kāi)發(fā)工具，該軟件提供構建復雜的網(wǎng)站的開(kāi)發(fā)、部署、服務(wù)等全套方案。系統硬件平臺采用基于intel至強處理器的服務(wù)器。
4.效果評價(jià)
該系統構建已經(jīng)完成，預期的功能都已經(jīng)得到很好的實(shí)現。對于寧波教委的日常工作、網(wǎng)上教育有了極大的促進(jìn)作用。當然，這只是整個(gè)教科網(wǎng)構建的第一步，而寧波市教委也正在大力推廣應用Turbolinux教育解決方案的經(jīng)驗，爭取早日實(shí)現全市全校網(wǎng)上教學(xué)的宏偉目標。
六、結束語(yǔ)
集群技術(shù)是一種通用的技術(shù)，其目的是為了解決單機運算能力的不足、IO能力的不足、提高服務(wù)的可靠性、獲得規�？蓴U展能力，降低整體方案的運維成本（運行、升級、維護成本）。只要在其他技術(shù)不能達到以上的目的，或者雖然能夠達到以上的目的，但是成本過(guò)高的情況下，就可以考慮采用集群技術(shù)。
科研領(lǐng)域一直是集群技術(shù)，特別是并行技術(shù)應用最為廣泛的領(lǐng)域。但是對于教育領(lǐng)域來(lái)說(shuō)，集群技術(shù)在很長(cháng)的一段時(shí)間內沒(méi)有很大的應用空間，即便在教育的如火如荼的今天，集群的教育應用也相當有限。我認為主要在于集群技術(shù)的教育應用還沒(méi)有形成需求，對于當今絕大多數教育類(lèi)網(wǎng)站，單機處理能力就可以滿(mǎn)足其要求，不可能，也沒(méi)有必要采用集群技術(shù)。前文中列舉了寧波市的教育應用方案，并不是說(shuō)寧波市的教育網(wǎng)絡(luò )應用必須要集群技術(shù)來(lái)支持，只能說(shuō)這是turbolinux的市場(chǎng)運營(yíng)的一個(gè)成功案例。事實(shí)上，這個(gè)案例也是turbolinux推廣其產(chǎn)品的經(jīng)典案例之一。集群技術(shù)在遠程教育方面的應用需求，至少要在遠程教育形成規模的情況下才可能真正出現。
【集群技術(shù)科研應用管理論文】相關(guān)文章：
云計算技術(shù)在交通管理的應用論文06-30
服務(wù)器集群技術(shù)及其在視頻網(wǎng)絡(luò )中的應用03-18
電子信息技術(shù)在企業(yè)安全管理的應用的論文11-14
淺談?dòng)嬎銠C技術(shù)在企業(yè)管理的應用的論文12-02
教育技術(shù)中教學(xué)實(shí)踐應用論文11-30