隨著Internet的爆炸性增長(zhǎng)，WEB服務(wù)器很容易在訪(fǎng)問(wèn)高峰期過(guò)載導(dǎo)致頁(yè)面無(wú)法加載，因此就有了服務(wù)器集群，服務(wù)器集群可以更快處理這些問(wèn)題，你知道如何架設(shè)基于LINUX的服務(wù)器集群?jiǎn)�？現(xiàn)在我們?nèi)タ纯醇茉O(shè)基于LINUX的服務(wù)器集群的介紹。

1.什么是服務(wù)器集群
隨著Internet的爆炸性增長(zhǎng)，Internet與人的生活越來(lái)越息息相關(guān)，通過(guò) Internet上進(jìn)行交易也就越來(lái)越受關(guān)注。近幾年，電子商務(wù)的年增長(zhǎng)均超過(guò)100％。服務(wù)器的工作量也迅速增長(zhǎng)，所以服務(wù)器（特別是一個(gè)受人歡迎的 WEB服務(wù)器）很容易在訪(fǎng)問(wèn)高峰時(shí)期過(guò)載。
而另一方面，計(jì)算機(jī)從1946年單純的科學(xué)計(jì)算任務(wù)到現(xiàn)在大量紛繁復(fù)雜的信息處理，工作量越來(lái)越大，需要越來(lái)越快的處理能力。所以計(jì)算機(jī)界就不得不不斷研究更快的處理器，存儲(chǔ)器，以適應(yīng)這一需求。
然而，科學(xué)家們意識(shí)到，單塊處理器的速度發(fā)展空間是有限的，為什么不能讓計(jì)算機(jī)象人一樣協(xié)同工作，“群策群力”地將工作完成好呢！這時(shí)，就掀起了“并行計(jì)算”的研究。
舉個(gè)例子來(lái)說(shuō)，我們架設(shè)了一臺(tái)WWW服務(wù)器，上面構(gòu)建了一個(gè)電子商務(wù)網(wǎng)站，然而隨著時(shí)間的推移，名聲越來(lái)越大，這時(shí)點(diǎn)擊率也就越來(lái)越高，WWW服務(wù)器的負(fù)載也就越來(lái)越高。這種情況下，我們就必須提升WWW服務(wù)器的能力，以滿(mǎn)足以益增長(zhǎng)的服務(wù)請(qǐng)求。這時(shí)，我們就面臨兩種選擇：
1）升級(jí)WWW服務(wù)器，采用更快的CPU，增加更多的內(nèi)存，使其更具有POWER；但日益增長(zhǎng)的服務(wù)請(qǐng)求又會(huì)使服務(wù)器再次過(guò)載，需要再次升級(jí)，這樣就陷入了升級(jí)的怪圈。還有，升級(jí)時(shí)還得考慮到服務(wù)如何接續(xù)，能否中止！
2）增加WWW服務(wù)器，讓多臺(tái)服務(wù)器來(lái)完成相同的服務(wù)。
這種方法就是服務(wù)器集群，通過(guò)并行技術(shù)來(lái)大大提升系統(tǒng)性能。也就是這一章的主要內(nèi)容，這種方法具有很好的擴(kuò)展性，而且可以最大限度地利用已有投資。
1.1.集群的概念
集群，是一組獨(dú)立的計(jì)算機(jī)系統(tǒng)構(gòu)成一個(gè)松耦合的多處理器系統(tǒng)，它們之間通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)進(jìn)程間的通信。應(yīng)用程序可以通過(guò)網(wǎng)絡(luò)共享內(nèi)存進(jìn)行消息傳送，實(shí)現(xiàn)分布式計(jì)算機(jī)。
近幾年來(lái)，微處理器、內(nèi)存、總線(xiàn)技術(shù)、網(wǎng)絡(luò)技術(shù)有了非常大的進(jìn)步，軟件的并行技術(shù)也有了非常大的進(jìn)步，這使得讓一組廉價(jià)的個(gè)人電腦與工作站協(xié)同工作成為可能，甚至可以與擁有強(qiáng)大的芯片處理能力的超級(jí)計(jì)算機(jī)競(jìng)爭(zhēng)。
比如，16個(gè)普通微處理器組成的集群系統(tǒng)可以達(dá)到億次級(jí)浮點(diǎn)計(jì)算機(jī)能力，而且總的成本小于40萬(wàn)元。
不幸的是，建造一個(gè)集群并不是一件簡(jiǎn)單的事件。集群的組成部分必須根據(jù)要運(yùn)行的主要應(yīng)用進(jìn)行調(diào)整，以使之運(yùn)行在最佳狀態(tài)。這此因素帶來(lái)的結(jié)果就是，建造集群系統(tǒng)不是只有一個(gè)標(biāo)準(zhǔn)的方案，在本章中，我們就會(huì)看到許多種建造方案。
集群技術(shù)是計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)的前沿領(lǐng)域，筆者也僅是略有了解，希望本文能起到拋磚引玉之用。
1.2.并行技術(shù)
這是一個(gè)非常簡(jiǎn)單的建造四節(jié)點(diǎn)的小集群系統(tǒng)的例子，它是構(gòu)建在Linux操作系統(tǒng)上，通過(guò)MPICH軟件包實(shí)現(xiàn)的，希望這個(gè)小例子能讓大家對(duì)集群系統(tǒng)的構(gòu)建有一個(gè)最基本的了解。2.使用MPICH構(gòu)建一個(gè)四節(jié)點(diǎn)的集群系統(tǒng)
這是一個(gè)非常簡(jiǎn)單的建造四節(jié)點(diǎn)的小集群系統(tǒng)的例子，它是構(gòu)建在Linux操作系統(tǒng)上，通過(guò)MPICH軟件包實(shí)現(xiàn)的，希望這個(gè)小例子能讓大家對(duì)集群系統(tǒng)的構(gòu)建有一個(gè)最基本的了解。
2.1 所需設(shè)備
1).4臺(tái)采用Pentium II處理器的PC機(jī)，每臺(tái)配置64M內(nèi)存，2GB以上的硬盤(pán)，和EIDE接口的光盤(pán)驅(qū)動(dòng)器。
2).5塊100M快速以太網(wǎng)卡，如SMC 9332 EtherPower 10/100（其中四塊卡用于連接集群中的結(jié)點(diǎn)，另外一塊用于將集群中的其中的一個(gè)節(jié)點(diǎn)與其它網(wǎng)絡(luò)連接。）
3).5根足夠連接集群系統(tǒng)中每個(gè)節(jié)點(diǎn)的，使用5類(lèi)非屏蔽雙絞線(xiàn)制作的RJ45纜線(xiàn)
4).1個(gè)快速以太網(wǎng)(100BASE-Tx)的集線(xiàn)器或交換機(jī)
5).1張Linux安裝盤(pán)
2.2 構(gòu)建說(shuō)明
對(duì)計(jì)算機(jī)硬件不熟的人，實(shí)施以下這些構(gòu)建步驟會(huì)感到吃力。如果是這樣，請(qǐng)找一些有經(jīng)驗(yàn)的專(zhuān)業(yè)人士尋求幫助。
1. 準(zhǔn)備好要使用的采用Pentium II處理器的PC機(jī)。確信所有的PC機(jī)都還沒(méi)有接上電源，打開(kāi)PC機(jī)的機(jī)箱，在準(zhǔn)備與網(wǎng)絡(luò)上的其它設(shè)備連接的PC機(jī)上安裝上兩塊快速以太網(wǎng)卡，在其它的PC機(jī)上安裝上一塊快速以太網(wǎng)卡。當(dāng)然別忘了要加上附加的內(nèi)存。確定完成后蓋上機(jī)箱，接上電源。
2. 使用4根RJ45線(xiàn)纜將四臺(tái)PC機(jī)連到快速以太網(wǎng)的集線(xiàn)器或交換機(jī)上。使用剩下的1根RJ45線(xiàn)將額外的以太網(wǎng)卡（用于與其它網(wǎng)絡(luò)相連的那塊，這樣機(jī)構(gòu)就可以用上集群）連接到機(jī)構(gòu)的局域網(wǎng)上（假定你的機(jī)構(gòu)局域網(wǎng)也是快速以太網(wǎng)），然后打開(kāi)電源。
3. 使用LINUX安裝盤(pán)在每一臺(tái)PC機(jī)上安裝。請(qǐng)確信在LINUX系統(tǒng)中安裝了C編譯器和C的LIB庫(kù)。當(dāng)你配置TCP/IP時(shí)，建議你為四臺(tái)PC分別指定為192.168.1.1、192.168.1.2、192.168.1.3、192.168.1.4。第一臺(tái)PC為你的服務(wù)器節(jié)點(diǎn)（擁有兩塊網(wǎng)卡的那臺(tái)）。在這個(gè)服務(wù)器節(jié)點(diǎn)上的那塊與機(jī)構(gòu)局域網(wǎng)相連的網(wǎng)卡，你應(yīng)該為其指定一個(gè)與機(jī)構(gòu)局域網(wǎng)吻合的IP地址。
4.當(dāng)所有PC都裝好Linux系統(tǒng)后，編輯每臺(tái)機(jī)器的/etc/hosts文件，讓其包含以下幾行：
192.168.1.1 node1 server
192.168.1.2 node2
192.168.1.3 node3
192.168.1.4 node4
編輯每臺(tái)機(jī)器的/etc/hosts.equiv文件，使其包含以下幾行：
node1
node2
node3
node4
以下的這些配置是為了讓其能使用MPICH’s p4策略去執(zhí)行分布式的并行處理應(yīng)用。
1. 在服務(wù)器節(jié)點(diǎn)，建一個(gè)/mirror目錄，并將其配置成為NFS服務(wù)器，并在/etc/exports文件中增加一行：
/mirror node1(rw) node2(rw) node3(rw) node4(rw)
2. 在其他節(jié)點(diǎn)上，也建一個(gè)/mirror目錄，關(guān)在/etc/fstab文件中增加一行：
server:/mirror /mirror nfs rw,bg,soft 0 0
3. /mirror這個(gè)目錄從服務(wù)器上輸出，裝載在各個(gè)客戶(hù)端，以便在各個(gè)節(jié)點(diǎn)間進(jìn)行軟件任務(wù)的分發(fā)。
4. 在服務(wù)器節(jié)點(diǎn)上，安裝MPICH。MPICH的文檔可在
http://www.mcs.anl.gov/mpi/mpich/docs.html獲得。
5. 任何一個(gè)集群用戶(hù)（你必須在每一個(gè)節(jié)點(diǎn)新建一個(gè)相同的用戶(hù)），必須在/mirror目錄下建一個(gè)屬于它的子目錄，如/mirror/username，用來(lái)存放MPI程序和共享數(shù)據(jù)文件。這種情況，用戶(hù)僅僅需要在服務(wù)器節(jié)點(diǎn)上編譯MPI程序，然后將編譯后的程序拷貝到在/mirror目錄下屬于它的的子目錄中，然后從他在/mirror目錄下屬于它的的子目錄下使用p4 MPI策略運(yùn)行MPI程序。2.3 MPICH安裝指南
1. 如果你有g(shù)unzip，就d下載mpich.tar.gz，要不然就下載mpich.tar.Z。你可以到http: //www.mcs.anl.gov/mpi/mpich/downloa下載，也可以使用匿名FTP到ftp.mcs.anl.gov的pub/mpi 目錄拿。（如果你覺(jué)得這個(gè)東西太大，你可以到pub/mpi/mpisplit中取分隔成塊的幾個(gè)小包，然后用cat命令將它們合并）
2.解壓：gunzip ��;c mpich.tar.gz |tar xovf-（或zcat mpich.tar.Z|tar xovf-）
3.進(jìn)入mpich目錄
4.執(zhí)行：./configure為MPICH選擇一套適合你的實(shí)際軟硬件環(huán)境的參數(shù)組，如果你對(duì)這些默認(rèn)選擇的參數(shù)不滿(mǎn)意，可以自己進(jìn)行配置（具體參見(jiàn)MPICH的配置文檔）。最好選擇一個(gè)指定的目錄來(lái)安裝和配置MPICH，例如：
./configure -prefix=/usr/local/mpich-1.2.0
5.執(zhí)行：make >& make.log 這會(huì)花一段較長(zhǎng)的時(shí)間，不同的硬件環(huán)境花的時(shí)間也就不同，可能從10分鐘到1個(gè)小時(shí)，甚至更多。
6. （可選）在工作站網(wǎng)絡(luò)，或是一臺(tái)單獨(dú)的工作站，編輯mpich/util/machines/machines.xxx（xxx是MPICH對(duì)你機(jī)器體系結(jié)構(gòu)取的名稱(chēng)，你能很容易的認(rèn)出來(lái)）以反映你工作站的當(dāng)?shù)刂鳈C(jī)名。你完全可以跳過(guò)這一步。在集群中，這一步不需要。
7.（可選）編譯、運(yùn)行一個(gè)簡(jiǎn)單的測(cè)試程序：
cd examples/basic
make cpi
ln ��;s ../../bin/mpirun mpirun
./mpirun ��;np 4 cpi
此時(shí)，你就在你的系統(tǒng)上運(yùn)行了一個(gè)MPI程序。
8.（可選）構(gòu)建MPICH其余的環(huán)境，為ch_p4策略使用安全的服務(wù)會(huì)使得任何啟動(dòng)速度加快，你可以執(zhí)行以下命令構(gòu)建：
make serv_p4
(serv_p4是一個(gè)較新的P4安全服務(wù)的版本，它包含在MPICH 1.2.0版中)，nupshot程序是upshot程序的一個(gè)更快版本，但他需要tk 3.6版的源代碼。如果你有這個(gè)包，你就用以下命令可以構(gòu)建它：
make nupshot
9.（可選）如果你想將MPICH安裝到一個(gè)公用的地方讓其它人使用它，你可以執(zhí)行：
make install 或 bin/mpiinstall
你可以使用-prefix選項(xiàng)指定MPICH安裝目錄。安裝后將生成include、lib、bin、sbin、www和man目錄以及一個(gè)小小的示例目錄，
（可選）到此你可以通告所有的用戶(hù)如何編譯、執(zhí)行一個(gè)MPI程序。
2.4 費(fèi)用統(tǒng)計(jì)
這個(gè)小的集群方案總的費(fèi)用大致如下：
設(shè)備費(fèi)用：
4臺(tái) Pentium II CPU /64MB內(nèi)存, 2GB的硬盤(pán)帶EIDE CD-ROM 的機(jī)器： 24000元
5塊快速以太網(wǎng)卡： 800元
1個(gè)快速以太網(wǎng)的集線(xiàn)機(jī)：2000元
5根雙絞線(xiàn)：50元
軟件費(fèi)用：
LINUX安裝光盤(pán)：50元
MPICH：0元
合計(jì)：26900元。
這樣一個(gè)集群系統(tǒng)可以用于一些大量的科學(xué)計(jì)算，信息處理，而且其性?xún)r(jià)比實(shí)在是太好了，僅需不到三萬(wàn)元。
以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作能帶來(lái)一定的幫助~如果有疑問(wèn)大家可以留言交流，謝謝大家對(duì)愛(ài)站技術(shù)頻道的支持！

標(biāo)簽： [db:TAGG]

版權(quán)申明：本站文章部分自網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系：west999com@outlook.com
特別注意：本站所有轉(zhuǎn)載文章言論不代表本站觀點(diǎn)！
本站所提供的圖片等素材，版權(quán)歸原作者所有，如需使用，請(qǐng)與原作者聯(lián)系。