【RHCA翻譯計(jì)劃】EX436第一章：集群存儲(chǔ)概論2

1.11SAN存儲(chǔ)技術(shù)：

從存儲(chǔ)到億恩科技主機(jī)之間的網(wǎng)絡(luò)連接有多種不同的機(jī)制，包括DAS、SAN、NAS等，而針對(duì)大型應(yīng)用，關(guān)鍵應(yīng)用常常采用SAN存儲(chǔ)架構(gòu)，其優(yōu)點(diǎn)是高性能，易拓展，而缺點(diǎn)則是管理復(fù)雜、價(jià)格昂貴（特別是使用FC光纖網(wǎng)絡(luò)）。

如上圖，關(guān)鍵業(yè)務(wù)如web服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器等通過(guò)光纖連接到光纖交換上，光纖交換下是多套存儲(chǔ)形成的存儲(chǔ)網(wǎng)絡(luò)，這樣的架構(gòu)性能相當(dāng)強(qiáng)勁。企業(yè)級(jí)應(yīng)用中，為防止單點(diǎn)故障，還會(huì)使用兩套光纖交換實(shí)現(xiàn)物理上的冗余，保證高可用性。

說(shuō)到SAN就必須要提iSCSI，iSCSI（ipOverSCSI）業(yè)內(nèi)也常叫作ipSAN，即是通過(guò)TCP/IP的網(wǎng)絡(luò)協(xié)議來(lái)傳輸磁盤的SCSI數(shù)據(jù)，隨著以太網(wǎng)技術(shù)的發(fā)展，千兆萬(wàn)兆都將應(yīng)用在企業(yè)中，而以iSCSI存儲(chǔ)的性價(jià)比，很多中小型企業(yè)會(huì)更加傾向于使用。

區(qū)分SCSI設(shè)備和FC光纖設(shè)備是相當(dāng)重要的，F(xiàn)C光纖設(shè)備是在存儲(chǔ)虛擬化最底層模擬一個(gè)或多個(gè)SCSI設(shè)備的抽象設(shè)備，并沒(méi)有真實(shí)的SCSI設(shè)備，而是通過(guò)SCSI協(xié)議模擬的。

GNBD（GlobalNetworkBlockDevice）全局網(wǎng)絡(luò)塊設(shè)備類似于iSCSI的存儲(chǔ)架構(gòu)，只是數(shù)據(jù)傳輸以數(shù)據(jù)塊為單位，C/S內(nèi)核模塊提供了通過(guò)以太網(wǎng)塊級(jí)別（block-level）的存儲(chǔ)訪問(wèn)。

1.12光纖通道：

現(xiàn)在企業(yè)級(jí)應(yīng)用中，通信最佳選材當(dāng)然是FC光纖了，光纖通信抗干擾、高速率，在企業(yè)中表現(xiàn)優(yōu)秀，光纖通道的組建需要光纖線、HBA卡、光纖交換機(jī)，組成一個(gè)高性能高可用的光纖網(wǎng)絡(luò)。

由于光纖網(wǎng)絡(luò)的管理復(fù)雜性，且價(jià)格高昂，所以一般僅應(yīng)用在最為關(guān)鍵的業(yè)務(wù)的關(guān)鍵部分，典型的應(yīng)用就是光纖存儲(chǔ)網(wǎng)絡(luò)。

1.13HBA光纖接口卡：

說(shuō)到HBA卡就要說(shuō)說(shuō)光纖通信的原理，光纖通信主要是一個(gè)光電轉(zhuǎn)換的過(guò)程，數(shù)字信號(hào)通過(guò)HBA卡轉(zhuǎn)換成光信號(hào)，光信號(hào)在光纖中高速傳輸，在另一端的HBA卡上轉(zhuǎn)換成電信號(hào)。HBA卡本身就有處理器對(duì)數(shù)據(jù)進(jìn)行處理，不需要耗費(fèi)CPU的處理時(shí)間，這也是光纖通信高效的原因之一。

HBA卡類似于SCSI卡，在計(jì)算機(jī)中被識(shí)別成SCSI設(shè)備。HBA卡使用SCSI命令，SCSI數(shù)據(jù)將被添加網(wǎng)絡(luò)包頭和包尾，轉(zhuǎn)換成FC光纖通道協(xié)議進(jìn)行傳輸。一些HBA卡能提供一個(gè)以上的光纖物理路徑，就像多路徑一樣。

1.14光纖交換機(jī)：

光纖交換機(jī)是SAN光纖存儲(chǔ)網(wǎng)絡(luò)的重要部分，提供了良好的拓展性，也使得SAN存儲(chǔ)網(wǎng)絡(luò)連接幾乎不受距離的限制。光纖通道通信距離可以超過(guò)100km。

光纖交換的拓?fù)溆幸韵氯�種：點(diǎn)對(duì)點(diǎn)；仲裁環(huán)路；交換式光纖網(wǎng)。點(diǎn)對(duì)點(diǎn)是兩個(gè)設(shè)備的簡(jiǎn)單連接，仲裁環(huán)路是所有的設(shè)備都排列在一個(gè)環(huán)路連接中，交換式光纖網(wǎng)是所有的設(shè)備連接到一個(gè)或多個(gè)光纖交換機(jī)上，形成光纖交換網(wǎng)絡(luò)。企業(yè)中普遍使用的是交換式光纖網(wǎng)。

1.15iSCSI存儲(chǔ)：

iSCSI可以理解為ipOverSCSI，也可以理解為internetSCSI，即是指SCSI數(shù)據(jù)通過(guò)以太網(wǎng)絡(luò)進(jìn)行傳輸，使用TCP/IP協(xié)議，默認(rèn)使用3260端口。一些企業(yè)更樂(lè)于使用iSCSI，因?yàn)椴幌馞C光纖網(wǎng)，iSCSI完全可以利用現(xiàn)有的交換網(wǎng)絡(luò)進(jìn)行部署，且iSCSI以性價(jià)比著稱，對(duì)于中小型企業(yè)來(lái)說(shuō)是最佳選擇。
 

1.16NPS網(wǎng)絡(luò)電源控制器：

NPS（NetworkPowerSwitch）網(wǎng)絡(luò)電源控制器，即電源Fence。在集群中，F(xiàn)ence設(shè)備是相當(dāng)重要的，在Windows的集群中沒(méi)有Fence這個(gè)概念，他的服務(wù)切換是通過(guò)仲裁機(jī)制來(lái)實(shí)現(xiàn)；而Linux的集群既有仲裁機(jī)制，也有Fence機(jī)制。

Fence設(shè)備大體可以分為兩大類，一類是電源Fence，另一類則是電纜Fence�，F(xiàn)在的集群大部分只使用了電纜Fence。下面介紹一下Fence的工作原理：以雙機(jī)的HA集群為例，當(dāng)空閑節(jié)點(diǎn)通過(guò)心跳線得知服務(wù)節(jié)點(diǎn)發(fā)生問(wèn)題，如通信失敗等，空閑節(jié)點(diǎn)就會(huì)利用服務(wù)節(jié)點(diǎn)上的Fence卡將該節(jié)點(diǎn)關(guān)機(jī)或重啟，并將服務(wù)資源“搶”到本節(jié)點(diǎn)上。電源Fence則是檢測(cè)到集群節(jié)點(diǎn)斷電時(shí)則切換服務(wù)到另一節(jié)點(diǎn)。

下圖即為NPS，主要就是為每一個(gè)電源接口提供一個(gè)以太網(wǎng)口，以實(shí)時(shí)監(jiān)控電源情況，目前國(guó)內(nèi)很少使用，其實(shí)有了UPS和完善的機(jī)房管理體制，NPS也沒(méi)有什么必要。

1.17ACPI機(jī)制：

ACPI（AdvancedConfigurationandPowerinterface）機(jī)制主要是針對(duì)億恩科技主機(jī)電源管理的機(jī)制，對(duì)于管理電源消耗很有用處。各廠商也有相應(yīng)的產(chǎn)品，如戴爾的遠(yuǎn)程訪問(wèn)接口卡DRAC，惠普的是iLo，英特爾的是IpmI等。

由于ACPI是基于軟件的機(jī)制，所以并不能完全依賴。例如，集群中一個(gè)節(jié)點(diǎn)由于內(nèi)核恐慌（kernelpanic）而被逐出集群，這時(shí)該節(jié)點(diǎn)將不能處理必要的電源輪詢。

1.18網(wǎng)絡(luò)集群節(jié)點(diǎn)：

集群心跳也屬于集群通信傳輸?shù)囊徊糠�，集群上的服�?wù)可以利用不同網(wǎng)卡上的子網(wǎng)分隔開(kāi)來(lái)，集群間通信形成一個(gè)子網(wǎng)，集群中各節(jié)點(diǎn)對(duì)外提供服務(wù)的網(wǎng)卡連接到公網(wǎng)。

通常為防止單點(diǎn)故障，各通信接口都要利用兩塊以上的網(wǎng)卡做綁定，可以實(shí)現(xiàn)冗余和負(fù)載均衡的作用。

網(wǎng)絡(luò)設(shè)備必須支持組播，組播用于集群間各節(jié)點(diǎn)之間的通信，地址是集群創(chuàng)建之時(shí)自動(dòng)生成的，但也可以手動(dòng)地用其他地址覆蓋。必須確定所有的網(wǎng)絡(luò)硬件（路由、交換、集線器、網(wǎng)卡等）支持組播。交換機(jī)的默認(rèn)配置有些是關(guān)閉了組播的，你可以通過(guò)ping組播地址測(cè)試一下，使用netstat-g查看已分配的組播地址。

1.19廣播與組播：

廣播的特點(diǎn)就是單對(duì)多，像DHCP服務(wù)那樣，利用廣播來(lái)發(fā)送自己DHCP的身份；組播則是數(shù)據(jù)包發(fā)送給指定的接收者。有一個(gè)形象的比喻，廣播就是告訴全公司的人一件事，組播則是只告訴一部分你想告訴的人。

組播比廣播更具效率，因?yàn)閺V播是不管你需不需要這信息，通通都發(fā)一遍，而組播則是有針對(duì)性地發(fā)送，效率自然比較好。

不是所有的以太網(wǎng)卡都支持組播。

IPv6很依賴組播，因?yàn)镮Pv6取消了廣播，采用了更合理的組播。

1.20以太通道的綁定：

以太通道的綁定即是將多塊物理網(wǎng)卡在操作系統(tǒng)上綁定成一個(gè)邏輯設(shè)備，實(shí)現(xiàn)高可用性和負(fù)載均衡。在集群中，雙機(jī)之間的心跳線是集群的關(guān)鍵，但是如果心跳線的網(wǎng)卡發(fā)生故障，則整個(gè)集群就失去功能了，所以，心跳線網(wǎng)卡常常用兩塊網(wǎng)卡綁定起來(lái)，實(shí)現(xiàn)冗余，防止由于物理網(wǎng)卡故障而導(dǎo)致集群崩潰。
 

1.21以太通道綁定的配置：

配置以太網(wǎng)卡綁定相當(dāng)簡(jiǎn)單。

第一步是配置加載bonding內(nèi)核模塊，使得支持綁定功能；

#vim/etc/modprobe.conf

aliasbond0bonding

optionsbond0mode=1miimon=100use_carrier=0

寫(xiě)入上面兩行參數(shù)后保存退出；其中，mode=0/1，0表示提供容錯(cuò)和負(fù)載均衡的功能，1表示只提供容錯(cuò)的功能；miimon=100表示連接監(jiān)控的頻度，單位為毫秒；use_carrier表示如何確定連接狀態(tài)；可以使用primary參數(shù)指定哪塊網(wǎng)卡作為主要優(yōu)先的。

第二步是配置網(wǎng)卡配置文件：

#cd/etc/sysconfig/network-scripts/

假設(shè)要將eth0和eth1綁定成bond0，則作如下修改：

#vimifcfg-eth0

DEVICE=eth0

MASTER=bond0

SLAVE=yes

ONBOOT=yes

BOOTPROTO=static

#vimifcfg-eth1

DEVICE=eth1

MASTER=bond0

SLAVE=yes

ONBOOT=yes

BOOTPROTO=static

#vimifcfg-bond0

DEVICE=bond0

IPADDR=192.0.2.1

NETMASK=255.255.255.0

GATEWAY=192.0.2.254

ONBOOT=yes

BOOTPROTO=static

重啟網(wǎng)絡(luò)：

#/etc/init.d/networkrestart

1.22多路徑：

多路徑是用于訪問(wèn)共享存儲(chǔ)的，可防止單點(diǎn)故障導(dǎo)致服務(wù)不可用。

設(shè)備映射多路徑允許節(jié)點(diǎn)通過(guò)多條路徑訪問(wèn)存儲(chǔ)，多路徑支持FC、iSCSI、GNBD等存儲(chǔ)架構(gòu)。

1.23安全：

集群間多有節(jié)點(diǎn)的通信默認(rèn)都經(jīng)過(guò)了加密，OpenAIS使用集群名作為密鑰，但這并不是徹底安全的策略。

防火墻必須允許集群和GFS相應(yīng)端口的使用。以下端口必須開(kāi)放：

5404,505 cman udp

11111 ricci tcp

14567 gnbd tcp

16851 modcluster tcp

21064 dlm tcp

50006,50008 ccsd tcp

50007 ccsd udp

服務(wù)器租用托管專員，億恩天使QQ530997 分享

服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]