企業(yè)服務(wù)器市場(chǎng)產(chǎn)業(yè)化程度較高，產(chǎn)品形式不同，如塔式服務(wù)器、機(jī)架式服務(wù)器、刀片式服務(wù)器等，可以支持多種應(yīng)用，各種服務(wù)器之間有很多差異。

對(duì)于超大規(guī)模數(shù)據(jù)中心的運(yùn)營(yíng)商來(lái)說(shuō)，他們要求這些產(chǎn)品盡可能統(tǒng)一，價(jià)格要足夠便宜，管理要足夠簡(jiǎn)單。因此，超大規(guī)模數(shù)據(jù)中心的計(jì)算和存儲(chǔ)方法更有趣。

谷歌最近采取了行動(dòng)，微軟也是。微軟奧林巴斯項(xiàng)目的最新發(fā)展涉及基于英特爾至強(qiáng)、ARM和AMD那不勒斯的服務(wù)器。六年前創(chuàng)立于OCP的Facebook在開(kāi)源硬件領(lǐng)域擁有很高的地位，最近還推出了一系列更新。

微軟和Facebook都推出了加速機(jī)器學(xué)習(xí)工作量的服務(wù)器，場(chǎng)景針對(duì)性很強(qiáng)。讓我們來(lái)看看Facebook為OCP貢獻(xiàn)的通用計(jì)算系統(tǒng)，看看它對(duì)其他人有什么用處。

更新服務(wù)器節(jié)點(diǎn)-tioga PAAs

去年作者梳理了當(dāng)時(shí)Facebook的產(chǎn)品線。當(dāng)時(shí)的OpenRack服務(wù)器主要有6種配置，都是基于雙向豹(獵豹)或者單向約塞米蒂(約塞米蒂，美國(guó)國(guó)家公園，以瀑布聞名，深受美國(guó)人喜愛(ài)，曾經(jīng)以蘋(píng)果的MAC OS命名)。適用的應(yīng)用場(chǎng)景主要包括:Web前端、數(shù)據(jù)庫(kù)、Hadoop大數(shù)據(jù)存儲(chǔ)分析、Haystack對(duì)象存儲(chǔ)、緩存密集型應(yīng)用等。，這是Facebook常用的緩存。

一年后，F(xiàn)acebook正式更新了這些服務(wù)器和存儲(chǔ)盒，包括三個(gè)標(biāo)準(zhǔn)機(jī)器和兩個(gè)專門為機(jī)器學(xué)習(xí)設(shè)計(jì)的盒子。

泰奧加山口

Leopard平臺(tái)更新后的產(chǎn)品代碼是“tioga pass”(tioga pass原指約塞米蒂公園東入口處的一個(gè)度假村)，和之前的Leopard一樣，更新后提供了更大的內(nèi)存和I/O帶寬，可以更高效的發(fā)揮計(jì)算能力。

Tioga Paas采用Facebook的第四代主板，基于英特爾至強(qiáng)處理器，如下圖所示:

Tioga Pass和之前的Leopard外觀沒(méi)有變化，6.5英寸x20英寸。任何三張豹式和Tioga通行證都可以放入開(kāi)放式行李架。Tioga Pass主板專為英特爾的“純”硬件平臺(tái)功能而設(shè)計(jì)，包括一款先前的產(chǎn)品和將于今年年中上市的Skylake至強(qiáng)處理器。

Tioga Pass是雙向設(shè)計(jì)，但也支持單向模式，所以Facebook可以針對(duì)特定工作負(fù)載選擇速度更快的Skylake至強(qiáng)。以史為鑒，預(yù)計(jì)兩代至強(qiáng)處理器將同時(shí)并存于Tioga Pass機(jī)。隨著英特爾產(chǎn)品的更新?lián)Q代，未來(lái)的Tioga Pass機(jī)可能會(huì)共存三代至強(qiáng)處理器，這主要是由于制造工藝的改變，從14nm到10nm。

Tioga Pass主板支持將DDR4內(nèi)存插入288針內(nèi)存插槽。Tioga Pass有兩個(gè)版本，一個(gè)是單面焊電路，一個(gè)是雙面焊電路，俗稱雙面打印。

雙面打印的好處是可以用氣流的兩面來(lái)冷卻部件，可以同時(shí)冷卻兩面。雙面打印TIOga Pass單通道模式每面支持12個(gè)內(nèi)存插槽，兩個(gè)PCIe x16插槽通過(guò)適配器連接到PCIe x2適配器，支持32通道io路徑。(Tioga Pass沒(méi)有具體說(shuō)明是PCIe 3.0還是PCIe 4.0，但是從Intel的路線圖可以看出，目前Skylake只支持PCIe3.0。)

單面打印Tioga Pass僅支持12個(gè)內(nèi)存插槽的單向，PCIe插槽是可選的，但它是兩個(gè)PCIe x16插槽、一個(gè)PCIe x16插槽或兩個(gè)PCIe x8插槽。X16插槽主要是為加速器和一些I/O設(shè)備(比如閃存)準(zhǔn)備的。以前Leopard只支持x24插槽，這意味著適配器不能支持x16選項(xiàng)。

這些額外的插槽增強(qiáng)了Tioga Pass服務(wù)器的組合能力，可以用來(lái)連接高速全閃存節(jié)點(diǎn)和全GPU節(jié)點(diǎn)，讓服務(wù)器為這些節(jié)點(diǎn)提供計(jì)算能力。Tioga Pass還集成了100Gb/s以太網(wǎng)接口，可用于管理最近推出的閃存存儲(chǔ)陣列。

貌似Facebook打算在Skylake處理器的每個(gè)內(nèi)存通道放兩個(gè)DIMM，內(nèi)存頻率運(yùn)行在2.13GHz或者2.4GHz，Skylake也支持單個(gè)DIMM運(yùn)行在2.67GHz。

還需要注意的是，Tioga Pass的每一個(gè)DDR4都支持NVDIMM存儲(chǔ)，mSATA都被m.2取代，話說(shuō)回來(lái)，微軟三年前就開(kāi)始在OpenCloudServer中使用M.2了。

Tioga Pass采用OpenBMC基板管理控制器，2015年首次與優(yōu)勝美地微服務(wù)器——MonoLake (Mono Lake，也在優(yōu)勝美地公園)一起出現(xiàn)，專門為至強(qiáng)D微處理器設(shè)計(jì)。

單層微服務(wù)器節(jié)點(diǎn)

約塞米蒂V2底盤

自從約塞米蒂微服務(wù)器兩年前出現(xiàn)以來(lái)，已經(jīng)進(jìn)行了許多調(diào)整。新的約塞米蒂V2底盤仍然支持單層單插槽服務(wù)器和雙湖節(jié)點(diǎn)。優(yōu)勝美地V2機(jī)箱配備了新的電源子系統(tǒng)，允許TwinLake服務(wù)器熱插拔操作——這是一個(gè)很大的改進(jìn)。

此外，優(yōu)勝美地V2機(jī)箱靈活，允許同時(shí)放入四個(gè)處理器節(jié)點(diǎn)，支持兩個(gè)處理器配兩個(gè)加速器(如FPGA或GPU)，或者放入閃存卡等。

放閃存卡“冰川點(diǎn)”的載板碼，放其他外設(shè)的載板——“載板”。根據(jù)Facebook的官方文件，每個(gè)節(jié)點(diǎn)最多可以支持192瓦，每個(gè)約塞米蒂V2盒子最多可以支持600瓦，所以這里不支持放250瓦或300瓦的加速器。

左側(cè)是閃光載體板冰川點(diǎn)，右側(cè)是載體平臺(tái)

冰川點(diǎn)盒中有四個(gè)雙湖服務(wù)器節(jié)點(diǎn)，每個(gè)服務(wù)器節(jié)點(diǎn)可以連接到一個(gè)共享的50Gb或100Gb多主機(jī)網(wǎng)絡(luò)接口卡。

這是本文中提到的優(yōu)勝美地V2盒子，雙湖節(jié)點(diǎn)有一個(gè)綠色手柄。

約塞米蒂V2

下圖顯示了優(yōu)勝美地V2盒子是如何放入OpenRack vCubby的。如果你數(shù)數(shù)，你可以把四個(gè)盒子平行放在一起。

單層和雙湖節(jié)點(diǎn)集成了四端口10Gb網(wǎng)絡(luò)接口。如果不需要50Gb和100Gb的網(wǎng)絡(luò)端口，可以直接連接到OpenRack的Tor交換機(jī)，省時(shí)省力。如果需要高速帶寬，PCIe 3.0x4可以用來(lái)連接約塞米蒂V2的多主機(jī)控制器。值得注意的是，F(xiàn)acebook設(shè)計(jì)的四端口控制器也是x4夾層卡。此外，單層和雙湖節(jié)點(diǎn)也支持PCIe x16連接到約塞米蒂V2底盤。

有趣的是，F(xiàn)acebook沒(méi)有說(shuō)TwinLakes節(jié)點(diǎn)在這次更新中使用了什么處理器，但在上一代產(chǎn)品中明確提到了處理器部分?？紤]到優(yōu)勝美地適合多種平臺(tái)，除了英特爾的至強(qiáng)D和Skylake至強(qiáng)E3之外，非常有可能使用高通的Centriq 2400 ARM處理器或AMD Naples Opteron處理器。

存儲(chǔ)陣列-布萊斯峽谷

2013年，F(xiàn)acebook推出了高密度存儲(chǔ)陣列——諾克斯。團(tuán)抱密度非常高。一個(gè)托盤上有兩層3.5英寸硬盤。2015年更新了《蜜獾》(蜜獾歡，愛(ài)蜂蜜、螞蟻、堅(jiān)果)?？雌饋?lái)很低調(diào)，其實(shí)很兇。它愛(ài)抓毒蛇，被稱為世界上最無(wú)所畏懼的動(dòng)物，另外，“團(tuán)抱”的微服務(wù)器平臺(tái)是優(yōu)勝美地微服務(wù)器的前身。

霍尼獾是兩年前的。這兩年Facebook上視頻流量激增，視頻比很多靜態(tài)文件大很多，需要一個(gè)新的平臺(tái)，于是就有了布萊斯峽谷(布萊斯峽谷國(guó)家公園)。布萊斯峽谷的磁盤比蜜獾多20%，計(jì)算能力是蜜獾的4倍。是OpenVault(對(duì)于Open Rack也是簡(jiǎn)單高效的)

之前的蜜獾給人一種山寨的感覺(jué)，而布萊斯峽谷看起來(lái)更嚴(yán)肅，高很多。布萊斯峽谷外形設(shè)計(jì)像超微、戴爾、HPE、華為的機(jī)器。圓盤之間沒(méi)有鉸鏈，看起來(lái)不錯(cuò)，但是制造和使用都比較麻煩。

布萊斯峽谷

布萊斯峽谷最多可以容納72個(gè)3.5英寸硬盤，可以把整個(gè)當(dāng)成一個(gè)陣列，也可以把每36個(gè)硬盤分成一個(gè)陣列。在計(jì)算部分，使用了基于至強(qiáng)D的Mono Lake微服務(wù)器計(jì)算卡，可以根據(jù)負(fù)載需求選擇一個(gè)或兩個(gè)計(jì)算卡。

Fcaebook的一位硬件工程師解釋說(shuō):“我們發(fā)現(xiàn)，采用單通道架構(gòu)時(shí)，運(yùn)行Web和存儲(chǔ)負(fù)載的整體效率和單位功耗性能更好。我們已經(jīng)將網(wǎng)絡(luò)層負(fù)載遷移到該架構(gòu)，并在布萊斯峽谷采用了單層”。

布萊斯峽谷網(wǎng)絡(luò)功能豐富，存儲(chǔ)控制器支持6Gb和12GB SATA，一個(gè)IO模塊可以以O(shè)CP網(wǎng)絡(luò)夾層卡為前端，可以同時(shí)支持25Gb和50Gb以太網(wǎng)卡。IOM有兩個(gè)不同的后端，包括PCIe 3.0 x 4 m.2端口或12Gb SAS控制器。

布萊斯峽谷配備了各種計(jì)算和I/O選項(xiàng)，可以靈活配置，以對(duì)應(yīng)不同的應(yīng)用場(chǎng)景，如JBOD、Hadoop、云存儲(chǔ)等場(chǎng)景。此外，布萊斯峽谷還使用OpenBMC作為管理方。

“因?yàn)槟K化設(shè)計(jì)，未來(lái)可以采用新一代CPU。如果需要其他IO接口，新的IO模塊可以滿足需求。因?yàn)镮OM采用16通道PCIe設(shè)計(jì)，所以有足夠的帶寬來(lái)滿足所有的可能性?！?/p>

系統(tǒng)設(shè)計(jì)的原則與協(xié)議無(wú)關(guān)。如果需要NVMe，存儲(chǔ)控制器可以切換到支持基于PCIe交換機(jī)的解決方案。如果選擇高分配，布萊斯峽谷將被兩個(gè)單層計(jì)算模塊分成兩個(gè)存儲(chǔ)陣列。這里使用的輸入輸出模塊支持兩個(gè)PCIe m.2插槽，使用四通道PCIe 3.0。作為OCP夾層板網(wǎng)卡的補(bǔ)充，m2可以用作緩存或小文件寫(xiě)合并。(編:DOIT朱鵬波)

關(guān)于DOIT

DOIT是中國(guó)領(lǐng)先的新技術(shù)媒體，始于2003年，專注于技術(shù)和數(shù)據(jù)經(jīng)濟(jì)，深入了解IT走向DT的趨勢(shì)。