介紹在北京舉行的2015 LUG(Lustre用戶組)大會上，戴爾公司高性能計算技術(shù)顧問凌先生以“戴爾/英特爾Lustre高性能計算存儲解決方案”為主題發(fā)表了演講。在這篇文章中，邊肖截取了演講的一些精華，并補充了一些自己的理解和知識。希望對大家有幫助。Lustre并行文件系統(tǒng)的優(yōu)勢和挑戰(zhàn)

根據(jù)上圖，IDC 2014年5月的統(tǒng)計數(shù)據(jù)顯示，50%的高性能計算存儲使用Lustre文件系統(tǒng)，GPFS和NFS的份額分別為21%和17%。2013年，Lustre還在另一家分析機構(gòu)的存儲管理軟件調(diào)查中排名第一。

開源Lustre不僅是一個分布式文件系統(tǒng)，也是一個并行文件系統(tǒng)。其優(yōu)點包括提供一個單獨命名的空房間；可以增加節(jié)點數(shù)量來擴展容量和性能，支持在線擴展；支持多個客戶端并發(fā)讀寫，通過分布式鎖機制保證數(shù)據(jù)一致性。

有人說，一個與開源相關(guān)的名詞在折騰。作者早就聽說Lustre對設(shè)計、部署、調(diào)優(yōu)的技術(shù)要求很高；其實其他一些文件系統(tǒng)(甚至商業(yè)文件系統(tǒng))也是類似的，用起來不難，但是用好就不容易了。如上所示，挑戰(zhàn)可能包括應(yīng)用程序設(shè)計、工作負載模型、網(wǎng)絡(luò)帶寬、IO模型(主要影響元數(shù)據(jù)性能)、OSS(對象存儲服務(wù)器)和LUN負載平衡、故障轉(zhuǎn)移和I/O優(yōu)化。那么對于Lustre技術(shù)積累不夠的用戶，如何快速有效的解決這些問題呢？戴爾高性能計算解決方案體系結(jié)構(gòu)、存儲配置建議

Lustre的主要目的是高性能計算。上圖顯示了戴爾的高性能計算解決方案體系結(jié)構(gòu)，存儲是其中的一部分。關(guān)于計算節(jié)點的選擇，刀片服務(wù)器具有靈活的配置和可管理性；傳統(tǒng)機架式服務(wù)器可以提供大內(nèi)存節(jié)點；云服務(wù)器既有密度又有性價比，還有專門為GPU設(shè)計的機型；用于高性能計算的工作站通常要求高視覺效果，并配備專業(yè)顯卡。

如上圖，除了來自合作伙伴Mellanox的IB交換機，戴爾可以提供Lustre存儲的典型配置“Boulder”中的所有服務(wù)器、存儲和網(wǎng)絡(luò)設(shè)備，包括MDS元數(shù)據(jù)服務(wù)器+MD3420雙控SAS陣列、OSS對象存儲服務(wù)器+MD3460雙控高密度SAS陣列+MD3060e高密度JBOD擴展機柜；還有管理節(jié)點和千兆/萬兆以太網(wǎng)交換機。

戴爾不僅單純提供設(shè)備，對磁盤陣列的RAID配置也有具體建議。比如連接到OSS的MD3460/MD3060e，其中60塊硬盤建議做成6個RAID組，每組10塊磁盤配置為RAID6(8+2)，這樣LUN(OST)就可以達到理想的性能。這里沒有熱備，因此HPC系統(tǒng)的可控性高于OLTP等關(guān)鍵業(yè)務(wù)。當(dāng)硬盤出現(xiàn)故障時，可以根據(jù)情況安排重建，或者減少用戶對存儲的訪問。由于采用了RAID10(MDT元數(shù)據(jù)存儲)和RAID 6技術(shù)，可以采用冷備份磁盤的方式來處理磁盤故障問題。性能測試:吞吐量和元數(shù)據(jù)

以上是博爾德配置的IOzone性能測試結(jié)果。單個客戶端讀寫性能分別達到0.75千兆字節(jié)/秒和0.63千兆字節(jié)/秒，24個客戶端最大聚合性能分別達到10.04千兆字節(jié)/秒和5.68千兆字節(jié)/秒。用戶可以比較他們的實際需求，戴爾可以幫助提供適合您的配置建議。

MDtest元數(shù)據(jù)測試主要用于評估有很多小文件的應(yīng)用場景。Boulder在單客戶端測試中配置，每秒500個文件創(chuàng)建操作，2000個文件狀態(tài)(list)，1800個文件刪除次數(shù)；通過240個線程，每秒總文件創(chuàng)建量達到15K，文件狀態(tài)(列表)為400k；在192個線程上，文件刪除性能高達每秒100K次操作。企業(yè)級Lustre:集成高性能計算和大數(shù)據(jù)

在2013年春季的IDF期間，作者簡要總結(jié)了Lustre的歷史:“Lustre項目始于1999年，CFS公司成立于2003年，發(fā)布了1.0版。2007年開始歸孫所有，2009年發(fā)布1.8版。2010年，孫被甲骨文收購后加盟甲骨文，發(fā)布2.0版。同年，Lustre團隊要獨立于Oracle，成立惠姆云公司。Lustre建立了兩個開源社區(qū)，OpenSFS和EOFS。去年，威猛云被英特爾收購，之后發(fā)布了2.3版?！?引自“l(fā)ustre:數(shù)據(jù)庫云服務(wù)器文件系統(tǒng)的前世”)英特爾發(fā)布了自己的企業(yè)版軟件(IEEL)，同時保持Lustre開源。上圖中的綠色和紅色方框是企業(yè)版中唯一可用的部分。這些包括生產(chǎn)質(zhì)量的文件系統(tǒng)增強；專門的英特爾經(jīng)理；Apache Hadoop和Cloudera Hadoop的適配器可以為MapReduce提供訪問數(shù)據(jù)的HDFS接口；分層存儲管理支持，包括POSIX拷貝工具和強大的策略引擎；利用ZFS最大限度地保護數(shù)據(jù)(數(shù)據(jù)完整性和快照)；針對至強融核的客戶端和優(yōu)化；使用不同的存儲服務(wù)來提高小文件的性能；24x7企業(yè)支持、專業(yè)服務(wù)和培訓(xùn)等。

通過與英特爾的密切合作，戴爾支持運行在IEEL軟件的戴爾存儲上的Hadoop(相當(dāng)于取代HDFS的Lustre文件系統(tǒng))。目前該方案已經(jīng)在至少兩所高校有成功案例，其主要優(yōu)勢是將HPC和Hadoop數(shù)據(jù)集成到一個存儲系統(tǒng)中。綜上所述，戴爾不僅是數(shù)據(jù)中心硬件設(shè)備提供商，還擁有自己的軟件部門，與多家合作伙伴共同提供咨詢各種行業(yè)應(yīng)用解決方案等增值服務(wù)。