遠(yuǎn)程直接內(nèi)存訪問(Remote Direct Memory Access)是一種直接內(nèi)存訪問技術(shù)，它直接將數(shù)據(jù)從一臺計算機(jī)的內(nèi)存?zhèn)鬏數(shù)搅硪慌_計算機(jī)，而無需兩個操作系統(tǒng)的干預(yù)。本文旨在提供技術(shù)指導(dǎo)。詳情請參閱:電子書。

RDMA技術(shù)最早出現(xiàn)在Infiniband網(wǎng)絡(luò)中，用于互連高性能計算集群。傳統(tǒng)的基于Socket (TCP/IP協(xié)議棧)的網(wǎng)絡(luò)通信需要通過操作系統(tǒng)軟件協(xié)議棧，數(shù)據(jù)在系統(tǒng)DRAM、處理器Cache和網(wǎng)卡Buffer之間來回復(fù)制移動，從而占用大量CPU計算資源和內(nèi)存總線帶寬，增加網(wǎng)絡(luò)延遲。比如40Gbps TCP/IP流可以耗盡主流服務(wù)器的所有CPU資源；RDMA解決了傳統(tǒng)TCP/IP通信的技術(shù)痛點。例如，在40Gbps場景中，CPU利用率從100%降低到5%，網(wǎng)絡(luò)延遲從ms級別降低到10us以下。

RDMA是一種新的內(nèi)存訪問技術(shù)，它允許計算機(jī)直接訪問其他計算機(jī)的內(nèi)存，而無需處理器進(jìn)行耗時的處理。RDMA可以將數(shù)據(jù)從一個系統(tǒng)快速移動到遠(yuǎn)程系統(tǒng)內(nèi)存，而不會對操作系統(tǒng)造成任何影響。下圖顯示了RDMA技術(shù)的原理及其與TCP/IP體系結(jié)構(gòu)的一致性。

所以RDMA可以簡單理解為使用相關(guān)的硬件和網(wǎng)絡(luò)技術(shù)，直接讀取服務(wù)器網(wǎng)卡之間的內(nèi)存，最終達(dá)到高帶寬、低延遲、低資源利用率的效果。應(yīng)用程序不需要參與數(shù)據(jù)傳輸過程，只需要指定內(nèi)存讀寫地址，開始傳輸，等待傳輸完成。

RDMA首先在Infiniband傳輸網(wǎng)絡(luò)上實施，技術(shù)先進(jìn)，但價格昂貴(只有Mellanox和Intel供應(yīng)商提供全套網(wǎng)絡(luò)解決方案)。后來工業(yè)廠商將RDMA移植到傳統(tǒng)以太網(wǎng)，降低了RDMA的使用成本，促進(jìn)了RDMA技術(shù)的普及。在以太網(wǎng)上，根據(jù)協(xié)議棧融合的不同，有iWARP和RoCE兩種技術(shù)，RoCE包括RoCEv1和RoCEv2兩個版本(RoCEv2最大的改進(jìn)是支持IP路由)。下圖顯示了成對的RDMA網(wǎng)絡(luò)協(xié)議棧。

Infiniband，支持RDMA的新一代網(wǎng)絡(luò)協(xié)議。由于這是一種新的網(wǎng)絡(luò)技術(shù)，需要網(wǎng)卡和支持這種技術(shù)的交換機(jī)。

RoCE，一種允許在以太網(wǎng)上執(zhí)行RDMA的網(wǎng)絡(luò)協(xié)議。下層網(wǎng)絡(luò)頭是以太網(wǎng)頭，上層網(wǎng)絡(luò)頭(包括數(shù)據(jù))是InfiniBand頭。這支持在標(biāo)準(zhǔn)以太網(wǎng)基礎(chǔ)設(shè)施(交換機(jī))上使用RDMA。只有網(wǎng)卡應(yīng)該是專用的，支持RoCE。

IWARP，一種允許通過TCP執(zhí)行RDMA的網(wǎng)絡(luò)協(xié)議。iWARP不支持IB和RoCE中存在的功能。這支持在標(biāo)準(zhǔn)以太網(wǎng)基礎(chǔ)設(shè)施(交換機(jī))上使用RDMA。只有網(wǎng)卡應(yīng)該是專用的，支持iWARP(如果用CPU卸載的話)，否則所有iWARP棧都可以用軟件實現(xiàn)，大部分RDMA性能優(yōu)勢喪失。

rdma應(yīng)用程序和rnic (rdma感知網(wǎng)絡(luò)接口控制器)之間的傳輸接口層稱為動詞或RDMA應(yīng)用編程接口，RDMA應(yīng)用編程接口(動詞)主要有兩種動詞:

記憶動詞(Memory動詞)，也叫單側(cè)記憶。包括rdma讀、rdma寫和rdma原子。這種模式下的RDMA訪問根本不需要來自遠(yuǎn)程機(jī)器的任何確認(rèn)。

消息動詞(消息動詞)，也稱為雙邊消息傳遞。包括RDMA發(fā)送，RDMA接收。這種模式下的RDMA訪問需要遠(yuǎn)程中央處理器的參與。

基于傳輸控制協(xié)議的RDMA協(xié)議可以在基于傳輸控制協(xié)議的標(biāo)準(zhǔn)網(wǎng)絡(luò)中工作，例如目前廣泛應(yīng)用于各種數(shù)據(jù)中心的以太網(wǎng)。IWARP沒有指定物理層信息，所以可以在任何使用TCP/IP協(xié)議的網(wǎng)絡(luò)上層工作。IWARP允許許多傳輸類型共享相同的物理連接，例如網(wǎng)絡(luò)、輸入/輸出、文件系統(tǒng)、塊存儲和處理器之間的消息通信。

根據(jù)RDMA的TCP協(xié)議棧，前三層構(gòu)成iWARP協(xié)議族，用于保證高速網(wǎng)絡(luò)的互操作性。

融合以太網(wǎng)RDMA(RoCe)是一種網(wǎng)絡(luò)協(xié)議，允許應(yīng)用程序通過以太網(wǎng)訪問遠(yuǎn)程內(nèi)存。目前，RoCE有兩個協(xié)議版本。

RoCE v1是一種鏈路層協(xié)議，允許同一廣播域中的任何兩臺主機(jī)直接訪問。

Rochev2是一種互聯(lián)網(wǎng)層協(xié)議，可以實現(xiàn)路由功能。雖然RoCE協(xié)議的這些優(yōu)勢是基于融合以太網(wǎng)的特點，但RoCE協(xié)議也可以用于傳統(tǒng)以太網(wǎng)或非融合以太網(wǎng)。

目前，雖然三種RDMA技術(shù)IB、以太網(wǎng)RoCE和以太網(wǎng)iWARP使用統(tǒng)一的API，但它們具有不同的物理層和鏈路層。與iWARP相比，RoCE在以太網(wǎng)解決方案中具有明顯的優(yōu)勢，體現(xiàn)在延遲、吞吐量和CPU負(fù)載上。RoCE有很多主流方案支持，包含在Windows服務(wù)軟件中。

RDMA技術(shù)是基于傳統(tǒng)網(wǎng)絡(luò)的概念，但它與IP網(wǎng)絡(luò)有些不同。關(guān)鍵的區(qū)別在于，RDMA提供了一種消息服務(wù)，應(yīng)用程序可以通過它直接訪問遠(yuǎn)程計算機(jī)上的虛擬內(nèi)存。借助一些上層協(xié)議，消息服務(wù)可以用于進(jìn)程間通信(IPC)、遠(yuǎn)程服務(wù)器通信和與存儲設(shè)備的數(shù)據(jù)傳輸。有許多上層協(xié)議，如iSCSI RDMA擴(kuò)展(iSER)和SCSI RDMA協(xié)議(SRP)。主流中小企業(yè)、桑巴、Lustre和ZFS也支持RDMA。

RoCE和InfiniBand，一個定義了如何在以太網(wǎng)上運行RDMA，另一個定義了如何在IB網(wǎng)絡(luò)上運行RDMA。RoCE預(yù)計將IB應(yīng)用(主要是基于集群的應(yīng)用)遷移到融合以太網(wǎng)，而在其他應(yīng)用中，IB網(wǎng)絡(luò)仍將提供比RoCE更高的帶寬和更低的延遲。RoCE和IB協(xié)議之間的技術(shù)差異:

擁塞控制:RoCE所依賴的無包網(wǎng)絡(luò)是基于以太網(wǎng)流量控制或PFC(優(yōu)先級流量控制)的。RoCEv2定義了擁塞控制協(xié)議，使用ECN作為標(biāo)記，使用CNP幀進(jìn)行確認(rèn)。而IB使用基于信用的算法來保證HCA和HCA之間的無包通信。

延遲:目前IB交換機(jī)的延遲一般比以太網(wǎng)交換機(jī)低，一般以太網(wǎng)交換機(jī)的Port-to-Port延遲為230ns，遠(yuǎn)高于同等端口數(shù)的IB交換機(jī)的100ns延遲。

配置:配置DCB以太網(wǎng)比配置IB網(wǎng)絡(luò)復(fù)雜得多。同樣，操作和維護(hù)也要復(fù)雜得多。

RoCE和iWARP是基于無連接協(xié)議UDP和面向連接的協(xié)議(如TCP)。RoCEv1只能局限于兩層廣播域，而RoCEv2和iWARP都可以支持三層路由。與RoCE相比，在大規(guī)模組網(wǎng)的情況下，iWARP的大量TCP連接會占用大量額外的內(nèi)存資源，對系統(tǒng)規(guī)格要求更高。另外，RoCE支持組播，而iWARP沒有相關(guān)的標(biāo)準(zhǔn)定義。

英特爾收購了Qlogic的InfiniBand業(yè)務(wù)，走上了一條新的道路。推出了一整套高性能計算架構(gòu)解決方案，稱為“真正的規(guī)模結(jié)構(gòu)”(包括IB和Omni-Path)，并獨立提出了一套Omni-Path主機(jī)結(jié)構(gòu)接口和相應(yīng)的交換機(jī)產(chǎn)品。提供了兩個編程接口，動詞和性能擴(kuò)展消息庫。PSM是專門為MPI通信設(shè)計的接口。

英特爾在CPU上集成了Omni-Path相關(guān)功能，也意味著Omni-Path在通信效率上更高效，但會讓自己的網(wǎng)絡(luò)依賴于CPU，至少在處理器上的開放性是有限的。

通過收購Cray互聯(lián)部門，英特爾在Omni-Path中引入了1.5層的概念。它被稱為鏈路傳輸層(Link Transport Layer)，它基于Cray的Aries基本互連技術(shù)優(yōu)化底層數(shù)據(jù)通信，并提供可靠的第2層數(shù)據(jù)包傳遞、流量控制和單鏈路控制。這也是Cray收購白羊科技的充分利用。

根據(jù)作者對RDMA的了解，電子書、信息目錄如下。

這本書涉及的內(nèi)容大部分都在這一期推了，但內(nèi)容有所增加和梳理。如果你怕麻煩，怕分散閱讀，可以交一點費用通過原鏈接獲取，這也是你對我們公眾賬號持續(xù)運營的支持。

傳遞禮物正在進(jìn)行中......

[免費入場券]智能合同和區(qū)塊鏈技術(shù)特別會議

提示:

請搜索“ICT_Architect”或“Sweep”二維碼關(guān)注微信官方賬號，點擊原鏈接獲取更多技術(shù)信息。

請點擊此處輸入圖片描述

如果你渴望知識，你就是一個思想開放的傻瓜——保持饑餓，保持愚蠢