數(shù)據(jù)中心承載的網(wǎng)絡(luò)轉(zhuǎn)發(fā)數(shù)據(jù)量越來越大，建設(shè)高性能網(wǎng)絡(luò)勢在必行。以往我們將目光都集中在了軟件定義網(wǎng)絡(luò)技術(shù)的普及、100G/400G單端口帶寬的提升等方面的新技術(shù)，而忽略了性能。一個網(wǎng)絡(luò)的性能高低與每個環(huán)節(jié)都休戚相關(guān)，并不是簡單地將網(wǎng)絡(luò)出口由10G換成40G或100G就能改變的，從流量訪問一直到應(yīng)用軟件的處理都需要提升，最大的瓶頸在哪里?

搞過網(wǎng)絡(luò)技術(shù)的人都知道，對于一個交換機，其上的端口能做線速轉(zhuǎn)發(fā)是基本要求，但對于服務(wù)器來說就很困難，一個1G網(wǎng)卡的服務(wù)器，處理流量能達到800M就相當(dāng)不錯了，這是因為服務(wù)器收到數(shù)據(jù)流量還要解析(交換機往往做三層解析就足夠，而且是由專門芯片來完成，不消耗CPU資源)，將每個報文的內(nèi)容都要解析出來，然后提供給應(yīng)用層軟件，例如圖1：

圖1：RDMA與TCP/IP技術(shù)對比圖

圖1中右側(cè)是經(jīng)典的TCP/IP協(xié)議，是數(shù)據(jù)中心內(nèi)部數(shù)據(jù)傳輸網(wǎng)絡(luò)使用的唯一網(wǎng)絡(luò)協(xié)議，分為五層，其中藍色標記的代表硬件部分，紅色標記的代表是系統(tǒng)軟件部分，綠色標記的代表是應(yīng)用軟件部分。在TCP/IP的網(wǎng)絡(luò)世界里，一個服務(wù)器網(wǎng)卡接收到一個數(shù)據(jù)報文，要經(jīng)過網(wǎng)絡(luò)層和傳輸層，再送給應(yīng)用層，網(wǎng)絡(luò)和傳輸層就要消耗CPU資源，由CPU來查詢內(nèi)存地址，檢驗CRC，還原TCP包到應(yīng)用，占用CPU緩存，單位時間內(nèi)進來的報文數(shù)量越多，消耗CPU的資源就越多，CPU除了處理數(shù)據(jù)報文還要運行其它的應(yīng)用，CPU并不是完全平穩(wěn)運行的，CPU的高低波動也會影響處理報文的速度，從而影響網(wǎng)絡(luò)傳輸性能。

左側(cè)是RDMA技術(shù)，最大的突破是將網(wǎng)絡(luò)層和傳輸層放到了硬件中，服務(wù)器的網(wǎng)卡上來實現(xiàn)，數(shù)據(jù)報文進入網(wǎng)卡后，在網(wǎng)卡硬件上就完成四層解析，直接上送到應(yīng)用層軟件，四層解析CPU無需干預(yù)，這就是RDMA能帶來低延時、高帶寬和低CPU利用率的根本原因，也是RDMA技術(shù)的吸引人之處。利用RDMA技術(shù)，可以將網(wǎng)卡的帶寬利用率大幅提升，一個擁有1G網(wǎng)卡的服務(wù)器，使用RDMA技術(shù)，應(yīng)用軟件處理的數(shù)據(jù)速度就可以接近1G。服務(wù)器可以將幾乎100%的CPU 資源都提供給計算，降低了CPU 在網(wǎng)絡(luò)協(xié)議處理中的占用率，服務(wù)器可以利用這些CPU 資源來做更多計算或提供其他的服務(wù)，相當(dāng)于增加了虛擬機數(shù)量，節(jié)省了服務(wù)器資源。

RDMA技術(shù)的全稱叫做Remote Direct Memory Access，即遠程直接數(shù)據(jù)存取，就是為解決網(wǎng)絡(luò)傳輸中服務(wù)器端數(shù)據(jù)處理的延遲而產(chǎn)生的。RDMA通過網(wǎng)卡將數(shù)據(jù)直接傳入服務(wù)器的存儲區(qū)，不對操作系統(tǒng)造成任何影響，消除了外部存儲器復(fù)制和文本交換操作，解放內(nèi)存帶寬和CPU資源。當(dāng)一個應(yīng)用執(zhí)行RDMA讀或?qū)懻埱髸r，不執(zhí)行任何數(shù)據(jù)復(fù)制。

在不需要任何內(nèi)核內(nèi)存參與的條件下，RDMA請求從運行在用戶空間中的應(yīng)用中發(fā)送到本地網(wǎng)卡，然后經(jīng)過網(wǎng)絡(luò)傳送到遠程服務(wù)器網(wǎng)卡。RDMA最早專屬于Infiniband架構(gòu)，隨著在網(wǎng)絡(luò)融合大趨勢下出現(xiàn)了RoCE(RDMA over Converged Ethernet)和iWARP(RDMA over TCP/IP) ，這使高速、超低延時、極低CPU使用率的RDMA得以部署在目前使用最廣泛的數(shù)據(jù)中心網(wǎng)絡(luò)上。三種技術(shù)都是在網(wǎng)絡(luò)設(shè)備側(cè)實現(xiàn)，用來和支持RDMA的網(wǎng)卡進行適配，識別和轉(zhuǎn)發(fā)RDMA報文。

InfiniBand采用Cut-Through轉(zhuǎn)發(fā)模式，減少轉(zhuǎn)發(fā)時延，基于Credit流控機制，保證無丟包。RoCE性能與IB網(wǎng)絡(luò)相當(dāng)，DCB特性保證無丟包，需要網(wǎng)絡(luò)支持DCB特性，但時延比IB交換機時延稍高一些。iWARP則是利用成熟IP網(wǎng)絡(luò)，繼承RDMA優(yōu)點，但如果采用傳統(tǒng)IP網(wǎng)絡(luò)丟包對性能影響大。圖2列舉了三種技術(shù)的對比情況：

圖2：三種RDMA技術(shù)對比

從圖2中可以看到，IB是低延時網(wǎng)絡(luò)交換機的專有技術(shù)，一般延時可達到140ns，應(yīng)用程序延時3μs，比普通網(wǎng)絡(luò)設(shè)備延時要低一個量級，但價格奇貴，一般是普通網(wǎng)絡(luò)設(shè)備的五到十倍，只有在金融、期貨交易環(huán)境中才會考慮使用，畢竟全部采用在技術(shù)和成本方面花費太高。為了降低應(yīng)用成本，IB組織在IB協(xié)議基礎(chǔ)上增加了適用于以太網(wǎng)的協(xié)議：RoCE和iWARP。使用這兩類協(xié)議就可以通過普通的以太網(wǎng)硬件組網(wǎng)。

iWARP技術(shù)的主要問題在于穩(wěn)定性，一旦網(wǎng)絡(luò)有丟包，性能會奇差，而iWARP就是基于以太網(wǎng)協(xié)議實現(xiàn)的，以太網(wǎng)協(xié)議不可能沒有丟包，這使得iWARP技術(shù)沒有了應(yīng)用空間。IB性能最好，RoCE則用得最多，RoCE是伴隨著RDMA技術(shù)才普及起來的，相比于IB技術(shù)，RoCE技術(shù)仍基于以太網(wǎng)實現(xiàn)，但是增加了丟包控制機制，確保以太網(wǎng)處于一個無丟包的狀態(tài)，雖然延時比IB差些，但部署成本要低得多，而且在這樣的網(wǎng)絡(luò)中，RDMA才是主角，通過服務(wù)器網(wǎng)卡來實現(xiàn)RDMA，網(wǎng)絡(luò)設(shè)備只要通過RoCE技術(shù)配合實現(xiàn)就行，關(guān)鍵還是靠RDMA來降低時延。

隨著人工智能和5G網(wǎng)絡(luò)的興起，“喚醒萬物，萬物互聯(lián)”的時代已經(jīng)來臨。計算量需求的爆發(fā)式增長無疑對數(shù)據(jù)中心的網(wǎng)絡(luò)提出了更苛刻的要求，需要更多的高性能數(shù)據(jù)中心。RDMA技術(shù)作為一種先進的網(wǎng)絡(luò)數(shù)據(jù)傳輸方式映入眼簾，引起了強烈關(guān)注。與傳統(tǒng)網(wǎng)絡(luò)相比，RDMA可更加顯著地提升應(yīng)用效率，提供高性能的網(wǎng)絡(luò)傳輸。

RDMA這么好，為什么還沒有普及呢，仍只在HPC中有些應(yīng)用，主要還是價格因素，現(xiàn)如今已經(jīng)出現(xiàn)了像RoCE這樣兼容以太網(wǎng)的技術(shù)，相信在數(shù)據(jù)中心網(wǎng)絡(luò)領(lǐng)域，RDMA會真正的開花結(jié)果，尤其在存儲領(lǐng)域，IP存儲已經(jīng)看上了RDMA，很多互聯(lián)網(wǎng)公司均開始考慮現(xiàn)在存儲網(wǎng)絡(luò)中部署RDMA，然后慢慢向其它網(wǎng)絡(luò)部分延伸。

注：文章內(nèi)容和圖片均來源于網(wǎng)絡(luò)，只起到信息的傳遞，不是用于商業(yè)，如有侵權(quán)請聯(lián)系刪除！