InfiniBand

高速、低延迟的计算机网络通信总线

InfiniBand(直譯為「無限頻寬」技術,縮寫為IB)是一個用於高效能計算的電腦網絡通訊標準,它具有極高的吞吐量和極低的延遲,用於電腦與電腦之間的數據互連。InfiniBand也用作伺服器與儲存系統之間的直接或交換互連,以及儲存系統之間的互連。[1]

截至2014年,它是超級電腦最常用的互連技術。Mellanox英語Mellanox英特爾製造InfiniBand主機匯流排配接器網絡交換器,並根據2016年2月的報道,[2]甲骨文公司已經設計了自己的Infiniband交換機單元和伺服器適配晶片,用於自己的產品線和第三方。Mellanox IB卡可用於SolarisRHELSLES英語SUSE_Linux_Enterprise_ServerWindowsHP-UXVMware ESX英語VMware ESX[3] AIX[4]它被設計為可延伸和使用交換結構英語Switched fabric網絡拓撲

作為互連技術,IB與乙太網路光纖通道和其他專有技術[5](例如克雷公司的SeaStar)競爭。該技術由InfiniBand貿易聯盟推動。

規格

效能

特徵
  SDR DDR QDR英語Quad Data Rate FDR-10 FDR EDR HDR NDR
信令速率 (Gb/s) 2.5 5 10 10.3125 14.0625[6] 25 50 100
理論有效吞吐量Gb/s,每1x[7] 2 4 8 10 13.64 24.24
4x鏈路速度 (Gbit/s) 8 16 32 40 54.54 96.97
12x鏈路速度 (Gbit/s) 24 48 96 120 163.64 290.91
編碼(位元 8/10 8/10 8/10 64/66英語64b/66b encoding 64/66 64/66
延遲時間(微秒[8] 5 2.5 1.3 0.7 0.7 0.5
[9] 2001、
2003
2005 2007 2011 2014[7] 2017[7] 2020年後

鏈路可以聚合:大多數系統使用一個4X聚合。12X鏈路通常用於電腦叢集超級電腦互連,以及用於內部網絡交換器連接。

InfiniBand也提供遠端直接主記憶體訪問(RDMA)能力以降低CPU負載。

拓撲

InfiniBand使用一個交換結構英語switched fabric拓撲,不同於早期的共用媒介乙太網路。所有傳輸開始或結束於通道配接器。每個處理器包含一個主機通道配接器(HCA),每個外設具有一個目標通道配接器(TCA)。這些配接器也可以交換安全性或QoS資訊。

訊息

InfiniBand以最高4 KB的封包傳送訊息數據。一條訊息可以為:

物理互連

 
InfiniBand與CX4/SFF-8470連接的交換

除了板式連接,它還支援有源和無源銅纜(最多30米)和光纜(最多10公里)。[10]使用QSFP英語QSFP連接器。

Inifiniband Association也指定了CXP英語CXP (connector)銅連接器系統,用於通過銅纜或有源光纜達到高達120 Gbit/s的能力。

API

InfiniBand沒有標準的應用程式介面。標準只列出一組的動作例如 ibv_open_device 或是 ibv_post_send,這些都是必須存在的子程式方法的抽象表示方式。這些子程式的語法由供應商自行定義。事實標準的軟件堆疊標準是由 OpenFabrics Alliance英語OpenFabrics Alliance 所開發的。它以雙許可證方式發佈,GNU通用公共許可證BSD許可證用於 GNU/Linux 以及 FreeBSD,且 WinOF 在 Windows 下可以選擇 BSD許可證。它已被大多數 InfiniBand 供應商採用,用於 GNU/LinuxFreeBSD 以及 Windows

歷史

InfiniBand源於1999年兩個競爭設計的合併:未來I/O與下一代I/O。這促成了InfiniBand貿易聯盟(InfiniBand Trade Association,縮寫IBTA),其中包括康柏戴爾惠普IBM英特爾微軟昇陽。當時有人認為一些更強大的電腦正在接近PCI匯流排的互連瓶頸英語interconnect bottleneck,儘管有像PCI-X的升級。[11]InfiniBand架構規範的1.0版本發佈於2000年。最初,IBTA的IB願景是取代PCI的I/O,乙太網路的機房電腦叢集的互連以及光纖通道。IBTA也設想在IB結構英語Fabric computing上分擔伺服器硬件。隨着互聯網泡沫的爆發,業界對投資這樣一個意義深遠的技術跳躍表現為猶豫不決。[12]

時間線

  • 2001年:Mellanox英語Mellanox售出InfiniBridge 10Gbit/s裝置和超過10,000個InfiniBand埠。[13]
  • 2002年:英特爾宣佈將着眼於開發PCI Express而不是採用IB晶片,以及微軟停止IB開發以利於擴充乙太網路,IB發展受挫,儘管Sun和日立繼續支援IB。[14]
  • 2003年:弗吉尼亞理工學院暨州立大學建立了一個InfiniBand叢集,在當時的TOP500排名第三。
  • 2004年:IB開始作為叢集互連採用,對抗乙太網路上的延遲和價格。[12]OpenFabrics Alliance英語OpenFabrics Alliance開發了一個標準化的基於Linux的InfiniBand軟件棧。次年,Linux添加IB支援。[15]
  • 2005年:IB開始被實現為儲存裝置的互連。[16]
  • 2009年:世界500強超級電腦中,259個使用千兆乙太網路作為內部互連技術,181個使用InfiniBand。[17]
  • 2010年:市場領導者Mellanox和Voltaire合併,IB供應商只剩下另一個競爭者——QLogic英語QLogic,它主要是光纖通道供應商。[18] Oracle makes a major investment in Mellanox.
  • 2011年:FDR交換機和配接器在國際超級計算會議英語International Supercomputing Conference上宣佈。[19]
  • 2012年:英特爾收購QLogic的InfiniBand技術。[20]
  • 2016年:甲骨文公司製造自己的InfiniBand互連晶片和交換單元。[21]
  • 2019年:Nvidia以69億美元收購Mellanox英語Mellanox[22]

參見

參考資料

  1. ^ 存档副本. [2017-01-09]. (原始內容存檔於2017-07-07). 
  2. ^ 存档副本. [2017-01-09]. (原始內容存檔於2020-11-29). 
  3. ^ InfiniBand Cards - Overview. Mellanox. [30 July 2014]. (原始內容存檔於2020-01-11). 
  4. ^ Implementing InfiniBand on IBM System p (IBM Redbook SG24-7351-00) (PDF). [2017-01-09]. (原始內容存檔 (PDF)於2020-11-25). 
  5. ^ Vance, Ashlee. China Wrests Supercomputer Title From U.S.. New York Times. 2010-10-28 [2017-01-09]. (原始內容存檔於2021-01-27). 
  6. ^ 存档副本. [2017-01-09]. (原始內容存檔於2016-08-26). 
  7. ^ 7.0 7.1 7.2 存档副本. [2017-01-09]. (原始內容存檔於2011-09-29). 
  8. ^ http://www.hpcadvisorycouncil.com/events/2014/swiss-workshop/presos/Day_1/1_Mellanox.pdf頁面存檔備份,存於互聯網檔案館) // Mellanox
  9. ^ Panda, Dhabaleswar K.; Sayantan Sur. Network Speed Acceleration with IB and HSE (PDF). Designing Cloud and Grid Computing Systems with InfiniBand and High-Speed Ethernet. Newport Beach, CA, USA: CCGrid 2011: 23. 2011 [13 September 2014]. (原始內容存檔 (PDF)於2020-06-13). 
  10. ^ Specification FAQ. ITA. [30 July 2014]. (原始內容存檔於2016-11-24). 
  11. ^ Pentakalos, Odysseas. An Introduction to the InfiniBand Architecture. O'Reilly. [28 July 2014]. (原始內容存檔於2014-08-09). 
  12. ^ 12.0 12.1 Kim, Ted. Brief History of InfiniBand: Hype to Pragmatism. Oracle. [28 July 2014]. (原始內容存檔於2014年8月8日). 
  13. ^ Timeline. Mellanox Technologies. [28 July 2014]. (原始內容存檔於2019-11-29). 
  14. ^ Sun confirms commitment to InfiniBand. The Register. [28 July 2014]. (原始內容存檔於2019-06-20). 
  15. ^ Linux Kernel 2.6.11 Supports InfiniBand. [29 July 2014]. (原始內容存檔於2020-10-21). 
  16. ^ Is InfiniBand poised for a comeback?, Infostor, [2017-01-09], (原始內容存檔於2020-11-25) 
  17. ^ Lawson, Stephen. Two rival supercomputers duke it out for top spot. COMPUTERWORLD. [29 July 2014]. (原始內容存檔於2017-01-10). 
  18. ^ Raffo, Dave. Largest InfiniBand vendors merge; eye converged networks. [29 July 2014]. (原始內容存檔於2017-07-01). 
  19. ^ Mellanox Demos Souped-Up Version of InfiniBand. CIO. 20 June 2011 [1 August 2011]. (原始內容存檔於2014-01-07). 
  20. ^ Intel Snaps Up InfiniBand Technology, Product Line from QLogic. HPCwire. January 23, 2012 [2012-01-27]. (原始內容存檔於2012-01-27). 
  21. ^ Oracle Engineers Its Own InfiniBand Interconnects. The Next Platform. [2016-02-24]. (原始內容存檔於2020-11-29). 
  22. ^ NVIDIA to Acquire Mellanox for $6.9 Billion. NVIDIA News. 2019-03-11 [2020-02-12]. (原始內容存檔於2019-03-11). 

外部連結