削除された内容 追加された内容
m編集の要約なし
レイテンシ: メモリ遅延
 
(23人の利用者による、間の35版が非表示)
1行目:
[[ファイル:Infinibandport.jpg|InfiniBand スイッチのポート|frame|right|InfiniBand スイッチのポート]]
 
'''InfiniBand'''(インフィニバンド)とは、非常に高いRAS(信頼性・可用性・保守性)を持つ基幹系・[[スーパーコンピュータ|HPC]]系の[[サーバ]]/[[コンピュータ・クラスター|クラスター]]用高速[[入出力|I/O]][[バス (コンピュータ)|バス]][[コンピュータ・アーキテクチャ|アーキテクチャ]]及びインターコネクトのこと<ref name="cwatch-2573">{{Cite web|和書|url=https://enterprise.watch.impress.co.jp/cda/special/2004/07/07/2573.html |title=伊勢雅英のInfiniBand探検隊 - 【前編】InfiniBandっていったい何? |accessdate=2021-10-18}}</ref>。システム間インターコネクト機構としては、RAS機能の他、他機構に比較して、低[[レイテンシ]]である点も特徴である<ref name="cwatch-2575">{{Cite web|和書|url=https://cloud.watch.impress.co.jp/epw/cda/special/2004/07/08/2575.html |title=伊勢雅英のInfiniBand探検隊 - 【中編】HPCCで高いパフォーマンスを発揮するInfiniBand |accessdate=2021-10-18}}</ref>
 
== 概要 ==
{| class="wikitable" align="right" style="margin-left: 1em;"
|+'''構成ごとの理論スループット'''
|-
! &nbsp; !! SDR !! DDR !! QDR !! FDR !! EDR !! HDR !! NDR
|-
! 1X
| 2 Gbit/s|| 4 Gbit/s|| 8 Gbit/s|| 14 Gbit/s|| 25 Gbit/s|| 50 Gbit/s|| 100 Gbit/s?
|-
! 4X
| 8 Gbit/s|| 16 Gbit/s|| 32 Gbit/s|| 56 Gbit/s|| 100 Gbit/s|| 200 Gbit/s|| 400 Gbit/s?
|-
! 12X
| 24 Gbit/s|| 48 Gbit/s|| 96 Gbit/s|| 168 Gbit/s|| 300 Gbit/s|| 600 Gbit/s|| 1200 Gbit/s?
|}
 
InfiniBandは、[[ファイバーチャネル]]、[[PCI Express]], [[Serial ATA]]等の最近のインターコネクトと同様、[[ポイント・ツー・ポイント]]の双方向シリアル接続である。複数のプロセッサとHDD等の高速外部デバイス間の接続に利用される。複数の転送レートをサポートする他、PCI Expressのように[[チャネルボンディング|複数のチャネルを束ねて]]利用することで高速な帯域を実現することができる。
 
=== 転送レート ===
Single Data Rate (SDR) のInfiniBand レーン一本は最大2.5Gbps5 Gbps双方向の転送速度を持つ。Double Data Rate (DDR) およびQuad Data Rate (QDR) は、1レーンあたりそれぞれ 5Gbps5 Gbps, 10Gbps10 Gbps双方向の転送速度を実現する。エンコーディングの変更されたFourteen Data Rate (FDR) は、1レーンあたり14.0625Gbps0625 Gbps双方向の転送速度を実現する。
 
SDR,DDR,QDRには[[8b/10b]]変換が用いられ、8bitのデータが10bit化され転送されるため、実効転送レートは上記の値の80%となる。よって実効転送レートはそれぞれ 2Gbps2 Gbps, 4Gbps4 Gbps, 8Gbps8 Gbpsとなる。一方、FDRには[[64b/66b]]変換が用いられ、64bitのデータが66bit化され転送されるため、実効転送レートは上記の値の約97%となる。よって実効転送レートは 13.6Gbps6 Gbpsとなる。
 
InfiniBandの接続を4本 (4X) もしくは12本 (12X) 束ねて高い転送速度を実現することができる。12X においてFDRHDRでデータ転送を行った場合、168618.75Gbps75 Gbps (raw) あるいは163.64Gbps(600 Gbps(データ転送)となる。201120181011月現在、FDRHDRに対応した製品が入手可能である。12Xは主に、[[コンピュータ・クラスター]]や[[スーパーコンピュータ]]のノード間接続やネットワークスイッチ間接続に用いられる。
 
また,InfiniBand,複数のベンダから構成された業界団体「InfiniBand Trade Associationによるロードマップでは今後,2013、2020まで後半FDRHDRのさらに約1.92倍の性能となるEnhancedNext Data Rate (EDRNDR)が登場する予定でありその後さらにHigh Data Rate (HDR)、Next Data Rate (NDR)XDR(名称不明)が提供される計画がある<ref>[http{{Cite web|url=https://www.infinibandta.org/contentinfiniband-roadmap/pages.php?pg|title=technology_overview InfiniBand Roadmap: IBTA - InfiniBandAdvancing Trade Association]InfiniBand|accessdate=2018-11-23|website=www.infinibandta.org|language=en-US}}</ref>。
 
{| class="wikitable"
=== [[レイテンシ]] ===
|+構成ごとのスループット
レイテンシはSDR スイッチでは200ナノ秒, DDRスイッチでは140ナノ秒, QDRスイッチでは100ナノ秒程度である。エンド・ツー・エンドでは、Mellanox社のHCA(Host Channel Adapter)である ConnectX を用いた場合のMPIレイテンシで1.07 マイクロ秒、Qlogic社の InfiniPath HTX を用いた1.29マイクロ秒、Mellanox社 InfiniHost IIIでは2.6マイクロ秒が観測されている。現在市場には多様な InfiniBand 用HCAがあり、製品によって特性は異なっている。
|-
! colspan="3"| !! SDR !! DDR !! QDR !! FDR !! EDR !! HDR !! NDR !!XDR
|-
!rowspan="6"|{{縦書き|height=14em|スループット (Gbit/s)}}
!rowspan="2"|1レーン
!理論値
|2.5<ref name="iwatch-1214492">{{Cite web|和書|url=https://internet.watch.impress.co.jp/docs/column/nettech/1214492.html |title=SDRの2.5GT/secに加え、DDRの5GT/secとQDRの10GT/secを2004年に追加サポート |work=InfiniBandの現在 |author=大原雄介 |website=INTERNET Watch |date=2019-10-29 |accessdate=2021-10-18}}</ref>
|5{{R|iwatch-1214492}}
|10{{R|iwatch-1214492}}
|14.0625{{R|cwatch-506793}}
|25.78125<ref name="iwatch-1219907">{{Cite web|和書|url=https://internet.watch.impress.co.jp/docs/column/nettech/1219907.html |title=14GT/secの「InfiniBand FDR」と25GT/secの「InfiniBand EDR」、64b66b採用によるエラー増には「FEC」で対応 |work=InfiniBandの現在 |author=大原雄介 |website=INTERNET Watch |date=2019-11-26 |accessdate=2021-10-18}}</ref>
|53.125{{R|org.infinibandta/Overview-of-IBTA-Volume-1-Release-1.5}}
|106.25{{R|org.infinibandta/Overview-of-IBTA-Volume-1-Release-1.5}}
|{{TBA|255前後?}}
|-
! rowspan="5" | 実効値
| 2|| 4|| 8|| 13.64|| 25|| 50|| 100
|{{TBA|250?}}
|-
!2レーン
|{{N/A|未対応}}
|{{N/A|未対応}}
|{{N/A|未対応}}
|{{N/A|未対応}}
|{{N/A|未対応}}
|100
|200
|{{TBA|500?}}
|-
!4レーン
| 8|| 16|| 32|| 54.55|| 100|| 200|| 400
|{{TBA|1000?}}
|-
!8レーン
|16
|32
|64
|109.09
|200
|400
|800
|{{TBA|2000?}}
|-
!12レーン
| 24|| 48|| 96|| 163.64|| 300|| 600|| 1200
|{{TBA|3000?}}
|-
!colspan="3"|エンコーディング (bit)
| colspan="3" |8/10{{R|cwatch-506793}}
| colspan="3" |64/66{{Sfn|InfiniBand Trade Association|2020|loc=§ 5.3 BLOCK ENCODING (64B/66B)}}
|{{?}}
|{{TBA|未定}}
|-
!colspan="3"|規格発行年
|2000{{R|iwatch-1214492}}
|2004{{R|iwatch-1214492}}
|2004{{R|iwatch-1214492}}
|2012{{R|iwatch-1219907}}
|2012{{R|iwatch-1219907}}
|2020<ref>{{Cite press|url=https://www.infinibandta.org/ibta-enhances-data-center-performance-and-management-with-new-infiniband-architecture-specification-releases/ |title=IBTA Enhances Data Center Performance and Management with New InfiniBand Architecture Specification Releases - InfiniBand Trade Association |accessdate=2021-10-18}}</ref>
|2021{{R|org.infinibandta/Overview-of-IBTA-Volume-1-Release-1.5}}
|{{TBA|2023以降}}
|}
 
=== レイテンシ ===
InfiniBand は RDMA ([[Remote Direct Memory Access]]) をサポートしており、CPU オーバヘッドを低く抑えることが可能である。RDMA 命令のレイテンシは、1マイクロ秒以下である(Mellanox 社 ConnectX の場合)。参考までに、[[DDR3 SDRAM]] のメモリレイテンシは0.1マイクロ秒程度である。
[[レイテンシ]]はSDR スイッチでは200ナノ秒、DDRスイッチでは140ナノ秒、QDRスイッチでは100ナノ秒程度である。エンド・ツー・エンドでは、Mellanox社のHCA (Host Channel Adapter) である ConnectX を用いた場合のMPIレイテンシで1.07マイクロ秒、Qlogic社の InfiniPath HTX を用いた1.29マイクロ秒、Mellanox社 InfiniHost IIIでは2.6マイクロ秒が観測されている。現在市場には多様な InfiniBand 用HCAがあり、製品によって特性は異なっている。
 
InfiniBand は RDMA([[Remote Direct Memory Access]])をサポートしており、CPU オーバヘッドを低く抑えることが可能である{{R|cwatch-2575}}。RDMA 命令のレイテンシは、1マイクロ秒以下である(Mellanox 社 ConnectX の場合)。参考までに、[[DDR3 SDRAM]] の[[メモリ遅延|メモリレイテンシ]]は0.1マイクロ秒(100ナノ秒)程度である。
=== [[ネットワーク構成]] ===
InfiniBandではEthernetのような階層型ネットワークと異なり、スイッチ型ファブリック接続を採用している。
 
=== ネットワーク構成 ===
多くの[[メインフレーム]]のチャネル・モデルのように、すべての転送はChannel Adapter間で行われる。各プロセッサノードはHost Channel Adapter (HCA) を持ち、各外部デバイスはTarget Channel Adapter (TCA)を持つ。これらのChannel Adapterはまたセキュリティ情報、[[QoS]]情報のやり取りが可能である。
InfiniBandにおける[[ネットワーク構成]]は、[[Ethernet]]のような階層型ネットワークではなく、スイッチ型ファブリック接続を採用している<ref name="cwatch-506793">{{Cite web|和書|url=https://cloud.watch.impress.co.jp/docs/special/506793.html |title=InfiniBand探検隊リターンズ【前編】~2012年現在も進化を続けるInfiniBandの最新状況 |accessdate=2021-10-18}}</ref>。
 
多くの[[メインフレーム]]のチャネル・モデルのように、すべての転送はChannel Adapter間で行われる。各プロセッサノードはHost Channel Adapter (HCA) を持ち、各外部デバイスはTarget Channel Adapter (TCA) を持つ{{R|cwatch-506793}}。これらのChannel Adapterはまたセキュリティ情報、[[QoS]]情報のやり取りが可能である。
 
=== メッセージ ===
InfiniBandではデータは、ひとつあたり最大4KB4 KBの複数のパケットにより構成されたメッセージのやり取りにより転送される。下記のメッセージ転送がサポートされる
* 遠隔ノード上のメモリに対する [[Direct Memory Access|DMA転送]] によるREAD, WRITE。(とWRITE([[Remote Direct Memory Access|RDMA]])
* チャネル転送
* [[トランザクション]]命令(差し戻し可能)
49 ⟶ 100行目:
 
== 経緯 ==
[[1998年]]後半、基幹業務に使用される各種[[サーバ]]の計算性能は、[[ムーアの法則]]に従い、ほぼ18カ月に2倍のペースで高速化されてきていた。しかし、サーバ内の[[バス (コンピュータ)|バス]][[コンピュータ・アーキテクチャ|アーキテクチャ]]は機械・電気的制限により、その進化に追い付けず、[[コンピュータシステム]]性能向上の[[ボトルネック]]となっていた。
 
そこで、[[インテル]]を中心に[[スイッチ]]型ファブリックインターコネクトテクノロジをベースとした新しいI/OアーキテクチャとしてNGIO (Next Generation I/O)が提唱され、規格定義を開始した<ref name="iwatch-1204778">{{Cite web|和書|url=https://internet.watch.impress.co.jp/docs/column/nettech/1204778.html |title=汎用的なInterconnectへ進化しつつあるInfiniBandの成り立ちは? |work=InfiniBandの現在 |author=大原雄介 |website=INTERNET Watch |date=2019-09-03 |accessdate=2019-09-14}}</ref>。一方、[[タンデムコンピューターズ]]社の[[ServerNet]]の流れを汲む[[コンパック|Compaq]] (HP(HPに吸収合併)された)、[[ヒューレット・パッカード|HP]]社、[[IBM]]社の3社はNGIOに対抗すべく全く同様の技術をサポートしたFIO (Future I/O)提唱を行い、2つの陣営に別れて次世代バス規格の主導権を争い始め{{R|iwatch-1204778}}
 
ところが、[[1999年]]の[[インテル・デベロッパー・フォーラム|IDF Spring 1999]]において、NGIOの情報が公開された際、FIOの仕様の一部が取り込まれており、最終的には両陣営が歩み寄り、SIO (System I/O)として統合されることとなった{{R|iwatch-1204778}}
 
その後、19992000101月に、SIOはInfiniBandに改称された{{R|iwatch-1204778}}
 
2000年10月には、複数のベンダから構成された業界団体「InfiniBand Trade Associationにより、規格書が提出され、統一的な規格として成立した。2021年時点の規格は、InfiniBand Architecture Specification Release 1.25<ref name="org.infinibandta/Overview-of-IBTA-Volume-1-Release-1.5">{{Cite web|url=https://www.infinibandta.org/wp-content/uploads/2021/08/IBTA-Overview-of-IBTA-Volume-1-Release-1.5-and-MPE-2021-08-17-Secure.pptx |format=PPT |title=What’s New in Volume 1 Release 1.5 |accessdate=2021-10-18}}</ref>
 
当初本規格のリーダ的存在だったインテルが撤退を表明し、動向が注目されたが、その後HPC分野を中心に広く利用されるようになっている{{R|iwatch-1204778}}
 
== 現状 ==
多くの計算機ノードを接続して構成される[[高性能計算|HPC]] 業界では、InfiniBandのシェアは高い。20112015年11月に発表された時点で[[TOP500]]では,上位500位のうち41.8%のシステムが InfiniBand を採用しもっとも使われおり、[[イーサネット]] の44.8%([[ギガビット・イーサネット]]42.0%、[[10ギガビット・イーサネット]]2.8%)に次で2位であ接続方法となっていた(Mellanox調べ)<ref>[http://i.top500.org/stats/details/connfam/8{{Cite InfiniBandweb |date=2015-11 Top500]</ref><ref>[|url=http://iwww.top500mellanox.orgcom/statsrelated-docs/detailsapplications/connfam/6TOP500_Nov_2015.pdf|format=PDF |title=Interconnect Your FutureEnabling the Best Datacenter Return on Investment|publisher= GigabitMellanox EthernetTechnologies |accessdate=2015- Top500]11-23}}</ref>。また、上位100位しかしその後中国のシステムを中心限れば2009イーサネットの採用が増え2017年11月のリスト時点では63システムがInfiniBand採用数は減少し2番手に転落している<ref>InfiniBand{{Cite Tradeweb Association|date=2015-11 [http|url=https://www.infinibandtatop500.org/contentnews/pages.php?pgtop500-meanderings-infiniband-fends-off-supercomputing-challengers/ |title=press_room_item&rec_id=622 "InfiniBand(R)Trade Association Announces InfiniBand Growth on the TOP500 ListMeanderings: InfiniBand UseFends onOff theSupercomputing World'sChallengers Fastest Computers Increases 28 Percent from One Year Ago"], Nov 18, 2009 |accessdate=2019-04-17}}</ref>。
日本では、[[ヒューレット・パッカード]]のサーバを使用してNECが構築した[[東京工業大学]]のPCクラスタ[[TSUBAME]]2.0や、[[京都大学]]や[[筑波大学]]の[[T2Kオープンスパコン]]で使用されている。なお,同じT2Kでも[[東京大学]]のシステムはInfiniBandではなく、[[Myrinet]]を採用している。
 
その他多くのベンダのブレード系サーバやグリッド系サーバの接続に標準的に使でオプションとしてされている。例えば、[[日立製作所]](BladeSymphony)/<ref>[[日本電気|NEC]](シグマグリッド)/Express 5800(MellanoxのOEM)、[[富士通]](PrimeQuest)/PRIMEQUEST(MellanoxのOEM)、[[IBMレノボ]](BladeCenter)/BladeCenter(MellanoxのOEM)、[[DELLDell|デル]]など(Mellanox基幹業務用サーバやIAサーバを用いたHPC(OEM)、[[HP Inc.|ヒュレット・ッカコンピュータ]])として(Mellanox構成を取る際、接続・搭載可能な機器が用意されており、IBMOEM)などの一部ベンダでは[[ブレードサーバ]]のフレームに収納されて提供されている</ref>
 
日本での使用例としては、[[ヒューレット・パッカード]]のサーバを使用してNECが構築した[[東京工業大学]]のPCクラスタ[[TSUBAME]]2.0や、[[京都大学]]や[[筑波大学]]の[[T2Kオープンスパコン]]が挙げられる<ref>同じT2Kでも[[東京大学]]のシステムはInfiniBandではなく、[[Myrinet]]を採用している</ref>。
[[ストレージ]]では、[[NetApp]]、[[Pure Storage]]、[[アイシロン]]など[[NAS]]のインターコネクトとして用いられていて、例えばさくらのクラウドなどでは、Sun ZFS Storage Appliance を IP over InfiniBand で接続している<ref>[http://www.publickey1.jp/blog/11/pr_sakuracloud.html PR:「さくらのクラウド」のアーキテクチャは、意外なほどシンプルだった]</ref>。
 
[[ストレージ]]では、[[NetApp]]、[[ピュア・ストレージ]]、[[EMCコーポレーション|EMC]]といったメーカーの製品でホストI/Oのオプションとして用意されている。
 
2011年6月にはFDR対応のスイッチおよびHCAが国際スーパーコンピューティング会議で発表された。<ref>{{cite news |url=http://www.cio.com/article/684732/Mellanox_Demos_Souped_Up_Version_of_Infiniband |title="Mellanox Demos Souped-Up Version of InfiniBand"
|publisher=cio.com |date=2011年6月20日 |accessdate=2011年10月5日}}</ref>
==ロードマップ==
2014年現在、EDRは2014年後半、HDRは2017年、NDRは2020年以降に登場すると思われる。
==脚注==
{{脚注ヘルプ}}
{{Reflist}}
 
== 参考文献 ==
<references/>
*{{Citation|title=InfiniBand Architecture Specification Volume 2, Release 1.4 |url=https://cw.infinibandta.org/document/dl/8566 |author=InfiniBand Trade Association |year=2020 |accessdate=2021-10-18 |ref=harv}}
 
== 関連項目 ==
84 ⟶ 135行目:
 
{{コンピュータバス}}
{{Normdaten}}
{{DEFAULTSORT:いんふいにはんと}}
 
[[Category:コンピュータバス規格]]
[[Category:コンピュータネットワークバス]]
[[Category:並列コンピューティング]]
[[Category:スーパーコンピュータ]]