DARPAがFastNICでネットワークの100倍高速化を狙う

次の記事

メルカリ山田氏がCEOのまま社長に復帰、小泉氏は会長となり折衝・渉外や鹿島アントラーズ担当に

接続速度が遅いことは常に欲求不満の源だが、ここでスーパーコンピューターの立場からはどのように感じるかを想像してみてほしい。これらの実行コアはすべてあらゆる種類の処理を超高速で実行するが、最終的には同期を保つために古いネットワークインターフェイスの応答を待っている。DARPA(米国防高等研究計画局)はそれを好ましいと思っていない。そこでDARPAは、特に新しいネットワークインターフェイスを100倍高速化することによって、その状況を変えようとしている。

問題はこのようなものだ。DARPAが概算しているように、コンピューターまたはサーバー上のプロセッサーやメモリーは、一般的には1秒あたり約10^14ビットの速度で処理を行う、これは余裕でテラビット処理を行える。そしてスイッチや光ファイバーなどのネットワークハードウェアもほぼ同じ能力を持っている。

「プロセッサスループットの真のボトルネックは、イーサネットなどの外部ネットワークに、マシンを接続するために使用されているネットワークインターフェイスです。このために、プロセッサのデータ取り込み能力が大幅に制限されています」とプロジェクトに関するニュース投稿で説明するのは、DARPAのJonathan Smith(ジョナサン・スミス)氏だ。

そうしたネットワークインターフェイスは通常、NICと呼ばれるカード形式になっており、ネットワークからデータを受信してコンピューター自身に送り込んだり、その逆を行う。残念ながら、その性能は、通常ギガビットクラスだ。

NICとネットワークの他のコンポーネント間の能力差は、スーパーコンピューターやデータセンターを構成する数百または数千のサーバーやGPUなどの、異なるコンピューティングユニット間で、情報を共有できる速さに対する根本的な限界を意味している。1つのユニットが他のユニットと情報を共有できる速度が速ければ速いほど、次のタスクに素早く進むことができる。

次のように考えてみよう。あなたはリンゴ農場を経営しており、すべてのリンゴを検査して磨く必要がある。リンゴを検査する人とリンゴを磨く人がいて。どちらも1分間に14個のリンゴを処理することができる。しかし、両部門間のベルトコンベアーは、1分あたり10個のリンゴしか運べない。このとき仕事がどんなに溜まっていくか、そして関係者にとってそれがどれほどイライラするものかは理解できるだろう。

FastNIC計画によって、DARPAは「ネットワークスタックを再発明」し、スループットを100倍単位で改善したいと考えている。そして、もし彼らがこの問題を解決することができたなら、彼らのスーパーコンピューターは、世界中の他の国々、特に高性能コンピューティングの分野で米国と長年争ってきた中国のスーパーコンピューターよりも非常に有利なものとなるだろう。しかし、それは簡単なことではない。

「ネットワークスタックの構築には多額の費用と複雑さが伴います」とスミス氏は語る。最初に手がつけられるのはインターフェイスの物理的再設計だ。「まずハードウェアから始まります。もしそこを上手くやることができなければ手詰まりとなってしまいます。ソフトウェアは物理層が許すものよりも、物事を速くすることはできません。なのでまず最初に物理層を変える必要があるのです」。

残りの主要な仕事は当然、ソフトウェア側を再構築して、インターフェースが処理しなければならないデータ規模の大幅な拡大に対処することだ。たとえ2倍または4倍を目指す変更でも、体系的な改善が必要になる。まして100倍にするためには、真にゼロからのシステム再構築となるだろう。

DARPAの研究者たち(もちろん、ちょっとでも関わりを持ちたい民間企業の人材で強化されている)は、10テラビット接続の実証を目指している。ただし現時点ではまだタイムラインは設定されていない。ともあれ、現時点での良い知らせは、FastNICによって作成されるすべてのソフトウェアライブラリはオープンソースになるため、この標準は国防総省専用のシステムには限定されないということだ。

FastNICはまだ始まったばかりであるため、暫くの間は忘れていても大丈夫だ、1〜3年のうちに、DARPAがコードをなんとか生み出せたときに、改めてお知らせする。

[原文へ]

(翻訳:sako)