D-Matrixは、シリコンバレーに拠点を置くMicrosoftの後ろ盾のあるAIチップのスタートアップで、コルセア推論チップを発表し、小規模なワークロードにおいて、スタンドアロンのNvidia GPUよりも推論処理を10倍高速に実行し、エネルギー使用量を5倍少なくできると主張した。同社は2019年に設立され、約5億ドルを調達した後の企業評価額はおよそ20億ドルである。今月から顧客への出荷を開始する。この発表は、AIチップ市場が、専門プレイヤーにとって大きな機会を示している中で行われた。先月CerebrasがIPOを行い、55.0億ドル超を調達し、企業価値は500億ドル超とされた。さらに、2024年12月にはNvidiaがGroqを200億ドルで買収した。
D-Matrixは低遅延推論のためにSRAMメモリアーキテクチャを採用
D-MatrixのCorsairチップは、メモリと計算を単一チップに緊密に統合することで、高速・低遅延の推論を低消費電力で実現する。GroqやCerebrasと同様に、D-MatrixはSRAM（ロジックファブのようにTaiwan Semiconductor Manufacturing Company（TSMC）のような場所で製造でき、同じチップに集積可能な種類のメモリ）に依存している。GPUは、別の種類のメモリであるDRAMを大量に用い、ロジックチップの周囲に追加された帯域幅の高いメモリのスタックとしてパッケージされる。共同創業者兼CEOのSid Shethは、同社の製品は成功にDRAMを必要としないため、DRAMをめぐるボトルネックにぶつかっていないと述べた。
NvidiaのBlackwell GPUと組み合わせた場合、Gimlet Labsの調査を引用して、CorsairはスタンドアロンのGPUよりも推論を10倍高速に、3倍安く、さらに最大5倍エネルギー効率よく動かせるとD-Matrixは言う。Shethは、Corsairは言語モデルのサイズよりも対話性やスピードを最適化してAI推論のために設計されており、チャットボット、ボイスエージェント、エージェント型ツールといったユースケースを狙っていると語った。
企業はハイパースケーラーとAIラボからのコミットメントを獲得
Shethは、同社には著名なハイパースケーラー、新興のクラウド企業、そしてフロンティアAIラボからのコミットメントがあると述べた。D-Matrixは今月、その顧客向けに出荷を始める。顧客の約90%は米国におり、海外の顧客は中東と東南アジアにいる、とShethは語った。MicrosoftはM12のベンチャー部門を通じて投資した。
Shethは自分が同社を売る意図はないと述べ、AIチップ市場について「作られつつある1兆ドルの市場」だと呼んだ。Bernstein Researchの半導体アナリスト、Stacy Rasgonは、D-Matrixには実際の顧客エンゲージメントが相応にあり、顧客はしばしばそのチップをNvidiaと組み合わせて使っていると指摘した。
Corsairチップは大規模モデルでの制約に直面
スタンフォード大学の電気工学の兼任教授であるRick Bahrは、重要な制約を特定した。すなわち、オンチップSRAMはデータの移動距離が短いため顕著な推論速度を可能にする一方で、OpenAIやAnthropicのようなリーダーが作る、現在の大規模モデルを構成する「数兆」ものパラメータを扱えないという点だ。Bahrは、その数のパラメータは、SRAMベースの設計に単純に載せることはできないと述べた。
NvidiaのCEOが推論競争の主張に応答
NvidiaのCEOであるJensen Huangは先週、自社はVera Rubinシステムによって低コスト推論のリーダーであり続けていると述べた。理由はスピードだけの話ではないからだ、とHuangは言った。台湾のComputexでHuangは、その理由はNvidiaがすべてを統合し、あらゆるものを最初から自社で設計し、システム全体をシミュレーションし、極端な共同設計（co-design）を行っているからだと語った。Nvidiaは3月のGTCで新しいGroqチップをリリースし、言語処理ユニットと呼ばれる。
D-MatrixはTSMC 6ナノメートル製程を土台にした4チップカードを出荷
D-Matrixは、4つのCorsairチップをカードの中にまとめて販売し、そのカードはデータセンターのサーバーラックのスロットにスライドして収まり、価格は数万ドルにのぼる。Shethは、Corsairを「現在市場で最も高密度なSRAMソリューション」であり、1台のサーバーに最大128ギガバイトのSRAMメモリを搭載できると呼んだ。そのチップは台湾で、TSMCの6ナノメートルのノードで製造される。
D-Matrixは、AIデータセンターにおける自社チップの展開のために、Arista、Broadcom、Super Microと組んで、SquadRackというラック規模のフルシステムを構築した。同社の次のチップであるRaptorは、TSMCの4ナノメートルで来年に投入予定で、Shethは、それが台湾企業の工場をアリゾナで出発できる可能性があると述べた。
FAQ
D-MatrixはCorsairチップについてどんな性能主張をしていますか？
D-Matrixは、Corsairチップが小規模ワークロードにおいてスタンドアロンのNvidia GPUよりも推論ワークロードを10倍高速に実行し、エネルギー使用量を5倍少なくできると主張している。Nvidia Blackwell GPUと組み合わせる場合、Gimlet Labsの調査を引用すると、CorsairはスタンドアロンのGPUよりも推論を10倍高速に、3倍安く、そして最大5倍エネルギー効率よく実行できる。
D-MatrixのSRAMベースのアプローチにはどのような技術的制限がありますか？
Rick Bahrによれば、スタンフォード大学の電気工学の兼任教授である同氏は、SRAMベースの設計ではOpenAIやAnthropicのようなリーダーが作る大規模モデルを構成する「数兆」のパラメータを扱えないという。オンチップSRAMは驚くほど高速な推論を可能にするものの、その数のパラメータはSRAMベースの設計に単に載せられない。
D-MatrixはいつCorsairチップの顧客向け出荷を開始しますか？
D-Matrixは今月、Corsairチップの顧客向け出荷を開始する。D-Matrixには、ハイパースケーラー、新興のクラウド企業、フロンティアAIラボからのコミットメントがあり、顧客の約90%は米国で、海外の顧客は中東と東南アジアにいる。
