AIチップメーカーのCerebras Systemsは、NvidiaのGPUサーバ市場および大規模言語モデル推論ワークロードをターゲットにした新しいラックスケールAIシステムであるCS-4を発表しました。会社によると、CS-4はシステムリソースを単一のユーザーに割り当てた場合、従来のGPUサーバの最大30倍の速度でトークンを生成することができます。
注目すべきは、この数値はCerebrasの内部テストに基づいており、1人のユーザーがシステムの計算リソースに独占的にアクセスしている場合のテキスト生成速度を測定していることです。これは、複数のユーザーが同時にサービスを受ける際のシステムの合計スループットを表しているわけではありません。
サンフランシスコでのイベントで、CerebrasはCS-4が3つのWSE-3 Turboウェーハスケールプロセッサを組み込んでいると述べました。会社によると、各プロセッサは約4兆のトランジスタを統合しており、これまでに公開された中で最も大きなAIプロセッサの1つとされています。NvidiaやAMDが一般に使用するマルチチップアーキテクチャとは異なり、Cerebrasはモノリシックなフルウェーハ設計を採用しており、チップ上のデータ転送経路を短縮しています。
CS-4はモデルのトレーニングではなくAI推論のために設計されています。そのメモリアーキテクチャは、業界で一般的に使用されている動的ランダムアクセスメモリ（DRAM）ではなく、静的ランダムアクセスメモリ（SRAM）を使用しています。SRAMはDRAMよりも読み書きの速度が格段に速いですが、そのより複雑な構造と容量単価の高さは、一般的に限られたダイ面積のプロセッサに統合するのを難しくします。WSE-3 Turboは夕食の皿の大きさに相当し、プロセッサにSRAMを直接組み込むための十分な物理的スペースを提供します。
Cerebrasは、迅速なテキスト生成をCS-4の主要な競争優位性として位置づけています。会社は、そのウェーハスケールプロセッサがAIモデルに必要なすべてのパラメータ値をチップ上に直接保存できるため、外部メモリチップからデータを取得する必要がなく、データ移動に伴うレイテンシを削減できると述べました。
Cerebrasによると、CS-4のサンプルは現在、限られた数の顧客に提供されており、より広範な提供は今年第3四半期の後半に計画されています。