AI推論基盤のTogether AI、Equinix・NVIDIAと「Inference Exchange」構築

Together AIは、EquinixとNVIDIAと共同で、企業向けの分散AI推論基盤「Equinix Inference Exchange」を構築します。EquinixのGlobal Data Center Infrastructure、NVIDIAのEnterprise Reference Architecture、Together AIのInference Platformを組み合わせ、200以上のOpen Source Modelを企業のDataやUserに近い場所で実行できる環境を提供します。サービスは2027年第1四半期から提供開始される予定です。

EquinixはPower、Cooling、Data Center OperationとEquinix FabricによるNetworkを提供し、NVIDIAがAI Factory向けAccelerated Computing Architectureを担い、Together AIがModel Inference Layerを運用します。Multi-Tenant環境だけでなくDedicated Single-Tenant構成にも対応し、Metro EdgeでのLow-Latency Inference、Closed ModelからOpen ModelへのMigration、Data Residencyが必要なSovereign AIなどを主要Use Caseとして想定しています。Equinixは世界77都市で280以上のData Centerを運営しており、InferenceをApplicationやDataの近くへ配置します。

生成AIの利用がPoCからProductionへ移ると、どのModelを使うかだけでなく「どこでInferenceを動かすか」がLatency、Cost、Data Governanceを左右します。特にGlobal Enterpriseでは、すべてのAI処理を一つのCentral Cloudへ送る方式ではNetwork LatencyやData Residencyが制約になります。Inference ExchangeはAI推論をCloud ServiceからDistributed Infrastructureへ変えるもので、AI ComputeがData Center Networkを横断して配置される新たなInfrastructure Layerを示しています。

Together AIについて
Together AIとは、2022年にVipul Ved Prakash、Ce Zhang、Chris Ré、Tri Dao、Percy Liangらが設立したSan Francisco拠点のAI Infrastructure企業です。Open Modelを中心としたAI Native Cloudを提供しています。Inference、Fine-Tuning、Training、Model Shaping、Dedicated GPU Infrastructureなどを一つのPlatformで提供しています。研究成果をProduction Infrastructureへ組み込み、高いThroughputとCost Efficiencyを実現することを強みとしています。企業が特定のClosed Modelに依存せず、Open AIを本番環境で利用できる基盤を構築することを目指しています。