本番AI環境の運用に関わる多くのタスクを自動化するプラットフォームを開発する"Baseten"がSeries Bで$40Mを調達

Basetenは、IVPとSpark Capitalがリードし、複数の既存投資家が参加したSeries Bで$40Mを調達し、これまでの資金調達総額は$200M超となった。

AIモデルを本番稼働させるための推論作業には、多大な時間と労力がかかります。開発者は、突然のトラフィック急増に備え、モデルを実行するインフラを準備しなければなりません。また、AIがユーザーのプロンプトにタイムリーに応答することを保証し、クラウドのコスト超過を回避し、その他何十もの技術的タスクをこなさなければなりません。

サンフランシスコを拠点とするBasetenは、このプロセスを容易にすることに取り組んでいます。同社は、最初のモデル展開段階から、本番AI環境の運用に関わる多くのタスクを自動化することを約束するプラットフォームを提供しています。

開発者は新しいニューラルネットワークを訓練した後、それを組織のクラウドインフラ上で実行できる形式にパッケージ化しなければなりません。BasetenはTrussと呼ばれるオープンソースのツールを開発し、このプロセスのスピードアップを約束しています。このスタートアップは、このツールを使えば数行のコードでAIモデルをプラットフォームにインストールできると主張しています。

ニューラルネットワークが本番稼動すると、Basetenはオートスケーリング・エンジンを使って、ユーザーからのリクエストを迅速に処理します。リクエストの急増はAIモデルを圧倒し、レスポンスタイムを低下させる可能性があります。オートスケーリング・エンジンは使用量の急増を検知すると、AIモデルの複製を作成し、余分なトラフィックを分散させます。

また、ユーザーのアクティビティが通常レベルに戻ると、レプリカを削除するタスクも自動化されています。同社のプラットフォームによれば、開発者はScale to Zeroアプローチ、つまりAIワークロードがアクティブに使用されないときに完全にシャットダウンする仕組みを導入することができます。これにより、不必要なクラウドコストを回避することができます。

Basetenはダッシュボードを提供し、開発者はAIモデルのインフラ使用状況や、迅速な処理時間などの関連メトリクスを追跡できます。補完的な観測可能ツールは、技術的な問題のトラブルシューティングを容易にします。

「当社のネイティブ・ワークフローは、大規模なモデルを本番環境で提供するため、ユーザーはバージョン管理やロールアウト、観測可能性について考える必要がありません。2023年には、ダウンタイムを1分も発生させることなく、推論負荷を何百倍にも拡張しました」と同社のCEOはブログ投稿で述べています。

企業は、マネージド・クラウド・サービスとしてBasetenのプラットフォームにアクセスすることも、自社のAmazon Web ServicesやGoogle Cloud環境に導入することもできます。同社のプラットフォームは約20の大企業と数万人の開発者に利用されており、年間売上は「一桁億円半ば」と言われています。

顧客基盤をさらに拡大するため、同社は年末までに25人の営業・マーケティングチームをほぼ倍増させる計画です。Basetenが新たにクローズした資金調達ラウンドは、製品開発イニシアチブにも資金を提供します。同社は、より多くのクラウドプラットフォームへの対応や、顧客のAIモデルのパフォーマンスを最適化し、トレーニングを容易にするツールの展開を計画しています。