AI推論のBaseten、文章を生成せず選択肢を判定する小型モデルjoey-1を公開

Basetenは、社内研究組織Base Labsが開発した小型の意思決定モデルjoey-1を公開しました。一般的な言語モデルのように長い回答を生成するのではなく、与えられた選択肢や「はい・いいえ」の判定に対して確率を返します。問い合わせの振り分けや分類など、文章ではなく判断が必要な処理を対象とし、既存のmammoth-1とelephant-1に、速度と費用を重視する選択肢を加えます。Model APIsでの提供と、学習済みの重みの公開を同時に行っています。

joey-1はQwen3.5-2Bを追加学習した20億パラメーターのモデルで、文章と画像を入力として扱います。複数の質問で共通する情報を一度処理し、選択肢ごとの確率や段階評価を返すため、生成された文章から答えを取り出す処理を省けます。学習には621万件の意思決定例を用い、「分からない」という選択肢も学ばせています。これにより、確信が低い案件だけを大きなモデルや人の確認へ回す運用を組み立てやすくします。自社運用向けの重みはMITライセンスで公開されています。

API料金は入力100万トークン当たり0.01ドルです。同社によると、平均2,000トークンの要求に対する端から端までの応答時間の中央値は20ミリ秒で、elephant-1の49ミリ秒より短くなりました。一方、公開モデルカードではJev Decision Index 0.4の公開評価で上位の小型モデルに位置付けられるものの、大型のelephant-1には各分野で及ばないと説明しています。大量の一次判定を安価に処理する役割と、より難しい判断を担うモデルを使い分ける設計が重要になります。

Basetenについて

Basetenとは、2019年に設立された、米国サンフランシスコを拠点とするAI基盤企業です。Tuhin Srivastava、Amir Haghighatらが共同創業しました。AIモデルの学習、導入、推論を支えるプラットフォームを提供します。専用の推論環境やモデルAPIに加え、顧客の環境に応じた最適化も支援しています。モデルの実行速度、安定性、拡張性を一体で改善し、企業がAI製品を本番運用へ移す際の負担を減らすことに注力しています。