小型言語モデル開発基盤のFastino Labs、ファインチューニングと適応型推論を自動化するPioneerを発表

Fastino Labsは、オープンソースのGLiNERモデルファミリーを開発する応用AI研究所として、言語モデルのファインチューニングと推論運用を自動化する新プラットフォームPioneerを発表しました。Pioneerは、オープンソースの小型言語モデル向けに設計されたファインチューニングエージェントおよび適応型推論プラットフォームです。開発者は単一のプロンプトだけで、Qwen、Gemma、Llama、Nemotron、GLiNERなどのモデルをファインチューニングし、本番環境で利用できる形にデプロイできます。Pioneerの大きな特徴は、適応型推論を本番環境に持ち込んだ点です。これは、デプロイ済みのモデルが実際の推論データを継続的に学習し、改善されたチェックポイントを自動的に検証し、時間の経過とともに本番環境へ昇格させる仕組みです。従来の言語モデル運用は、一度デプロイした後に人手で改善する必要がありましたが、Pioneerはモデルが運用中に自律的に改善し続けることを目指しています。

FastinoのCEO兼Co-founderであるAsh Lewisは、AIの未来は少数の巨大モデルだけではなく、数十億の小型モデルが連携する形になると述べています。しかし現状では、言語モデルの構築は非常に難しく、専門的な知識と時間が必要です。Pioneerはこの工程をプロンプトに集約し、デプロイ後もモデルが自ら改善し続ける仕組みを提供します。同社は、小型言語モデルがエージェント型AIの主要な構成要素になると考えています。最先端の大規模言語モデルはAIの可能性を広げてきましたが、多くの本番ワークロードでは、その全パラメータや計算資源を必要としません。特定タスクに合わせてファインチューニングされた小型モデルは、低い遅延と低コストで、最先端モデルに匹敵または上回る精度を出せる場合があります。Pioneerには、2つのエージェント型モードがあります。Agent Modeでは、ユーザーがチャットインターフェースを通じて数分でモデルをファインチューニングし、デプロイできます。このエージェントは、合成データ生成、ハイパーパラメータ選定、評価、デプロイまでをコード不要で実行します。Deep Research Modeでは、Webブラウジング機能を備えた完全自律型のファインチューニングエージェントが、自然言語によるタスク説明だけをもとに学習データを発見し、複数の実験を並列で実行し、失敗した実行を回復しながら、最適な構成に到達するまでモデルを改善します。

Pioneerは、デプロイ済みモデルの推論履歴を継続的に監視し、失敗パターンを特定し、改善されたチェックポイントを自動的に学習・展開します。Fastinoによれば、実運用でのデータ分布の変化を想定した7つのベンチマークシナリオにおいて、Pioneerは継続的な性能改善を維持しました。一方で、単純な再学習手法では性能が低下し、最終的な性能差は最大43ポイントに達しました。同社はこの研究を支えるため、自律的なモデル改善を現実的な本番条件下で評価する新ベンチマークAdaptFT-Benchも発表しました。

Pioneerの発表に合わせて、Fastinoは技術レポートも公開しています。幅広い学術ベンチマークにおいて、PioneerのResearch Modeはベースモデル比で最大83.8ポイントの精度改善を達成しました。具体的には、NVIDIA-Nemotron-3Bを用いたIFEvalで19.0ポイント、Qwen 8Bを用いたHumanEvalで21.4ポイント、Llama 3.2-3Bを用いたARC-Challengeで67.3ポイント、GLiNER2を用いたSMS Spamで83.8ポイントの改善が示されています。エンドツーエンドのエージェント実行は平均6時間で完了し、コストは約35ドルに抑えられたとされています。Fastino Labsは、これまでにpre-seedおよびseedラウンドで合計2,500万ドルを調達しています。出資者にはKhosla Ventures、Insight Partners、M12、NEA、Valor Equity Partnersが含まれ、GitHub CEOのThomas Dohmke、元Docker CEOのScott Johnston、Weights & Biases CEOのLukas Biewaldなども参加しています。同社のオープンソースGLiNERモデルファミリーは累計600万回以上ダウンロードされ、Fortune 500企業のチームでも本番利用されています。

Fastino Labsについて
Fastino Labsは、2024年に創業され、米国カリフォルニア州Palo Altoを拠点とする応用AI研究所です。同社は、小型オープンソースモデルと、それらを本番環境で継続的に改善するためのインフラを開発しています。GLiNERオープンソースモデルファミリーの開発元であり、Pioneerを通じて、ファインチューニング、デプロイ、適応型推論を自動化する新しい小型言語モデル運用基盤を提供しています。