Braintrust Data、企業がLLMを迅速に評価する新たな方法を提供

カリフォルニアに拠点を置くスタートアップ企業であるBraintrust Dataは、企業がAIを迅速かつ大規模に構築・改善するのを支援し、今日、Greylock Partnersが主導するシードラウンドで510万ドルを調達したことを発表しました。

わずか2か月以上前にAnkur Goyalによって設立されたBraintrustは、AIベンチャーImpiraをFigmaに売却した経験を持つGoyalが、AIの評価問題に取り組むために立ち上げました。Braintrustは、チームがAIモデルのパフォーマンスを確認し、製品化段階に達する前に改善できる専用ツールを提供します。初期段階のベンチャーであるにもかかわらず、同社はElad Gil、Clem Delangue、Greg Brockman、Jack Altman、Howie Liu、Guillermo Rauch、Bryan Helmig、Simon Last、Vipul Ved Prakashなど、業界の著名人から顧客や投資を獲得しています。

現在、同社はチームの拡充とこの取り組みの上にさらに構築する計画で、開発者がより迅速に動き、AIの最前線に常に留まることができるようにしています。

AIを製品化する過程は複雑なことがあります。モダンなビジネスアプリケーションのバックエンドとしてAIが使用されていますが、これらのアプリケーションを最新の状態に保つことは複雑になることがあります。アプリケーションの改善を目指す小さなコード変更が、全体のワークフローを壊してしまい、バックエンドチームが何が間違っているのかを突き止めて修正するために奔走することになることがあります。この反応的なアプローチは顧客体験を損なう可能性があります。そのため、開発チームは開発ループ内で評価の実践に多くの注意を払い、AIシステムのパフォーマンスをどれだけうまく測定できるかを試みます。彼らはまずコンテキスト固有のデータとメトリックスを分析し、次にさまざまなモデル、プロンプト、微調整およびその他の技術を迅速に実験して、望ましい結果を得るために努力します。

ただし、この技術はうまく機能しますが、多くの時間と労力を要し、しばしば機能の発売を遅らせます。これは、ImpiraおよびFigmaでの仕事中にGoyalが直面したまさにその問題です。同じ問題に直面している複数のチームと話した後、彼はBraintrust Dataを立ち上げ、実世界の例でコード変更をテストし、より迅速な評価を可能にすることを決めました。「当社の製品は、評価の定義、ユーザーフィードバックのキャプチャ、LLMコールのログ記録など、コードに簡単に（1時間以内に）インストルメントを追加できます。変更を加えるたびに、評価を再実行して、改善または後退した程度を示すダッシュボードを即座に取得し、個々のケースをデバッグできます（最終展開に移る前）。ステージング/製品の例をログに記録し、それらに対して評価を実行して、ユーザーが直面している新しいエッジケースを見つけることもできます」と彼はVentureBeatに語りました。

CEOは2023年8月に製品を発売し、「数百」の企業やスタートアップを顧客として獲得しました。これにはAirtable、Zapier、Coda、Instacartなどの著名な企業が含まれます。彼によると、Braintrustを使用することで、これらの企業はわずか数週間でAIオファリングの精度を30％以上向上させることができ、より迅速な出荷サイクル、エンゲージメントの向上、チームのコラボレーションの向上につながっています。「当社の製品は、企業のセキュリティにとって重要な独自のクラウド環境内で動作することができます。特にAIにおいて、個人情報や独自の情報がはびこっているため、これにより企業のお客様が最も重要なワークロードにBraintrustを使用できるようになりました」とGoyalは付け加えました。より重要なことに、評価に加えて、BraintrustはAIチームがより迅速に反復し、出荷を加速するための他の便利な機能を提供し始めました。これには、複数のプロンプトを比較するためのプロンプトプレイグラウンド、実行間のベンチマーク、それぞれの入力/出力ペア、データセット管理、OpenAIのモデル、Anthropicモデル、LLaMa 2、Mistralなど、人気のAIモデルへのアクセスを提供するAIプロキシが含まれます。