自動的に最適なLLMにルーティングするmodel Routerを提供する"Martian"がSeedで$9Mを調達

Martianは、New Enterprise Associates(NEA)、Prosus Ventures、Carya Venture Partners、General Catalystなどが参加したSeedで$9Mを調達し、ステルス状態から脱した。

ペンシルバニア大学のAI研究者である共同創業者の2人が設立したMartianの最初の製品は「model router」であり、GPT-4などの大規模言語モデル(LLM)向けのプロンプトを受け取り、自動的に「最適な」LLMにルーティングするツールです。デフォルトでは、model routerは、問題のプロンプトに対して、稼働時間、スキルセット(例：数学の問題解決)、コスト・パフォーマンス比が最適なLLMを選択します。

「現在、企業がLLMを使用する方法は、すべてのリクエストを送信するエンドポイントごとに単一のLLMを選択することです。しかし、ウェブサイトを作成するようなタスクの中では、ユーザーが指定するコンテキスト(どの言語、どの機能、いくら支払う気があるか、など)に応じて、適するモデルが異なります。アプリケーションでモデルのチームを使用することにより、企業は単一のLLMが単独で達成できるよりも高いパフォーマンスと低コストを達成することができます。

GPT-4のようなハイエンドのLLMだけに頼ることは、ほとんどの企業とは言わないまでも、一部の企業にとってはコスト高になりかねません。マーケット・インテリジェンス企業であるPermutable.aiのCEOは最近、OpenAIのハイエンドモデルを使って1日あたり約200万件の記事を処理するのに、年間100万ドル以上のコストがかかることを明らかにした。

すべてのタスクに高価なモデルの馬力が必要なわけではないが、その場でインテリジェントに切り替えるシステムを構築するのは難しいかもしれない。そこでMartianの出番となるのが、実際に実行することなくモデルのパフォーマンスを推定する機能です。

「Martianは、最も高価なモデルと同様のパフォーマンスを発揮するリクエストに対して、より安価なモデルにルーティングし、必要な場合にのみ高価なモデルにルーティングすることができます。model routerは、新しいモデルが登場するとインデックスを作成し、摩擦や手作業を必要とせずにアプリケーションに組み込むことができます。

Martianのmodel routerは新しい技術ではありません。少なくとも他のスタートアップであるCredalが自動モデル切り替えツールを提供しています。そのため、Martianの価格設定の競争力、そして大きなリスクを伴う商業的なシナリオで提供できるかどうかが、その躍進を左右することになるでしょう。

「真に効果的なモデル・ルーターを構築することは、これらのモデルが基本的にどのように機能するかを理解する必要があるため、非常に困難です。それこそが、私たちが開拓したブレークスルーなのです」とMartianの創業者達は説明します。

ペンシルバニア大学のAI研究者である共同創業者の2人は、多くの大手AI企業が競争力のある強力なAIモデルの開発を追求するあまり、基礎研究を犠牲にしているという見解を示しています。企業が多額の資金を調達する場合、その大半は基礎研究よりもライバル企業の先を行く努力に費やされるのが一般的だからです。