AI検索のPerplexity、埋め込みとランキングを支える3層の自社推論基盤Ivy・Tulip・ROSEを公開

Perplexityは、検索プロダクトを支える埋め込み処理とランキングモデルを動かす自社アーキテクチャを公開しました。埋め込みとは、文章を数値のベクトルに変換して意味的な近さで検索できるようにする処理を指します。公開されたのはRustとPythonで構成した3層構造で、リクエストの前処理、バッチのスケジューリング、GPUでの実行が互いの完了を待たずに進む設計だと説明しています。

3層のうちIvyはRust製のHTTPゲートウェイで、リクエストの解析、トークン化、テンプレートの適用、大きすぎるバッチの分割を担い、gRPCで後段へ渡します。CPU負荷の高い準備処理をGPU側から切り離すことで、書式やトークン化の変更をGPU側に波及させずに済みます。TulipはRust製の軽量gRPCサーバーで、リクエストを集めてGPU向けのバッチを組みます。同社によれば小型の埋め込みモデルの実行時間はクエリ数よりトークン数に左右され、おおむね512トークンでGPUを埋められるため、小さなリクエストをまとめる設計が中心になります。ROSEはPython製で、モデルの順伝播とCUDAグラフの実行を管理し、大規模言語モデルと埋め込みモデルで多くのカーネルを共有します。

性能面ではCUDAグラフとLazyTensorsが効いています。前者はGPU操作の並びを記録して1回の呼び出しで起動し、CPU側の起動オーバーヘッドを抑えます。後者は結果を非同期に追跡し、GPUが現在のバッチを処理している間にCPUが次のバッチを準備できるようにします。同社はこの組み合わせでオンライン処理とバッチ処理の双方で遅延とスループットが改善し、既製の推論基盤より安く済むとしていますが、遅延やスループット、GPU使用率、クエリ単価といった本番指標は公開しておらず、改善幅を外部から検証することはできません。ROSEはSonar、Search、Embeddingsの各APIの背後でも稼働しており、今回の公開には、エンドポイントの向こう側を顧客に説明するという開発者向け事業上の意味もあります。

Perplexityについて
Perplexityとは、2022年8月に設立されたアメリカのAI検索企業で、本社はカリフォルニア州サンフランシスコにあります。共同創業者兼CEOのAravind SrinivasはIIT MadrasとUC Berkeleyで学び、OpenAIの研究員を経て創業しました。共同創業者兼CTOのDenis YaratsはMicrosoftのBingやFacebook AI Researchに在籍し、創業時のプレジデントを務めたAndy KonwinskiはApache MesosとSparkの開発に関わりDatabricksを共同創業しています。主力サービスは出典つきの回答を返すAI検索と、Sonar、Search、Embeddingsの開発者向けAPIです。検索は直接的で出典の明示された回答を返すべきだという考えを事業の前提に据えています。