AI評価のGalileo、NVIDIA NeMoとの連携により迅速な生成系AI開発を実現

AI Evaluationを手がけるGalileoは、NVIDIAのAI開発プラットフォームであるNVIDIA NeMo™と連携し、企業が独自の生成系AIモデルを継続的に向上できる仕組みを提供すると発表しました。これにより開発チームはモデルを包括的に評価・検証し、ユーザーからのフィードバックを活用した追加のファインチューニングが可能になります。その結果、コストを抑えつつ、より安全・信頼性の高いGenAIアプリケーションを迅速にリリースできるようになります。

多くの企業がエージェント型やRAG（Retrieval-Augmented Generation）型のチャットボットなどのGenAIアプリケーションを開発していますが、LLM（大規模言語モデル）の予測不確定性や、常に進化するLLMの性能・コストバランスに対応するのは困難です。この課題を解決するには、ユーザーとのやり取りによって得られるデータを継続的に分析・改善し続ける“AIデータフライホイール”が不可欠だとGalileoは指摘します。Galileoのプラットフォームは、NVIDIA NeMo Evaluatorを補完する形で評価指標を柔軟にカスタマイズし、LLMのツール呼び出しやRAG出力の正確性などをモニタリングする機能を提供します。加えてNeMo Guardrailsと連携することで、リスクのある応答を事前にブロックするためのガードレールを設計しやすくし、ユーザーへの不適切な出力を未然に防ぎます。

Galileoの共同創業者兼COOであるYash Sheth氏は、「NVIDIA NeMoはジェネレーティブAI開発を包括的に支援する強力なツールチェーンであり、Galileoの評価プラットフォームを組み合わせることで、データキュレーションからファインチューニング、本番運用に至るまでのフローを一貫して高速化できます。最適なモデル選定や迅速なファインチューニング、現場でのデータドリフトへの対応を支援します」と述べています。一方、NVIDIAのGroup Product ManagerであるSantiago Pombo氏は、「Galileoプラットフォームとの連携により、最適なデータセットや指標を活用し、NeMoを用いたLLMのカスタマイズとスケールを安心して行える。NeMo GuardrailsとGalileo Protectを組み合わせることで、AIアプリケーションに必要なセキュアで堅牢なガードレール構築が容易になる」と評価しています。

この連携では、Galileoが提供するデータエラーのポテンシャル分析やNeMo Customizerとの連携を通じたデータセットの品質向上に加え、Galileo EvaluateがNeMo Evaluatorのベンチマークを補完する形で独自の指標やデバッグツールを提供します。また、NeMo Guardrailsと連携したGalileo Protectにより、応答の低遅延監視や安全性を強化し、ユーザーに提示される前の段階で不適切なコンテンツを抑制できる仕組みを整えています。
GalileoのNVIDIA NeMo向けの新機能は、2025年4月から一般利用が開始される予定です。

Galileoについて
Galileoは、AIの評価に特化したスタートアップであり、Evaluation Foundation Models（EFMs）を活用したプラットフォームを提供しています。データキュレーションからファインチューニング、本番運用までを一括して支援し、フォーチュン500企業からスタートアップまで幅広い顧客が、より高精度かつ信頼性の高いAIシステムを構築できるよう支援しています。また、リアルタイムでの監視・ガードレール機能を備え、AIシステムが運用環境でのデータドリフトやリスクを即座に検知し、必要なアラートを送る仕組みを提供しています。