AporiaとDatabricksがMLモデルのリアルタイム監視を強化するために提携

機械学習（ML）可観測性プラットフォームのAporiaは、Databricksとの戦略的パートナーシップを発表しました。両社によると、このコラボレーションは、Databricksのレイクハウスプラットフォーム、AI機能、MLflowの提供を利用する顧客を支援し、MLモデルの高度な監視機能を提供することを目指しています。

ユーザは、Aporiaの新しいML可観測性プラットフォームをDatabricksに直接デプロイすることで、MLモデルをリアルタイムで監視できるようになりました。これにより、レイクハウスから他の任意のデータソースにデータを複製する必要がなくなります。また、両社によると、Databricksとの統合により、モニタリングプロセスが簡素化され、データサンプリング、プロダクションコードへの変更、隠れたストレージコストを必要とせずに、数十億の予測を分析できるようになります。

「これは、数十億の予測を監視し、MLモデルをプロダクションで視覚化し、説明することが容易になることを意味します」と、AporiaのCEOであるLiran HasonはVentureBeatに語りました。「Aporiaはすべてのユースケースとモデルタイプをサポートし、MLチームがプラットフォームを特定のニーズに合わせて調整するための柔軟性を提供します。」

新しいサービスでは、ドリフト、バイアス、劣化、データ整合性の問題などの異常を監視し、人気のあるコミュニケーションチャネルにライブアラートを送信して、タイムリーな通知を保証します。プラットフォームはまた、リアルタイムのカスタマイズ可能なダッシュボードとメトリックを提供します。これにより、各ML関係者は、関心のある主要領域を優先し、データサイエンスメトリックを具体的なビジネスインパクトに変換することができます。これは、貸付、採用、医療などの業界で重要であり、自動化された意思決定において公平で透明な環境を促進します。

「組織は、展開場所に関係なく、すべてのMLモデルを単一のハブで管理できるようになるでしょう」とHason氏は述べています。「この中央集権化により、コラボレーションが促進され、コミュニケーションが促進され、モデル管理が合理化され、継続的な学習と効率的なチームワークが促進されます。」

組織は伝統的に、大量のデータを監視する際に課題に直面してきました。これは、データレイクからモニタリングプラットフォームにデータを複製する必要がありました。しかし、Hason氏によると、このアプローチは、不正確さ、見落とされた問題、ドリフト、誤検出アラート、公平性とバイアスの監視の確保が困難になるなどの問題につながります。新しいDatabricks統合は、これらの課題に対処し、組織がDatabricks上のすべてのMLモデルを数分以内にすばやく監視できるようにします。

さらに、統合は既存のデータベース投資のメリットを最大化します。これは、推薦システム、検索ランキングモデル、不正検出モデル、需要予測モデルなど、大量の予測を処理する用途でも当てはまります。「別々のモニタリング環境にデータを複製する必要はありません」とHason氏は説明します。「これにより、データレイクから直接派生した単一の情報源が保証され、データ管理が簡素化され、洞察から行動への加速が実現されます。統合により、MLモデルの監視の有効性が向上し、組織が既存のMLおよびデータインフラストラクチャを最大限に活用するための柔軟性と自由が提供されます。」

同社によると、新しいML可観測性プラットフォームは、強化された推薦システムをリアルタイムでパフォーマンス監視することを含む多くのユースケースをサポートします。

組織は、Aporiaを利用して検索ランキングアルゴリズムを改善し、クリックスルー率を把握して検索結果を向上させることができます。さらに、Aporiaのリアルタイム監視は、不正な活動を検出および防止するのに役立ち、セキュリティを強化し、顧客の信頼を築きます。