データプラットフォームのVast Data、スケーラブルなデータ基盤にベクター検索とサーバーレス機能を追加

Vast Dataは、同社のデータプラットフォーム「Vast Data Platform」を拡張し、構造化データと非構造化データを単一のDataSpace上で安全かつリニアにスケーリングできるようにしたと発表しました。これにより、企業が大規模言語モデル（LLM）やエージェント指向のワークフロー、高速推論パイプラインをより容易に構築できる環境が整います。

今回の拡張では、リアルタイムベクター検索、細かいセキュリティ制御、イベントドリブン型の処理を単一プラットフォームで統合した「Vast InsightEngine」を提供します。これにより、自律エージェントが動的なデータストリームを最小限の人的介入で処理・適応し、必要に応じてアクションを実行できます。DataSpaceは、各クラスタが取引をそれぞれ処理できるようにロック管理をファイルやオブジェクト、テーブル単位に分散化する技術で、高速かつ一貫したデータアクセスを複数拠点で実現する仕組みです。

Vast Dataのプロダクトおよびソリューションマーケティング担当バイスプレジデントであるAaron Chaisson氏によれば、企業はあらゆるデータを統合し、それを推論に活用するためにLLMへのクエリと連携しやすい仕組みを求めているといいます。今後エージェント型のAIが増えるにつれ、流れてくるデータをリアルタイムに解析・ベクトル化してチャットボットやエージェントが参照できるようにする環境が重要になるという見解です。

AIでの推論には、データ同士の類似性を数学的表現（ベクトル）として比較するベクター検索が必須ですが、多くのデータベース管理製品はベクトルを扱う機能を後付けし、エンタープライズ向けのセキュリティや暗号化、ガバナンスが不足しているとVast Dataは指摘します。今回の拡張により、同社のデータマネジメントシステム「Vast DataBase」はトランザクショナルDB、データウェアハウス、データレイクの機能を一つに統合し、数兆規模のベクトルを一定の時間内で検索する能力を備えた唯一のベクトルデータベースになったと説明しています。これによって、あらゆるデータをエージェント型ワークフローに活用でき、自動的にエンベディングを生成して検索・取得可能になります。

またサーバーレス型のトリガーとファンクションによってリアルタイムワークフローを効率化し、バックグラウンドでのETL処理を不要にする設計です。イベントドリブンの自動化とリアルタイムなデータエンリッチメントにより、エージェントアプリケーションへ即座にコンテキストを提供できます。Vast Dataは先月、このプラットフォームにイベントストリーミング機能を追加しました。例えばファイルが保存されると即座にマイクロサービスが呼び出され、大容量ファイルを最適な形で分割・エンベディングし、後の検索や処理を容易にします。チャンク化はメインメモリではなくエクサバイト規模のSSDファブリックを活用し、大規模なワークロードでもミリ秒レベルのレイテンシを維持します。

今回のアップデートでは、行・列レベルでの権限管理を強化したビルトインセキュリティ機能も含まれており、生のデータとベクトル表現の両方を一貫して保護できるようになりました。さらにVastの並列トランザクション設計「DASEアーキテクチャ」がリアルタイムでベクトル空間を更新する仕組みを支え、全サーバーがベクトル検索を高速に行うことでAI推論をミリ秒単位で実現します。コンピュートロジックをシステムステートから切り離し、容量と高性能の両方を達成するために共有かつトランザクショナルなデータ構造を採用しているのが特長です。

Vast Dataについて
Vast Dataは、あらゆる規模のエンタープライズ向けに高性能かつ拡張性の高いデータプラットフォームを提供するスタートアップです。独自の並列トランザクション設計「DASEアーキテクチャ」を基盤に、ストレージとコンピュートを効率的に分離・管理し、リアルタイムでのベクトル検索やイベントドリブン型ワークフローへの対応を実現しています。構造化・非構造化データの両方を単一基盤に統合し、エージェント型AIを含む先進的なアプリケーションを支える高水準のセキュリティと可用性を提供しています。