動画理解AIのTwelve Labs、Amazon Bedrockのマネージド型ナレッジベースに初の動画モデルとしてMarengoを提供

Twelve Labsは、同社の動画理解モデルMarengoが、Amazon Bedrockのマネージド型ナレッジベースで埋め込みモデルとして利用できるようになったと発表しました。同サービスに動画モデルが載るのは初めてです。利用者は、文章を検索するのと同じように意味で動画を検索できます。探したい場面を言葉で入力すると、数千時間の映像の中から該当する瞬間が返る仕組みで、利用者側で構築や運用を行う必要はありません。同社によれば、これまで意味による動画検索を実現するには、フレームの抽出、音声の書き起こし、埋め込みの生成、それらを独自のデータベースにつなぎ込む処理を自前で組み立てる必要があり、数か月規模の開発を要していました。多くのチームは最後までやり切れずに終わるとも指摘しています。

AWSの説明では、同ナレッジベースはこれまでも音声や動画を文字に起こして文字ベースの埋め込みを作る形で媒体の検索に対応していました。Marengo 3.0はそこからさらに踏み込み、映像の場面、発話、音の手がかりを直接ひとつの埋め込みに符号化するため、書き起こしだけでは拾えない意味を捉えられるとしています。生成されるのは512次元の比較的小さなベクトルです。利用者はAmazon S3などから素材を取り込んで同期させ、自然言語で検索します。見えているものと語られていることを同時に検索し、順位付けは自動で処理されます。日付や分類、タグといったメタデータによる絞り込みと意味検索を組み合わせることもできます。映像は利用者自身のAWS環境から外に出ないため、金融、医療、行政のような規制の厳しい業種の要件にも対応できるとしています。

戦略提携責任者のDanny Nicolopoulosは、AWSと緊密に取り組んだことで、高水準の動画検索を導入する際の最大の障壁を取り除けたと述べました。共同の顧客であるIconikは、映像資産管理の基盤にこの仕組みを通じた意味検索を標準機能として組み込み、Twelve Labsにとって初のPremier Tierのエコシステムパートナーとなります。同社は、この統合とIconikとの連携を、アムステルダムで開かれたIBC 2026で実演する予定としていました。背景として、AWSはBedrockのナレッジベースで複数の媒体をまたぐ検索を年初に正式提供しており、Twelve Labsのモデルは以前から自社APIとBedrockの双方で配布されています。

Twelve Labsについて
Twelve Labsとは、2021年に設立されたアメリカの動画理解AI企業で、本社はカリフォルニア州サンフランシスコにあり、韓国のソウルにも主要拠点を置きます。Jae LeeやAiden Leeらが共同創業し、Jae LeeがCEOを務めます。主力製品は、映像と音と発話をまとめて理解し検索できるようにする埋め込みモデルMarengoと、動画から要約や構造化したデータを生成する動画言語モデルPegasusです。放送、広告、スポーツ、行政、防犯などの分野で、蓄積された映像を保管費用ではなく活用できる資産に変えることを事業の軸としています。