音声AIのElevenLabs、感情や話し方を90超の言語へ引き継ぐDubbing v2をAPI化しアプリへの組み込みに対応

ElevenLabsは、AI吹き替えモデルDubbing v2を開発者向けのElevenAPIから利用可能にしました。動画や音声の元の演技そのものを参照して生成することで、話者の声だけでなく、口調、感情、話すテンポなどを90以上の言語へ引き継いだ吹き替えを、外部サービスや業務ワークフローへ直接組み込めるようになります。

Dubbing v2は、字幕テキストだけを基に音声を生成する方式とは異なり、元の音声から話し方の特徴を取得します。翻訳後の音声が元動画の開始・終了タイミングに合うよう調整するSync-aware translationに加え、地域ごとのアクセント、背景音楽、効果音、複数話者が含まれる場面への対応も改善しました。翻訳、音声クローン、吹き替え、同期までを一つのAPIで処理できます。

動画の多言語展開では、従来は翻訳、声優収録、音響編集、映像との同期など複数の工程が必要でした。Dubbing v2 APIにより、メディア、教育、ゲーム、マーケティングなどのサービス提供者が自社製品の中に多言語ローカライズを組み込みやすくなります。生成AIによる吹き替えが単体の制作ツールから、ソフトウェアに組み込まれるプラットフォーム機能へ移行していることを示しています。

ElevenLabsについて
ElevenLabsとは、2022年にMati StaniszewskiとPiotr Dąbkowskiが設立した音声AI企業で、ロンドンを主要拠点の一つとしてグローバルに事業を展開しています。自然な音声を生成するText-to-Speechを起点に、音声クローン、吹き替え、音声認識、AIエージェントなどを提供しています。主力技術は話者の声質や感情、抑揚を再現できる生成音声モデルです。APIを通じた企業システムへの組み込みにも対応しています。人とテクノロジーの音声によるインタラクションをより自然にすることを目指しています。