Deepdubの生成型AI、Deepdub GOがコンテンツのローカライゼーション、吹き替え、感情プロンプトを革新

ディープラーニングを活用した音声・映像の吹き替えおよび言語ローカライゼーションスタートアップであるDeepdubは、新しい生成型AI製品、Deepdub GOを発表しました。当初はハリウッドのプロジェクト向けに開発されたこの革新的なAIスタジオプラットフォームは、ビジネスから教育まで、幅広い業界にサービスを提供します。

Deepdubは、ハリウッドのスタジオと多数のプロジェクトで協力し、その作品の一部はHuluやAmazon Primeのようなストリーミング大手で取り上げられています。独自のAI技術は現在、Deepdub GOに組み込まれ、ビデオのローカライゼーションをスピード、品質、スケーラビリティの面で革新することを目指しています。伝統的に、吹き替えは主にエンターテイメント業界に限定されていました。これは、そのプロセスの高コスト、複雑さ、時間のかかる性質が主な理由です。

新しいプラットフォームの特徴には、人間のような音声、感情プロンプト、音声ガイド技術、そして強力な音声クローニングツールが含まれています。音声の特性、言語、翻訳の編集、持続時間と単語数の制御によるリップシンクの調整が可能です。また、プラットフォームには65言語にわたる数千の音声がホストされています。

Deepdub GOの注目すべき特徴の一つは「感情プロンプト」です。この機能は、カスタムLLMによって動作し、ユーザーがテキストプロンプトを通じて生成されるオーディオの感情表現をガイドすることを可能にします。「音声ガイド」は別の機能で、ユーザーが音声録音を提供してAIが望ましい感情表現を生成するのをガイドします。

このツールは、企業の研修ビデオからインフルエンサーのコンテンツまで、あらゆるコンテンツに高品質の吹き替えを提供します。ストーリーテリングを強化することで、グローバルな視聴者とより深く、個人的なレベルで共感することを目指しています。ユーザーはビデオをアップロードし、ビデオのスタイルと言語を選択すると、吹き替えたビデオがすぐにダウンロード可能になります。このプロセスには、自動的な書き起こし、翻訳、音声生成、オーディオミキシングが含まれます。ユーザーは全体を通じて完全なコントロールを保持し、必要に応じて編集を行うことができます。また、Deepdub GOは既存のツールやワークフローにシームレスに統合するためのAPIアクセスも提供します。