人間の表現のためのFoundation Modelを開発するAI研究ラボの"Nuance Labs"がSeries Aで$50Mを調達

Nuance Labsは、Lightspeed Venture Partnersがリードし、Accel、South Park Commons、NVIDIA、Define Venturesが参加したSeries Aで$50Mを調達しました。

人間の表現のためのFoundation Modelを開発するAI研究ラボのNuance Labsは、人間同士のコミュニケーションに存在するニュアンスを見て、聞いて、理解し、リアルタイムで自然に応答するAIを開発しています。同社は今年後半に、同社モデルのリサーチプレビューを一般公開する予定です。

元AppleのPhD研究者であるFangchang Ma、Edward Zhang、Karren Yangによって設立されたNuance Labsは、言葉や声のトーンから視線、ジェスチャー、タイミングに至るまで、人々がコミュニケーションを取る際に用いるあらゆる表現をリアルタイムで認識し、顔や声の表現を使って応答するAIを開発しています。文字起こしされたテキストだけを見るAIでは、このレイヤーが完全に欠落しており、人間の意図やユーザーが実際に求めていることの一部しか捉えられません。AIがユーザーを理解し、実際にその理解を示すようになると、人々は機械に合わせて自分の表現方法を変える必要がなくなります。より多くを、より自由に話せるようになり、その結果、自分の意図や本当に伝えたいことをより多くAIに伝えられるようになります。

Voice AIが成長してきたのは、欠点がありながらも、それ以前のものより有用だったからです。一方、対面型AIが成長してこなかったのは、これらのシステムが複数の部品を組み合わせて構築されているためです。これまでの仕組みでは、音声を文字起こしし、Large Language Modelが何を話すかを決め、それを音声が読み上げ、その音声に合わせて顔をアニメーション化するという流れになっています。その受け渡しの過程で、人間らしい会話の要素がすべて失われ、遅延やぎこちなさが生じ、ライブで会話している感覚が損なわれます。その結果、ユーザーが話している間は固まったままのアバター、ユーザーの発言を遮って話すアバター、あるいは単純に会話についてこられないアバターが生まれます。Nuance Labsのモデルは、専用のFull-Duplex Modelを使ってネイティブに認識と生成を行い、知覚情報を入力としてストリーミングしながら、同時に応答をストリーミング出力するため、ユーザーがまだ話している最中でも、会話を理解してついてきていることを示せます。

Nuance Labsのモデルは以下の特徴を備えています。

• 言葉や声のトーンから視線、ジェスチャー、タイミングまで、人々がコミュニケーションに用いるあらゆる表現を認識します。
• 顔や声の表現を使ってリアルタイムで応答します。
• 知覚情報の入力と応答の出力を同時にストリーミングする単一のFull-Duplex Modelとして動作します。
• 相手がまだ会話している最中でも、言語的および非言語的な合図を使って会話を理解してついてきていることを示します。
   

「AIやアバターが私たちの生活をより良くする可能性は、彼らが無表情でこちらを見つめたり、話を遮り続けたりする限り、決して実現されません。これまで自然に感じられなかったのは、機械が私たちに適応するのではなく、私たち自身や私たちのコミュニケーション方法を機械に合わせて歪めてきたからです」とNuance Labsの共同創業者兼CEOであるFangchang Maは述べています。

「最も生産的なコラボレーションは、友人や親しい同僚と話すときのように、言葉、声のトーン、ジェスチャー、表情を使って自由に自分を表現できることから生まれます。そこには、単なる会話を理解へと変える、やり取りの中のあらゆるニュアンスがあります。Nuance Labsで私たちが開発しているのはまさにそれです。つまり、人間が自分自身を表現するさまざまな方法を理解し、その瞬間に人間と同じように応答するAIです」

創業チームはAppleで長年にわたり、機械が人間をどのように認識し、再構築するかについて研究してきました。その中で、機械が私たち人間を理解することが非常に難しいことを直接経験しました。テレプレゼンスのために人間を忠実に再構築することさえ依然として課題であり、ライブでの会話における言語的および非言語的な合図の相互作用を理解することは、さらに困難でした。

Nuance Labsは、文字起こし、言語、音声、アニメーションといった、もともと連携するよう設計されていない複数のシステムをつなぎ合わせるのではなく、音声と映像の信号から人間の会話と表現を理解し生成するという問題全体を、単一モデルによってネイティブに解決するために設立されました。

このモデルは、人々が実際の会話でどのように振る舞うかを学習し、Full-Duplex方式で動作します。つまり、ユーザーの映像と音声をストリーミングで認識しながら、同時に映像と音声による応答を生成します。そのため、リアルタイムの応答性は後から付け加えられた機能ではなく、アーキテクチャそのものに組み込まれています。

モデルは動きと意味が生じると同時にそれらを認識し、人間同士の会話と同じように、ユーザーがまだ話している最中でも、その場で理解していることを示します。その結果、AIとの会話はより自然で生産的なものとなり、人間の表現が成果を左右する場面や、人々の重要なコミュニケーション方法をAIが理解することで価値が生まれる場面において、より良い結果につながります。

ユースケースとしては、営業、カスタマーサービス、コーチング、専門的なトレーニング、教育など、AIが人間とともに活動するあらゆる領域が想定されています。

今回調達した資金は、モデル開発の加速、研究チームの拡大、そして同社初となる一般向けリサーチプレビューの実施に活用されます。このリサーチプレビューでは、人々がついに、自分自身を読み取り、それに応じた反応を返してくれるAIと対面で会話できるようになります。それは、人間同士のように感じられる会話です。