空間知能のWorld Labs、ロボット実装の最大の制約は計算資源ではなく物理世界のデータ不足だと指摘

World Labsの共同創業者3名が、a16zのパートナーMartin Casadoが司会を務める対談で、新モデルAtlasの設計思想を説明しました。登壇したのはFei-Fei Li、Justin Johnson、そしてNeural Radiance Fieldsの先駆者であるBen Mildenhallの3名です。Fei-Fei Liは、現在ロボットの実装を最も強く縛っているのは計算資源や半導体ではなく、物理世界のデータの乏しさだと明言しました。

Atlasの中核となる考え方は「新視点予測」です。大規模言語モデルが次のトークンを予測し、動画モデルが次のフレームを予測するのに対し、Atlasは複数の視点や場面の記述を空間文脈として取り込み、時空間上の任意の位置に仮想カメラを置いたときに世界がどう見えるかを推定します。従来の動画モデルとの違いは、入力される各フレームが3次元のカメラ姿勢と結びついている点にあります。プロンプトを工夫してモデルに従わせるのではなく、部屋の四隅で撮った写真を与えれば、撮影していない箇所を勝手に作り替えることなく空間を再現できるとしています。表現形式としては深度マップを採用し、テキスト、画像、動画、カメラ姿勢を同じマルチモーダルモデルで扱います。

実務上の変化として挙げられたのは、必要な撮影量の削減です。従来の密な3次元再構成では数百枚の撮影や2時間ほどの移動が必要でしたが、Atlasは必要な視点数を大幅に減らし、走査していない死角は生成能力で補うとしています。映画で知られる「バレットタイム」のような映像も、緑幕やカメラ較正なしに三脚に据えた3台のiPhone程度で構成できると説明されました。この高速なReal-to-Sim（実空間からシミュレーションへの変換）が、ロボット学習のデータ不足を解く近道だという主張です。Fei-Fei Liは、自然が動物には目を与えたが樹木には与えなかったのは、空間を移動する存在こそ新しい視点を予測する必要があるからだと述べ、新視点予測を空間知能における次トークン予測になぞらえました。なお公開されている情報は同社側の説明が中心で、第三者による再現検証はこれからの段階です。

World Labsについて
World Labsとは、2024年に設立されたアメリカの空間知能企業で、本社はカリフォルニア州サンフランシスコにあります。共同創業者は、コンピュータビジョン研究で知られるスタンフォード大学のFei-Fei Liのほか、Justin Johnson、Ben Mildenhall、Christoph Lassnerです。主力製品は、テキストや画像から編集可能な3次元空間を生成するMarble、開発者向けのWorld API、そして生成と再構成、シミュレーションを単一モデルで扱う世界モデルAtlasです。カメラ姿勢を事前学習の段階から入力として扱い、3次元を独立したモダリティとして学習させている点を特徴とします。空間を生成し、その中で推論し、編集や相互作用を行える空間知能の実現を掲げています。