大規模言語モデルのOpenAI、従来手法の限界を打破する新しいAI学習手法「test-time compute」を開発

OpenAIをはじめとするAI企業は、より大規模な言語モデルの開発における予期せぬ遅延と課題を克服するため、より人間に近い思考方法をアルゴリズムに実装する新しい学習手法の開発を進めています。OpenAIの共同創業者Ilya Sutskeverは、従来の事前学習の拡大による成果が頭打ちになっていることを指摘しています。研究者たちは、「test-time compute」と呼ばれる新技術を探求しており、これは推論フェーズでAIモデルを強化する手法です。

従来の機械学習モデルでは、一度モデルを学習させた後、新しいデータが来たら、学習済みのモデルにそのデータを投入し、すぐに予測結果を得るという方法が一般的でした。一方、test-time computeでは、新しいデータが来るたびに、モデルの一部のパラメータを調整したり、新たな計算を行ったりすることで、より正確な予測結果を得ようとします。

OpenAIの新モデル「o1」はこの技術を採用し、人間のような推論で問題を多段階的に「思考」することができます。Anthropic、xAI、Google DeepMindなども同様の技術開発に取り組んでいます。この技術シフトは、NvidiaのAIチップが支配してきたハードウェア市場にも影響を与える可能性があります。Sequoia CapitalのSonya Huangは、大規模な事前学習クラスターから推論クラウドへの移行が進むと予測しています。

OpenAIについて
OpenAIは、AIの研究開発を行う企業で、ChatGPTで知られる大規模言語モデルを開発しています。新しく開発した「test-time compute」技術により、既存のAIモデルをより効率的に強化する手法を確立し、業界をリードしています。この技術革新は、AIの訓練方法に関する従来のパラダイムを変える可能性を持っています。