Sakana AI、科学的発見を完全に自動化すると主張する「The AI Scientist」を発表

東京を拠点とする人工知能（AI）企業Sakana AIは、科学研究を実施できる最新のAIモデル「The AI Scientist」を発表しました。このAIモデルは、AIおよび機械学習（ML）分野で、アイデア生成、実験実行、コード作成、結果の蓄積と分析、科学論文の執筆まで、科学発見のプロセス全体を自動で実行できると主張しています。Sakana AIは、この新しいAIモデルに関する論文も事前査読版として公開しました。

Sakana AIはX（旧Twitter）でこのAIモデルを発表し、「アイデア生成、コード作成、実験実行、結果の要約、論文執筆、査読に至るまで、The AI ScientistはAI駆動の科学研究と発見の加速の新時代を開きます」と述べました。別のブログ投稿では、The AI Scientistは広範な研究方向と出発点となるコードベース（例えばGitHub上のオープンソースの古い研究のコードベース）を利用して、自ら発見プロセスを開始できるとしています。また、AI研究者の手順に従い、文献検索、実験計画、図の生成、原稿の査読などを行えると主張しています。さらに、前世代のアイデアに基づいて次世代のアイデアを改善するために無限ループで実行できるとも述べています。

Sakana AIは、「最も優れたLLMと組み合わせると、The AI Scientistはトップの機械学習会議で自動レビュアーによって「弱い承認」と評価される論文を生成することができます」と主張しています。

しかし、会社はLLMを開発するためのアーキテクチャや方法論に関する技術的な詳細情報を共有していません。このAIモデルは現在一般公開されていないため、Gadgets 360はSakana AIの主張を検証できませんでした。ただし、説明に基づくと、このAIモデルは既存のソフトウェアベースのアイデアのみを研究できるようで、ハードウェアの制約を受ける可能性があります。また、The AI Scientistは出発点としてコードベースを必要とするため、本当の意味でのイノベーション（しばしば科学的発見には必要）を実行できるとは言えません。AIモデルの効率と能力は、公開後にのみ評価されます。

Sakana AIは、現在のThe AI Scientistの世代にいくつかの限界があることを強調しています。このAIモデルにはコンピュータビジョン機能がなく、論文の視覚的な問題を修正する能力が制限されています。また、幻覚を起こしやすく、アイデアを誤って実装したり基準と不適切な比較を行ったりする可能性があり、結果を汚染する恐れがあります。さらに、Sakana AIは、AIモデルが「結果の記述と評価において重大な誤りを犯す」ことを強調しています。特に、2つの数字の大きさを比較する場面で苦労しています。