AIアルゴリズムのSakana AIが高額な再学習なしで強力なモデル構築を可能に

日本拠点のAI研究所Sakana AIは、新しい進化的手法「Model Merging of Natural Niches（M2N2）」を発表しました。この技術により、開発者は高額な再学習やファインチューニングを行わずにAIモデルの能力を拡張でき、ゼロから新しいモデルを進化させることすら可能です。

M2N2は大規模言語モデル（LLM）やテキストから画像生成モデルなど、幅広い機械学習モデルに適用可能です。既存のオープンソースモデルを組み合わせ、それぞれの強みを生かして専門性の高い新モデルを構築できるため、企業にとっては効率的で強力なソリューションとなります。従来のファインチューニングと異なり、M2N2は勾配計算を伴わず順伝播だけで動作するため、計算コストを大幅に削減しつつ元の能力を保持することが可能です。このアルゴリズムの特徴は、固定的な結合境界を取り払い、柔軟にモデルのパラメータを混合できる点です。また、多様性を維持するため競争原理を導入し、補完的な強みを持つモデル同士を結合させる「attractionスコア」に基づく手法を採用しています。これにより、モデルはより複雑かつ有効な形で進化し続けます。

研究チームは、MNISTデータセットでの画像分類、LLMの融合、拡散モデルの結合といった実験を通じてM2N2の有効性を実証しました。特に、日本語プロンプト対応モデルと英語主体のStable Diffusionモデルを融合させることで、バイリンガル能力を持つ画像生成モデルを生み出すことに成功しました。この技術により、例えばセールス特化LLMと顧客反応解析モデルを統合し、リアルタイムにプレゼンを最適化するエージェントを作るといった新しい応用も可能になります。研究者らは将来的に、このような「モデル融合」が進化し続けるAIエコシステムを形成し、環境に適応する動的な知能を生み出すと考えています。しかし同時に、オープンソースや商用モデルを統合する際のセキュリティやコンプライアンス上の課題が最大の障壁になるとも指摘しています。今後の課題は、安全かつ効果的に取り込めるモデルを見極める組織的な仕組みの構築だとしています。

Sakana AIについて
Sakana AIは、日本を拠点に進化的アルゴリズムやモデル融合技術を研究開発するAIラボです。独自のアプローチを通じ、AIの効率的な進化や多言語対応を実現し、次世代の知能システム構築を目指しています。