AI21 Labs、最長コンテキストウィンドウを持つ新型ハイブリッドモデルJambaを発表

AI21 Labsが、新しいオープンソース大規模言語モデル「Jamba 1.5 Mini」と「Jamba 1.5 Large」を発表しました。これらのモデルは、従来のLLMと比べてより長いデータシーケンスを処理でき、コンテキスト理解能力が向上しています。Jambaモデルは、従来のTransformerアーキテクチャと「Mamba」フレームワークを組み合わせた独自のハイブリッド構造を採用しています。この構造により、より大きなコンテキストウィンドウを効率的に処理できるようになりました。

Jamba 1.5 Largeは398億のパラメータを持つ高度なモデルで、複雑な推論タスクを処理するように設計されています。一方、Jamba 1.5 Miniは、Jamba 1.5 Largeの改良版で、拡張された機能と優れた出力品質を提供します。

両モデルは256,000トークンのコンテキストウィンドウを持ち、これは現在利用可能なオープンソースモデルの中で最長です。AI21 Labsによると、JambaモデルはRULERベンチマークで優れたパフォーマンスを示し、競合モデルを上回る結果を出しています。

AI21 LabsのOr Dagan氏は、長いコンテキストを処理できるAIモデルが、複雑でデータ量の多いタスクに適しており、AIの未来を代表すると述べています。Jambaの最適化されたアーキテクチャ、高速性、最大のコンテキストウィンドウの組み合わせにより、RAGやエージェントワークフローを構築する開発者や企業にとって最適な基盤モデルになると期待されています。