Startup Portfolio
AI21 LabsのAI新モデルは大量のコンテキストを処理可能
AI業界では、ますます長いコンテキストを扱える生成AIモデルに移行しつつあります。しかし、大きなコンテキストウィンドウを持つモデルは計算リソースを多く必要とする傾向にあります。AIスタートアップAI21 Labsのプロダクトリードであるオー・ダガンは、そうである必要はないと主張し、その主張を裏付けるために同社は新しい生成AIモデルをリリースしました。コンテキストやコンテキストウィンドウとは、モデルが出力(テキスト)を生成する前に考慮する入力データ(テキストなど)のことです。小さなコンテキストウィンドウのモデルは、最近のやり取りの内容さえ忘れがちですが、大きなコンテキストウィンドウのモデルはこの欠点を回避でき、加えて入力データの流れをよりよく把握できます。
AI21 Labsの新しいテキスト生成・分析モデル「Jamba」は、OpenAIのChatGPTやGoogleのGeminiなどのモデルと同様の多くのタスクを実行できます。公開済みのデータと独自のデータを組み合わせて学習された Jamba は、英語、フランス語、スペイン語、ポルトガル語でテキストを生成できます。
Jamba は、80GB以上のメモリを搭載した単一のGPU(高性能のNvidia A100など)上で動作する場合、最大で14万トークン(約10万5000語、210ページ相当のコンテキスト)を扱うことができます。これに対し、MetaのLlama 2は、現在の基準では小さい方の3万2000トークンのコンテキストウィンドウですが、わずか12GBのGPUメモリで動作します。(コンテキストウィンドウは通常トークンという単位で測られます)。一見すると、Jamba は目新しいものではありません。無料でダウンロードできる生成AIモデルは、DatabricksのDBRXやLlama 2など多数存在します。しかし、Jambaの独自性は内部の仕組みにあります。トランスフォーマーとステートスペースモデル(SSM)の2つのモデルアーキテクチャを組み合わせて使っているのが特徴です。
関連ニュース
Skyflow、LLMを利用する企業向けにデータプライバシーとセキュリティを強化
2024/07/24
Sakana AI、浮世絵の生成モデルを発表
2024/07/24
AIビデオ生成Luma AIの新機能「Loops」がデジタルマーケティングを変革
2024/07/24
AI21 Labs に興味がありますか?
最新ニュース
オープンソースソフトウェアでの開発のための安全な基盤を提供する"Chainguard"がSeries Cで$140Mを調達し評価額は$1.12Bへ
2024/07/26
資本市場向けに特化した生成AIのBoosted.aiが、Geoffrey Claussを最高収益責任者(CRO)に任命
2024/07/26
動的広告配信とパーソナライゼーションMarTechのClinchとMetaRouter、動的広告に関連するイベント追跡のための代替ソリューションを提供
2024/07/26
オープンソースのコンテナイメージの包括的コレクションChainguardが、1億4000万ドルのシリーズCラウンドを達成
2024/07/26
統合オープンディレクトリプラットフォームJumpCloudが、セキュリティを妥協せずに従業員の生産性を向上させるモバイルデバイストラストを導入
2024/07/26