Startup Portfolio
AI21 LabsのAI新モデルは大量のコンテキストを処理可能
AI業界では、ますます長いコンテキストを扱える生成AIモデルに移行しつつあります。しかし、大きなコンテキストウィンドウを持つモデルは計算リソースを多く必要とする傾向にあります。AIスタートアップAI21 Labsのプロダクトリードであるオー・ダガンは、そうである必要はないと主張し、その主張を裏付けるために同社は新しい生成AIモデルをリリースしました。コンテキストやコンテキストウィンドウとは、モデルが出力(テキスト)を生成する前に考慮する入力データ(テキストなど)のことです。小さなコンテキストウィンドウのモデルは、最近のやり取りの内容さえ忘れがちですが、大きなコンテキストウィンドウのモデルはこの欠点を回避でき、加えて入力データの流れをよりよく把握できます。
AI21 Labsの新しいテキスト生成・分析モデル「Jamba」は、OpenAIのChatGPTやGoogleのGeminiなどのモデルと同様の多くのタスクを実行できます。公開済みのデータと独自のデータを組み合わせて学習された Jamba は、英語、フランス語、スペイン語、ポルトガル語でテキストを生成できます。
Jamba は、80GB以上のメモリを搭載した単一のGPU(高性能のNvidia A100など)上で動作する場合、最大で14万トークン(約10万5000語、210ページ相当のコンテキスト)を扱うことができます。これに対し、MetaのLlama 2は、現在の基準では小さい方の3万2000トークンのコンテキストウィンドウですが、わずか12GBのGPUメモリで動作します。(コンテキストウィンドウは通常トークンという単位で測られます)。一見すると、Jamba は目新しいものではありません。無料でダウンロードできる生成AIモデルは、DatabricksのDBRXやLlama 2など多数存在します。しかし、Jambaの独自性は内部の仕組みにあります。トランスフォーマーとステートスペースモデル(SSM)の2つのモデルアーキテクチャを組み合わせて使っているのが特徴です。
関連ニュース
AI21 Labs に興味がありますか?
最新ニュース
英国デジタルバンク分野の先駆者である"Monzo"が$5.2Bの評価額で$190Mを追加調達
2024/05/10
パリのAIスタートアップである"Mistral AI"が$6Bの評価額で$600Mを調達交渉中との報道
2024/05/10
次世代リチウムイオン電池のリサイクル技術を開発する"Li Industries"がSeries Bで$36Mを調達
2024/05/10
Generative AIでがん治療を加速させようとしている"Triomics"がSeries Aで$15Mを調達
2024/05/10
WhatsApp向けにAIアシスタントを提供する"Luzia"がSeries Bで$19Mを調達
2024/05/09