AI21 LabsがOpenAIのGPT-3に匹敵する巨大な言語モデルをトレーニング

自然言語処理（NLP）に特化したAI企業であるAI21 Labsは、テキストベースのカスタムAIアプリケーションのプロトタイピングに興味のある方向けに、世界最大かつ最も洗練された言語モデルであるJurassic-1 Jumboをリリースしました。

「このようなことは、大手ハイテク企業に勤めるAI研究者でなくてもできるはずです。出版社、学生、アーティスト、ビジネスマン、研究者など、誰もが大手AI研究所で夢見られているものに匹敵する言語ベースのアプリケーションを作ることができるのです」

Jurassic-1は、同社の新しいNLP-as-a-Service開発者プラットフォームであるAI21 Studioを通じて提供されます。このプラットフォームは、開発者が仮想アシスタント、チャットボット、テキストの簡略化、コンテンツの調整、クリエイティブライティング、その他多くの新しい製品やサービスなど、テキストベースのアプリケーションを構築できるウェブサイトとAPIです。Jurassic-1は、同社が開発を進めている言語モデルの第一弾であり、今後、より新しく、さらに洗練されたバージョンが開発される予定です。AI21 Labsは、同社独自の言語モデルを活用したアプリケーションとして、文章全体の言い換えを支援するAIライティング・コンパニオン・アプリ「Wordtune」をすでにリリースしています。

Jurassic-1は、AI21 Studio™の中でオープンベータとして公開されており、誰でも登録して、新しくエキサイティングな言語ベースのアプリケーションをすぐに試すことができます。また、開発者が本番環境での利用を希望する場合は、カスタムモデルへのアクセスを商業ベースで申請することができます。OpenAIのGPT-3とは異なり、このアプローチは誰にでも開かれています。

AI21 Labsの共同創業者兼共同CEOであるYoav Shoham氏は次のように述べています。「AI21 Studioは、AWSがクラウドコンピューティングを実現したのと同じように、テキストベースのAIを企業が利用できるようにします。言語モデルとは、テキストを入力してその続きを生成するシステムのことで、自然言語を処理・生成するプログラムの構築を目的としたコンピュータサイエンスのサブフィールドであるNLPに基づいています。しかし、言語モデルを学習させて製品化するには、高価な計算機資源と優秀なAIエンジニアが必要です。そのため、言語モデルはほとんどの場合、大手ハイテク企業のAIラボで製造されており、開発者には手が届きません。このようなことは、大企業のAI研究者でなくてもできるはずです。出版社、学生、アーティスト、ビジネスマン、研究者など、誰でも、大手AI研究所で夢見られているものに匹敵する言語ベースのアプリケーションを作ることができるのです」

オープンベータ版にサインアップした開発者は、Jurassic-1 Jumboにすぐにアクセスできます。Jumboは1780億の計算パラメーターを持ち、OpenAIのGPT-3よりもわずかに大きいサイズです。また、AI21 Studio™を利用することで、開発者はJurassic-1モデルのプライベートバージョンを簡単にカスタマイズすることができ、製品化までの時間を短縮し、コストを削減することができます。

AI21 Labsは、オープンベータ版で生成できるテキストの量に上限を設けることで、言語モデルが悪用される可能性を軽減することを目指しています。共同CEOのShohamは、「私たちは誤用を非常に深刻に受け止めており、他の企業を悩ませている潜在的な弊害を抑えるための対策を講じています」と述べています。生産規模のトラフィックに対応するアプリケーションを開発するためには、オープンベータ版では制限されていないカスタムモデルへのアクセスが必要になります。AI21 Labsがすべてのカスタムモデルの申請を手作業で審査し、承認されれば、開発者は従量制のクラウドサービスモデルで使用量を増やすことができます。AI21 Labsは、カスタムモデルの展開、提供、およびスケーリングを行います。

テルアビブを拠点とするこのスタートアップは、スタンフォード大学のAI教授であるShoham氏、シリアルアントレプレナーのOri Goshen氏、エルサレムのヘブライ大学のコンピュータサイエンス教授でMobileye（インテルが買収）のCEOであるAmnon Shashua氏が共同で設立したものです。AI21 Labsは、Sebastian Thrun、Dan Jurafsky、Chris Ré、Dan Roth、Kevin Leyton-Brown、Shai Shalev-Shwartzなど、学界や業界の著名人からアドバイスを受けています。