AIスタートアップTenyxの最適化オープンソースLlama 3モデルがGPT-4を上回る

VentureBeatの独占インタビューで、AIスタートアップTenyxの創業者兼CEOのItamar Arelが、自然言語処理分野における画期的な成果を明らかにしました。Tenyxは、Metaのオープンソースの言語モデルLlama-3(現在はTenyx-70Bと呼ばれる)を最適化し、特定の分野でOpenAIのGPT-4を上回る性能を実現しました。これは、オープンソースモデルが独自の最高基準を上回った初めての事例となります。

Arelは「私たちは、基盤モデルを取り込み、さらに研磨したり訓練を重ねたりできる最適化技術を開発しました。私たちがますます興奮しているのは、この技術を使えば、これらの大規模モデルにある一種の冗長性を活用し、継続的学習または漸進的学習と呼ばれるべきものを実現できることです」と説明しています。Tenyxの革新的な最適化アプローチは、モデルが新しいデータに触れると以前の知識を失う「catastrophic forgetting」の問題に取り組んでいます。モデルのパラメータの一部分のみを選択的に更新することで、Tenyxは既存の機能を損なうことなく、新しい情報に対してモデルを効率的に訓練できます。

Arelは「モデルパラメータの5%程度しか変更せず、他はすべて同じままであれば、他の部分を歪めるリスクを冒すことなく、より積極的な訓練ができます」と述べています。このパラメータ選択的更新手法により、Tenyxは100台のGPUを使って僅か15時間でLlama-3の700億パラメータモデルを最適化するという、驚異的な高速訓練を実現しました。Tenyxはオープンソース AIへの強いコミットメントから、最適化したTenyx-70Bモデルを、オリジナルのLlama-3と同じライセンスの下でリリースすることにしました。Arelは「私たちはオープンソースモデルの熱心な支持者です。進歩が共有されれば、より多くのクールなアプリケーションが生まれ、皆のためになります」とVentureBeatに語っています。Tenyxの事後訓練最適化技術の応用範囲は広く、特定業界向けの高度に特化したチャットボットの作成から、メジャーリリース間で展開済みモデルを最新情報で頻繁に漸進的に更新することまで可能です。

Tenyxのブレークスルーの意味するところは大きく、企業や研究者に、高額で制約の多い独自製品に頼ることなく、最先端の言語モデルにアクセスできる機会を提供する可能性があります。この進展により、オープンソース コミュニティでさらなるイノベーションが促進され、他者がTenyxの成功を踏まえて取り組みを重ねていくかもしれません。

Arelは「これは業界にとってどういう意味があるのか、OpenAIのような企業にとってどういう意味があるのか、疑問が生じます」と考えています。AI競争が熾烈さを増す中、Tenyxのオープンソースモデル最適化の成果は、AI業界を再編し、企業の自然言語処理タスクへのアプローチを変革する可能性があります。

Tenyx最適化Llama-3モデルは、時折不合理または根拠のない応答をするなど、ベースモデルと同じ制約を受け継いでいます。しかし、性能の改善は顕著です。Arelは、数学と推論タスクでベースモデルの85%に対し96%近い正解率を達成したことを強調しています。  

Tenyxがオープンソース AIイノベーションの新時代の扉を開いた今、その功績がAIエコシステムにどのような影響を及ぼすかは見守る必要があります。しかし確かなことは、Tenyxがオープンソースモデルが独自製品に匹敵し、さらには上回ることができることを実証し、人工知能の分野でより手の届くところにあり、協調的な未来への道を切り開いたということです。