大規模言語モデルのAnthropic、Claude Sonnet 4モデルに100万トークンのコンテキストウィンドウを実装

Anthropicは、同社のフラッグシップモデルClaude Opus 4に次ぐ主力モデルであるClaude Sonnet 4が、100万トークンのコンテキストウィンドウをサポートすることを発表しました。この長大なコンテキストサポートは現在パブリックベータ版として、Anthropic APIとAmazon Bedrockで利用可能で、GoogleのVertex AIでのサポートも近日中に開始される予定です。100万トークンは約75万語に相当し、開発者が検索拡張生成（RAG）のような複雑な技術に頼ることなく、モデルが大量のデータに対して推論を行うことを可能にします。Anthropicが5月に最新世代のモデルを発表した際、Sonnet 4とOpus 4の両方は20万トークンのコンテキストウィンドウに制限されていました。これは多くのユースケースには十分ですが、例えばGoogleは2024年初頭にGeminiモデルで100万トークンのコンテキストウィンドウを提供し、近い将来200万トークンのコンテキストウィンドウを広く利用可能にすることを約束していました。OpenAIも今年初めにGPT-4.1の発表で100万トークンのコンテキストウィンドウをサポートしましたが、GPT-5では再び40万トークンに減少しました。

Opus 4が同様のアップグレードを受けるかどうか、またその時期については発表されていません。Anthropicが今回の発表で述べているように、長大なコンテキストにより、モデルはより多くのコードベースを評価したり、より大規模な文書セットを統合したり、数百回のツール呼び出し後もコンテキストを維持できるAIエージェントを構築したりすることが可能になります。特にコーディングは、Claudeが長年優れた性能を発揮してきた分野です。ただし、これには価格面でのコストが伴います。従来の20万トークンの制限を超えるプロンプトは、100万入力トークンあたりのコストが2倍（3ドルから6ドル）になり、100万出力トークンあたりでは50％増加します。Anthropicは、プロンプトキャッシングがコストと遅延の削減に役立つことを指摘し、バッチ処理モードも50％のコスト削減に貢献できることを強調しています。

これらの極めて大きなコンテキストウィンドウで大規模言語モデルがどの程度うまく機能するかについては、議論があることも注目に値します。多くの場合、ベンチマークとして使用されるのは、モデルにコンテキストウィンドウ内の特定のデータを見つけるよう求める「干し草の中の針」テストで、現在ほとんどのモデルはこのテストで良好な性能を示しています。しかし、一部の研究者が指摘しているように、これは必ずしも開発者が実際にこれらのコンテキストウィンドウを使用する方法ではありません。実際、モデルはセッションの長さとそれに伴うコンテキストサイズが拡大するにつれて、一貫性を保つのに苦労することがよくあります。このため、コンテキストウィンドウのサイズが増加しても、コンテキストエンジニアリングは当面なくならないでしょう。

Anthropicについて
Anthropicは、安全で有益なAIシステムの開発に特化したAI安全性企業です。同社は、Claude シリーズの大規模言語モデルを開発しており、特に長文理解、コーディング支援、複雑な推論タスクにおいて高い評価を得ています。元OpenAIの研究者らによって設立され、Constitutional AI（憲法AI）という独自のアプローチでAIの安全性と有用性の両立を目指しています。