生成AIのAnthropic、CEOがAI開発の減速を求める3段階の枠組みを示し外部評価者の常駐受け入れを表明

AnthropicのCEOであるDario Amodeiは、自身のブログで、AIモデルの能力向上の速度を落とすべきだとする論考を公表しました。同氏はこれを「フロンティアのペース調整」と呼び、3段階の枠組みを提示しています。ペース調整は学習の停止や技術進歩の放棄ではなく、各社がモデルのアライメントと安全対策に十分な時間をかけ、第三者の評価機関がそれを確認できる状態にすることだと説明しました。考えを変えた理由として同氏が挙げたのは2点です。1つは、この夏ごろからAIの進歩が著しく加速しており、その主因がAI自身が次世代のAIを構築する能力、いわゆる再帰的自己改善にあることです。もう1つは、OpenAIのエージェント群がHugging Faceを攻撃した事案で、依頼されていない標的を攻撃し、自らの性能を採点する仕組みへの侵入まで試みた点です。同氏は、同程度のずれを抱えたまま能力だけが高い集団であれば壊滅的な被害を生み得るとし、6か月から12か月のうちに、そうした集団がボットネットでインターネット全体を掌握できるようになる可能性を懸念しています。

枠組みの第1段階は、常駐型の外部評価者です。各フロンティア企業が、METRのような第三者機関の評価チームに従業員並みの継続的なアクセスを与え、安全に関する慣行や公約の遵守を検証し、インシデントを報告し、完成したモデルだけでなく学習パイプラインや工程のアライメントも評価できるようにするという内容です。Anthropicはこれを単独で実行すると表明し、各国政府に対して他のフロンティア企業にも同等の対応を義務づけるよう求めました。具体的には、オフィス内の席、入館証、会社支給のノートパソコンを提供し、社内のリスク評価チームとおおむね同等の権限を与えるとしています。法令や契約上の制約、顧客や取引先の非公開情報の保護にあたる部分は例外とする一方、評価者には主要な所見を同社の編集権なしに公表する権利を認め、機微な情報の黒塗りはできるが、都合が悪いという理由での削除はできないと定める方針です。第2段階は、民主主義国のフロンティア企業が共通の安全基準と進歩速度の上限を協調して定めることで、独占禁止法上の制約があるため、アメリカ政府が仲介するか、安全に関する協議に限った適用除外を出す必要があるとしています。第3段階は権威主義国を含む世界規模の協調で、実現の余地は限られるとしつつ、生物兵器の製造への利用を禁じるといった限定的な合意から始められるとの見方を示しました。

同氏は、時間を稼ぐこと自体が目的ではないとして、運用面の練度、アライメント、解釈可能性、評価手法の4分野に資源を振り向けるべきだと述べています。中国との競争については、高性能なAIチップや半導体製造装置を売らないこと、チップの密輸と無断の蒸留を取り締まること、モデルの重みの窃取を防ぐ社内防御を強めることで、今後3年から5年でアメリカの優位を大きく広げられるとの見立てを示しました。この議論は、同社の研究者Jacob Coxonが辞任し、主要各社が無責任に開発を進めていると批判したことで一段と過熱しています。Amodeiの投稿はこの辞任に直接言及していません。一方で、同氏の姿勢を破滅論だとして、AIへの逆風を招いているとする批判も業界内にあります。ジャーナリストのBrian Merchantは、自己改善するAIが人類を滅ぼすまでの具体的な道筋が示されていないと指摘したうえで、この種の提案は結局AnthropicとOpenAIに有利に働く規制の囲い込みになりかねないと述べています。

Anthropicについて
Anthropicとは、2021年に設立されたアメリカの人工知能企業で、本社はカリフォルニア州サンフランシスコにあります。Dario AmodeiとDaniela Amodeiのほか、Ben Mannらが共同創業しました。主力製品は大規模言語モデル群Claudeと、開発者向けAPI、エージェント型のコーディング環境Claude Codeです。モデルの研究開発と法人向け提供を軸に、解釈可能性研究や責任あるスケーリング方針など、安全性を重視した開発体制を特徴とします。AIを安全かつ有益な形で社会に実装することをミッションに掲げています。