なぜAnthropicとOpenAIはLLMモデルの重みを厳重に保護することに注力しているのか

Anthropicの最高情報セキュリティ責任者（CISO）であり、CEOのDario Amodeiへの直属の上位3人のリーダーの一人であるJason Clinton氏は、重要な任務に取り組んでいます。彼はGoogleやAmazonが支援するこのスタートアップ企業で、データセキュリティから物理的セキュリティまで様々な課題に取り組む小規模なチームを監督しています。同社は、大規模言語モデルClaudeとClaude 2で知られ、GoogleやAmazonを含む投資家から70億ドル以上を調達していますが、従業員は約300人です。

Clinton氏にとって最も時間と労力を要するのは、Claudeのモデルの重み（テラバイトサイズの大規模なファイルに保存されている）を間違った手に渡らないよう保護することです。深層ニューラルネットワークの機械学習では、ノード間の接続に関連付けられた数値であるモデルの重みが重要であり、ネットワークが「学習」し予測を行うメカニズムです。訓練後の重みの最終値がモデルの性能を決定します。

非営利の政策シンクタンクであるRand Corporationの新しい研究報告書によると、モデルの重みはLLMの保護が必要な唯一のコンポーネントではありませんが、特に重要です。悪意のあるアクターが重みを取得すれば、訓練のごく一部のコストで完全なモデルを使用できる可能性があります。

Clinton氏は「CISOとしての私の時間のほぼ半分を、その一つのファイルを保護することに費やしています」と述べています。「これは組織で最も注目され、優先されていることであり、最も多くのセキュリティリソースを投入しています。」

モデルの重みが悪意のあるアクターの手に渡ることへの懸念
Clinton氏は、Googleで11年間勤務した後、9ヶ月前にAnthropicに加わりました。彼は、同社がモデルの重みを保護することに注力しているのは、それが高価値の知的財産と見なされているためだと考える人もいるかもしれないが、Anthropicは技術の拡散防止にもっと関心があると強調しています。悪用されれば「悪影響を及ぼす」可能性があるからです。

最先端のLLMの重みにアクセスすることができる犯罪者やテロリスト集団、高リソースの国家運営などの脅威について、Clinton氏は「攻撃者がファイル全体にアクセスすれば、それはニューラルネットワーク全体になる」と説明しています。

Clinton氏だけでなく、基盤モデルの重みへのアクセスに深い懸念を抱く人は多いです。実際、最近のホワイトハウスの行政命令には、「安全で、安全で、信頼できる人工知能の開発と使用」に関して、基盤モデル会社に対し、「二重使用基盤モデルのモデルの重みの所有権と保有状況に関する文書」提出が要求されています。

基盤モデルの一つであるOpenAIは、2023年10月のブログ投稿で、「サイバーセキュリティとインサイダー脅威対策への投資を続けており、独自の未公開モデルの重みを保護しています」と述べています。また、「OpenAIと技術パートナーであるMicrosoft以外でそのようなモデルの重みを配布せず、最も強力なモデルへの第三者アクセスをAPIを通じて提供しており、モデルの重み、ソースコード、その他の機密情報が管理されたままである」と付け加えています。

RandのSella Nevo上級情報科学者とAI研究者のDan Lahavは、「人工知能モデルの重みの保護」というRandの新しい報告書の共著者の二人です。Nevo氏はインタビューで、「現在のモデルができることではなく、これから来ることが最大の懸念だ」と強調しました。彼は、「2年以内にこれらのモデルが重要な国家安全保障の意味を持つと思われる」と述べています。例えば、悪意のあるアクターがこれらのモデルを生物兵器の開発に悪用する可能性があります。報告書の目的の一つは、モデルの重みを盗もうとするアクターが展開できる関連する攻撃手法を理解することでした。これには、システムへの不正な物理アクセスから、既存の資格情報の妥協、サプライチェーン攻撃までが含まれます。「これらのいくつかは情報セキュリティの定番であり、一部は特にAIの重みを盗もうとする文脈でユニークかもしれません」とLahav氏は述べています。最終的に報告書は40の「意味のある区別が可能な」攻撃ベクトルを特定し、それらが理論的ではないことを強調しています。報告書によると、「これらの攻撃ベクトルは積極的に実行されており（場合によっては広範囲に展開されており）、実証的な証拠があります」とのことです。