生成AIのOpenAI、プロンプトインジェクションを自動発見するレッドチーミング専用モデル「GPT-Red」を発表

OpenAIは、AIモデルの脆弱性を自動的に発見する社内専用のレッドチーミングモデル「GPT-Red」の詳細を公開しました。プロンプトインジェクション攻撃の検出に特化しており、人間のレッドチームが担ってきた侵入テストを大規模に自動化することで、モデルやエージェント製品の弱点を広範な展開の前に発見・修正することを目的としています。

GPT-Redは、攻撃側のGPT-Redと防御側の多様なモデル群を同時に鍛える自己対戦型の強化学習で訓練されており、同社最大級のポストトレーニングに匹敵する計算資源が安全性のためだけに投じられたとしています。社内評価では、プロンプトインジェクションのシナリオで人間のレッドチームの成功率13%に対しGPT-Redは84%を記録し、思考過程に偽の記録を紛れ込ませる新種の攻撃手法も発見しました。この攻撃データを敵対的訓練に用いた結果、最新モデルのGPT-5.6は、直近の主力モデルと比べて最難関ベンチマークでの失敗が6分の1に減少したとしています。

ブラウザや外部アプリ、ファイルと連携するAIエージェントの普及に伴い、ウェブページやメールに埋め込まれた悪意ある指示がエージェントを乗っ取るプロンプトインジェクションは、業界共通の最重要課題となっています。OpenAIは悪用を防ぐためGPT-Redを一般公開せず、社内の防御強化に限定して活用する方針で、人間や第三者によるレッドチーミングとも併用するとしています。AIの安全性をAI自身で強化する「自己改善」のアプローチとして、各社の安全性投資競争を加速させそうです。

OpenAIについて
OpenAIとは、2015年に設立された米国サンフランシスコ本社のAI企業です。Sam Altman氏らが創業し、対話型AI「ChatGPT」や大規模言語モデル「GPT」シリーズを開発しています。直近では新モデル「GPT-5.6」や業務エージェント「ChatGPT Work」を発表し、ハードウェアを含む事業領域の拡大を進めています。最先端の研究成果を大規模なサービスへ素早く展開する力が独自の強みです。同社はAGI(汎用人工知能)が全人類に利益をもたらすことをミッションに掲げています。