AI開発のOpenAI、研究用モデルの隔離環境を多層防御で強化

OpenAIは、最先端AIモデルの訓練・評価環境における隔離対策を公表しました。意図的なセキュリティ試験で、AIエージェントが脆弱性を組み合わせ、軽量仮想マシンの境界を越える経路を発見したと説明しています。

試験は研究基盤の隔離された複製で実施され、エージェントにはソースコードや設定情報などが提供されました。一般利用者向け製品で自発的な逸脱が起きたという報告ではありません。

OpenAIは、ソフトウェア修正、ネットワーク制限、監視を組み合わせて対策しました。最先端モデルの強化学習ではオフラインのウェブ環境を使用しています。今後も弱点が見つかり得るとして、継続的な検証を進める方針です。

OpenAIについて
OpenAIとは、2015年に設立された米国のAI研究・開発企業です。サンフランシスコを拠点とし、Sam AltmanやGreg Brockmanらが創業に携わりました。対話型AIのChatGPTや開発支援のCodex、企業・開発者向けAPIを提供しています。汎用人工知能が人類全体に利益をもたらすことを使命としています。非営利のOpenAI Foundationが、公益目的会社（PBC）であるOpenAI Groupを統治する構成です。