ActiveFenceのThreat Intelligenceが、Generative AIの新しい攻撃ベクトルを調査

ActiveFenceの新レポートは、あらゆる規模のオンラインプラットフォームで、児童性的虐待、偽情報、詐欺、過激派コンテンツの作成にGenerative AIが悪用されている実態を明らかにしました。オンラインプラットフォームとそのユーザーを悪意のある行動や有害なコンテンツから保護することを使命とするActiveFenceは、「Generative AI: The New Attack Vector for Platforms」レポートを発表しました。本調査を通じて、ActiveFenceは隠れたコミュニティを調査し、脅威行為者がどのようにGenerative AIを悪用して児童性虐待資料（CSAM）、偽情報、詐欺、過激主義を実行しているかを検証しました。

ActiveFenceのCEO兼創設者であるNoam Schwartzは、次のように述べています。「Generative AIの爆発的な普及は、インターネットの隅々にまで広範囲な影響を及ぼしています。私たちは、懸念される3つの主要な分野を特定しました。第一に、脅威の主体がその活動を加速・増幅できるようになり、悪意のあるコンテンツの前例のない大量生産に至っていることがわかります。第二に、これらの脅威者は、Generative AIを悪用する方法を模索しており、これらのモデルを操作し、その固有の脆弱性を明らかにしています。最後に、これらの進化する脅威は、データトレーニングプロトコルの精度と効率を向上させるために、デジタルプラットフォームへの圧力を高めています。」

報告書は、Generative AIが悪用されているいくつかの主要な方法を特定しました：
・視覚的な画像からエロティックな物語に至るまで、児童性的虐待の素材を作成すること
・何百万人もの人を騙している、AIが生成した詐欺画像の生成
・過激派を喧伝するディープフェイクオーディオファイルの作成

ActiveFenceは、今年の第1四半期にGenerative AIによって生成された共有CSAMの量が172%増加したことを追跡しています。また、ダークウェブにある閉鎖的な児童捕食者フォーラムの管理者が、約3,000人の捕食者を対象に行った、Generative AIの使用に関する世論調査を検出しました。この世論調査では、回答者の78％が児童性虐待資料（CSAM）にGenerative AIを使用している、または使用する予定があること、残りの22％がこの技術を試す予定があると回答したことが明らかになりました。これらのプレデターフォーラムでは、Generative AIのアルゴリズムを活用して、性的な画像だけでなく、テキストによる説明、ストーリー、物語を生成しています。

ActiveFenceが観察したある事例では、2人の未成年者が登場するエロティックな物語を書くよう求められたとき、大手Generative AIプラットフォームは、その要求を「不適切であり、違法となる可能性がある」として拒否しました。しかし、同じ質問をほんの少し言葉を変えて行ったところ、アルゴリズムはエロティックな物語を作成し、成人男性が不適切に2人の少年が泳いでいるのを見ている様子を描写しました。児童捕食者は、Generative AIを使用して、自分の作品のチュートリアルを作成することもあります。これは、児童捕食者のコミュニティ内で信用を得たり、他の人に自分の取り組みを複製するように促したり、プラットフォームの安全装置を回避するために推奨フレーズやキーワードを共有するのに役立ちます。このようなプラットフォームの制限を回避するために、ActiveFenceは、児童捕食者が異なる言語で要求を行い、代替的で示唆的な用語を使用し、さまざまなプロンプト、入力、専用モデルでAIアルゴリズムを操作していることを検出しました。詐欺や偽情報は新しい概念ではありませんが、Generative AIによって、脅威行為者はより迅速かつ正確に、より高いリーチで詐欺画像を作成できるようになりました。

ActiveFenceがTelegramで検出したAI生成画像の1つは、ロシアのプーチン大統領が中国の習近平国家主席の前にひざまずき、ウクライナ紛争への支援を懇願している様子を偽っています。ActiveFenceは、この画像について、不明瞭な顔、ぼやけた手、歪んだ家具、撮影の帰属の欠如など、いくつかの主要な生成的AI記号を特定しました。これらの指標にもかかわらず、この誤解を招くようなコンテンツは1,000万人のユーザーにリーチしています。

ActiveFenceは、Generative AIチャットボットを悪意のある目的のために操作する方法を示すために、主要なGenerative AIプラットフォームのいくつかのポリシーを無効にするために使用される方法を検出しました。あるケースでは、悪用者はGenerative AIのフィッシングメールを作成することができ、別のケースでは、ボットに、大手オンライン市場で広く利用されているアプリの不正なポジティブレビューを書くように促すことに成功しました。この例はポジティブなものでしたが、悪意を持って使用された場合、この戦術はプラットフォームのユーザーを誤解させるだけでなく、オンライン活動のための安全な場所としてのプラットフォームの信頼性を損なう可能性もあります。

続いてActiveFenceは、脅威行為者が生成AIを悪用して、暴力を煽り、過激派のプロパガンダを促進する超リアルで有害なコンテンツを作成している事例を多数検出しました。これらの脅威行為者は、人種差別主義者、民族主義者、または過激派のマニフェストやスピーチを作成するために生成的なAIを使用しています。

また、政治的・経済的苦境の拡大を利用したAI生成のディープフェイク・オーディオ・ファイルを発見しました。この捏造音声は、英国の有名な記者を誤って模倣し、英国政府への反乱を煽っていました。誤解を招くマニフェストには、地下市場から武器を調達する指示が記載され、英国の国家インフラを攻撃するよう促していました。

ActiveFenceは、そのテクノロジーと分析能力によってこれらの発見をしました。この分析能力は、オンライン上の被害に関する正確で詳細な、状況に応じた実行可能な洞察を組織に提供し、ポリシーギャップの解消、執行の改善、安全の向上を支援します。100以上の言語に精通するアクティブフェンスは、児童性的虐待、偽情報、ヘイトスピーチ、テロリズム、暴力的過激主義、詐欺などに関与する脅威行為者のコミュニティに対して、クリアウェブやダークウェブで広範囲にアクセスすることができます。

ActiveFenceについて
ActiveFenceは、オンラインプラットフォームとそのユーザーを悪意のある行動やコンテンツから保護する、Trust and Safetyインテリジェンスとマネジメントのリーディングソリューションです。子どもの安全や搾取、偽情報、ヘイトスピーチ、テロ、ヌード、詐欺など、幅広いオンライン被害、不要なコンテンツ、悪意のある行動からユーザーを守るために、あらゆる規模のTrust and SafetyチームがActiveFenceを利用しています。私たちは、ディープインテリジェンスリサーチ、AIによる有害コンテンツ検出、コンテンツモデレーションプラットフォームで、フルスタックの機能を提供しています。100の言語で毎日30億人以上のユーザーを保護しているActiveFenceは、人々がオンラインで交流し、繁栄することを可能にします。CRVやNorwestといったシリコンバレーを代表する投資家に支えられ、ActiveFenceはこれまでに1億ドルを調達しており、世界中で300人以上の従業員を抱えています。