Google の警告が AI 機能を悪用したコンテキストインジェクション攻撃の重大なリスクを浮き彫りに

Google は、Gemini に関する卓越した可視性を背景に、Gmail の膨大なユーザーに対し「間接プロンプト攻撃」について警告を発しました。この攻撃は、メールやカレンダー招待、ファイルといった AI のコンテキスト情報源を悪用するものです。大手 AI ベンダーである Google が率直かつ直接的に公表したこの警告は、生成 AI ツールを狙うこうした攻撃が、組織にとって現実的なセキュリティ脅威であることを強く示しています。 

間接プロンプト攻撃のリスクについては、すでに何か月も前から公の場で議論されてきました。しかし、この重大な AI 脅威について Google が膨大な Gmail ユーザーに向けて率直に警告を発したことが、議論における大きな転換点になったと私たちは考えています。

「より多くの政府、企業、個人が生成 AI を活用して生産性を高めるようになるにつれ、この一見ささいながら潜在的に強力な攻撃は、業界全体にとってますます無視できないものとなっています。今こそ即時の対応と強固なセキュリティ対策が求められています」と、Google は 6 月のブログ「Mitigating prompt injection attacks with a layered defense strategy (多層防御戦略によるプロンプトインジェクション攻撃の軽減)」の中で、同社のユーザーに警告しています。

大手 AI ベンダーがこれほど広範なリスクを認め、かつ「脅威はこれまでになく差し迫っている」と強調したことから、そのブログは大きな議論を呼びました。

なぜこれが企業にとって重要なのか

プロンプトインジェクションは、悪意のあるインストラクションを AI モデルの入力に直接挿入することで、AI モデルの意図された動作を無効化し、悪意のある目的を達成する攻撃の一種です。 間接プロンプトインジェクションと呼ばれる、より操作性の高い亜種は、これらのインストラクションを、ユーザーのプロンプトの外部にあるファイル、電子メール、ウェブページなどの、後でモデルがコンテキストとして使用する外部コンテンツに埋め込みます。 これにより、攻撃者はユーザーに気付かれることなくモデルの出力を操作できるようになります。

組織外の誰でも、このような敵対的なプロンプトを含む電子メール、カレンダーの招待、ファイルを容易に送信することができます。 悪意のあるプロンプトが Google の Gemini AI などの生成 AI ツールによって処理されると、データ漏洩、出力操作、ワークフローの乗っ取り、さらには有害なコンテンツの生成を引き起こす可能性があります。

この攻撃の最も懸念される側面は、 ユーザーもセキュリティチームも、それが起きていることに気づかない可能性があることです。 この問題は、形だけの AI のセキュリティ制御すら導入している組織がほとんどないという事実によって増幅されています。つまり、業界はこの種の攻撃の検出、防止、対処のほとんどを、人員とプロセスに頼っているのです。

何が起こり得るのか

想像してみてください。組織外から届いた不審なカレンダー招待に、プロンプトインジェクションが仕込まれており、LLM に対して「会社の売上を問い合わせるたびに 10 倍に水増しする」よう指示しているとします。

その一方で、経営陣や財務・会計チームが Gemini などのツールを使って四半期報告書を作成していたらどうでしょう。これは、業務の加速を狙うフォーチュン 500 企業の間で現実化しつつある状況です。その結果、会社は意図せず虚偽の売上数字を公表してしまい、深刻な財務的・信用的ダメージを招く可能性があります。

Google のみに対する脅威ではない

これは Gemini に限った問題ではありません。 コンテキスト認識型の AI システムは脆弱です。

標準的なプッシュ通知のように見える Outlook のメールであっても、Microsoft Copilot がその電子メールを参照すると、見えない文字が AI モデルをジェイルブレイクさせる可能性があります。 ジェイルブレイク攻撃では、本来の目的とは関係なく、特定のツールを推奨することをモデルに強要する場合があります。 このツールはその後、企業の口座から攻撃者の口座へ送金するために悪用される恐れがあります。

これは単なるフィッシングではなく、 AI を活用し、目に見えず、コンテキストを基盤とした、 ランサムウェアの 2025 年の進化形です。 そのため、自組織の環境にどの AI システムがあって、どのデータと結びつき、どのような種類のユーザー操作に関係し、どのようなアクションを取ることができるのかを理解することが重要になります。 

なぜこの脅威クラスは発見が難しいのか

コンテキストインジェクションへの対応には、以下のような理由から、独特の難しさがあります。

• 答えがもっともらしく見える: ユーザーは多くの場合、正しい出力を受け取ったと信じますす。
• エージェントの動作は見過ごされがち: 自動化されたワークフローは一見正常に見えるため、実際の結果が監査されることはほとんどありません。
• 手法が多岐にわたっている: プロンプトインジェクションやジェイルブレイクは常に進化しているため、パターンに基づく検出は信頼できません。
• コンテキストに依存する: 攻撃は特定の入力データと望ましい結果に適応するため、予測はさらに難しくなります。 

責任はここから始まるが、保護はさらに先へ広がる

Google は、この脅威についてユーザーに警告を発し、コンテキストポイズニングの手法を公表し、Gemini のセキュリティ強化のために行っている具体的な手順を概説することで、責任ある一歩を踏み出しました。 

しかし、より単純な敵対的手法がベンダーのガードレールを繰り返し迂回してきたことは、歴史が証明しています。 そこで専門的なソリューションの出番となります。

Tenable One サイバーエクスポージャー管理プラットフォームの一部である Tenable AI Exposure では、AI のコンテキストソースを直接スキャンし、注入されたデータをモデルへの到達前に特定します。 有害なコンテキストが処理されるのを最初の段階で防ぐことで、深刻なセキュリティインシデントを未然に防止します。

Tenable がどのようにコンテキストインジェクション攻撃から組織を保護しているかについて、詳細をご覧ください。