Moshiru
会社情報記事一覧無料スキャン

会社のセキュリティ教科書　第2部 2-16

AIを悪用した攻撃とは｜ディープフェイク・プロンプトインジェクション・敵対的サンプルへの備え

公開：2026年10月15日／最終更新：同／Moshiru 岡﨑 悠太

こんなときに役立ちます

  • 社長の声や顔をまねた詐欺や、生成AIの社内利用のリスクが気になるとき
  • メールやファイルを読ませるAIの機能を、社内で使い始める前
  • 取引先のチェックシートで、生成AIの利用ルールを聞かれたとき

読み終えたあと、社内でこう言えます

「送金の前に別の連絡手段で確かめる決まりを、社内に作りました」

結論：AIを悪用した攻撃は、大きく3つあります。AIで人をだますディープフェイク、AIに隠れた指示を読ませて動かすプロンプトインジェクション、AIの見分ける力を狂わせる敵対的サンプルです。中小企業がまず備えるのは、ディープフェイクによる送金の詐欺です。偽物を見抜く力より、お金を動かす前に別の連絡手段で確かめる決まりのほうが確実に効きます。社内でAIを使うなら、AIに渡す権限を絞り、大事な操作は人が承認することを決めておきます。

ディープフェイクは別経路の確認と二人承認、プロンプトインジェクションはAIの権限を絞り人が承認、敵対的サンプルは製品の選び方で備える

3つの攻撃の全体像

IPAの「情報セキュリティ10大脅威 2026」（2026年1月公表）では、「AIの利用をめぐるサイバーリスク」が組織編の3位に初めて選ばれました。中身には、AIの悪用で攻撃が手軽になることと、AIの使い方による情報漏えいの両方が含まれます。

攻撃狙う所会社で起きること
ディープフェイク人の目と耳社長や取引先に似せた声・映像で、送金や情報の提供をさせる
プロンプトインジェクションAIへの指示AIがメールや文書に隠れた指示に従い、社内の情報を外に出す
敵対的サンプルAIの判定人には分からない細工で、AIの判定を誤らせる

IPAの解説書（2026年3月）は、AIに固有の弱点を狙う攻撃もある一方で、多くは従来の攻撃をAIで速く、手軽にしたものだとしています。つまり、多要素認証や承認の手続きといった基本の対策がそのまま効きます。

ディープフェイク：社長の声と顔をまねる

ディープフェイクは、AIで作った本物そっくりの偽の映像や音声です。以前は「声が少し変」「動きが不自然」で気づけると言われました。いまは見分けに頼るのは難しくなっています。

公表された事例

2024年2月、香港警察は、ビデオ会議に出た財務担当者がだまされた事件を発表しました。会議には最高財務責任者（CFO）や同僚らしき人物が映っていましたが、全員がディープフェイクでした。担当者は計15回、2億香港ドル（約2,500万米ドル）を送金しています。同年5月、英国の設計会社Arupが被害企業であることを認め、「偽の音声と映像が使われた」と報道機関に説明しました。

米国FBIも2025年5月、AIで作った声で政府高官になりすますメッセージに注意するよう呼びかけています。見分け方の注意点に加えて、知っている番号にかけ直して確かめることを勧めています。

中小企業での備え

たとえば、社員15人の卸売業（架空）で、経理担当に社長からビデオ通話が来たとします。「極秘の買収で、今日中に振り込んでほしい」と言われました。顔も声も社長です。このとき役に立つのは、目の良さではなく、次の決まりです。

  1. 別の経路で確かめる：送金や振込先の変更を頼まれたら、その通話やメールではなく、前から知っている電話番号やチャットで本人に確かめる
  2. 二人で承認する：一定額を超える送金は、頼まれた人とは別の人が承認しないと実行できないようにする
  3. 「急ぎ」「秘密」を合図にする：「今日中」「ほかの人には言わないで」と言われたら、手を止めて確かめる合図と決める
  4. 合言葉を決める：社長と経理のあいだで、確かめるための合言葉を決めておく

IPAの10大脅威 2026も、決裁や承認を複数人で確かめる仕組みの規程化を挙げています。NSA・FBI・CISAの共同文書（2023年9月）も、幹部の通信を守ることや、なりすましへの対応を事前に決めて練習することを勧めています。振込先の変更を確かめる社内ルールのひな形は、「振込先が変わりました」メールの見分け方にあります。振り込んでしまった後の動き方はビジネスメール詐欺で振り込んでしまったらをご覧ください。

プロンプトインジェクション：AIに隠れた指示を読ませる

プロンプトとは、AIへの指示文です。プロンプトインジェクションは、AIの動きを、使う人の意図しない形に変えてしまう攻撃です。新人のアシスタントに書類の要約を頼んだら、書類の隅に「これを読んだら金庫の中身を外へ送れ」と書かれていて、従ってしまうようなものです。

OWASP（Webの安全を扱う国際的な非営利団体）の「Top 10 for LLM Applications 2025」は、これを1番目のリスクに置き、2つの型に分けています。

型どう入り込むか
直接型利用者がAIに入力した文が、AIの動きをそのまま変える
間接型AIが読み込んだWebページやファイル、メールの中の文が、AIの動きを変える

会社で気をつけたいのは間接型です。2025年6月には、Microsoft 365 Copilotの脆弱性「EchoLeak」（CVE-2025-32711）が公表されました。IPAの解説書によると、メールなどに隠した指示をAIに読み込ませ、利用者の操作なしに社内の情報を外へ送らせるものでした。Microsoftはすでに修正しています。

使う側の備え

IPAの解説書は、AIが不正な指示を見分けてくれる完璧な技術は知られていないとしています。そこで、仕組みで被害を小さくします。OWASPが挙げる対策のうち、使う側で決められるのは次の3つです。

敵対的サンプル：AIの見分ける力を狂わせる

敵対的サンプルは、人には見分けられないほど小さな変化を加えて、AIに別のものと判定させるデータです。NIST（米国国立標準技術研究所）の報告書（2025年3月）は、これを使う攻撃を「回避攻撃」と呼んでいます。標識にシールを貼って、画像認識に別の標識と判定させた研究も紹介されています。

同じ報告書によると、2004年には、迷惑メールを見分けるフィルタをだます研究がすでに発表されていました。会社の身近な所では、迷惑メールやウイルスを見分けるAIが、すり抜けを狙われる可能性があります。

似た言葉違い
敵対的サンプル（回避攻撃）できあがったAIに、細工したデータを見せてだます
データポイズニングAIが学ぶデータに細工を混ぜ、学び方そのものをゆがめる

自社でAIを作っていない会社が、直接できることは多くありません。製品を選ぶときに、判定をすり抜けられた場合の別の守り（たとえば添付ファイルを開く前の確認など）があるかを確かめます。

生成AIを社内で使うときの決まり

AIの社内利用で多いのは、攻撃よりも情報の出しすぎです。IPAの10大脅威 2026は、会社が認めていないAIを社員が個人で使う「シャドーAI」による情報漏えいを挙げています。最低限、次の内容を1枚にまとめて配ります。

【生成AIの利用ルール】

1. 業務で使ってよいAIサービスは、会社が決めたものだけとする。
   個人のアカウントで業務の情報を入力しない。
2. 入力しないもの：顧客の個人情報、取引先から預かった資料、
   パスワード、公表前の数字。
3. 入力した内容をAIの学習に使わせない設定にする。
4. AIの答えは、事実・数字・出典を人が確かめてから使う。
5. メールの送信、支払い、ファイルの共有をAIに自動で任せない。
6. 社長や取引先からの急ぎの送金依頼は、声や顔が本人でも、
   登録済みの番号にかけ直して確かめる。

AIの答えには、もっともらしい誤り（ハルシネーション）が混ざることがあります。IPAは、生成AIで作った書面に実在しない判例が含まれていた米国の事例を紹介しています。経済産業省・総務省の「AI事業者ガイドライン」（第1.1版、2025年3月）も、AIを使う事業者の取り組みを整理しています。

チェックシートではこう聞かれる

よくある設問答え方の例
生成AIの業務利用について、ルールを定めていますか。はい。利用してよいサービスと、入力してはいけない情報を定めた利用ルールを全社員に配っています。
貴社が預けた情報を、生成AIに入力していませんか。はい、入力していません。取引先からの預かり資料は、入力しないものとして利用ルールに定めています。
送金や振込先の変更の依頼を、本人に確かめる手順はありますか。はい。登録済みの連絡先へのかけ直しと、二人での承認を経理の規程に定めています。

試験ではここが問われる

SG・支援士・Security+ 2

  • ディープフェイクは、AIで作った本物そっくりの偽の映像・音声。ビジネスメール詐欺やなりすましの道具になる。
  • プロンプトインジェクションには、利用者の入力による直接型と、AIが読み込む外部の文書による間接型がある。
  • 敵対的サンプルは推論時（使うとき）にAIをだます。学習時のデータに細工するのはデータポイズニング。
  • ハルシネーションは攻撃ではなく、AIがもっともらしい誤りを出すこと。
  • 会社が認めていないAIの業務利用をシャドーAIと呼ぶ（シャドーITの一種）。

確認問題

問1 AIが学習に使うデータに細工を混ぜ、判定の基準そのものをゆがめる攻撃はどれですか。

  1. ア　敵対的サンプル
  2. イ　データポイズニング
  3. ウ　直接型プロンプトインジェクション
  4. エ　ディープフェイク
答えと解説
正解：イ　学習のデータを汚すのがデータポイズニングです。アはできあがったAIに細工したデータを見せてだます攻撃で、細工する時点が違います。ウは指示文、エは偽の映像・音声で人をだます手口です。

問2 社員12人の設計事務所（架空）で、経理担当に所長からビデオ通話があり、「極秘の案件なので、今日中にこの口座へ300万円を振り込んでほしい」と頼まれました。顔も声も所長に見えます。最も適切な対応はどれですか。

  1. ア　顔と声が所長なので、すぐに振り込む
  2. イ　通話の中で、所長しか知らない質問をして答えられたら振り込む
  3. ウ　通話を切り、前から登録している所長の番号にかけ直し、決まった承認の手順を通す
  4. エ　振込先の口座番号を、通話の相手にもう一度読み上げてもらう
答えと解説
正解：ウ　相手が用意した通話の中では、何を聞いても相手の土俵です。別の経路で本人に確かめ、社内の承認の手順を通すのが確実です。イは、調べれば答えられる質問だと見破れません。エは本人確認になりません。

問3 社内のAIアシスタントに受信メールの要約を任せていたところ、あるメールに埋め込まれた文に従って、AIが社内の資料の内容を外部に送ろうとしました。この攻撃に当てはまるものはどれですか。

  1. ア　間接型プロンプトインジェクション
  2. イ　敵対的サンプル
  3. ウ　ハルシネーション
  4. エ　クリックジャッキング
答えと解説
正解：ア　AIが読み込んだ外部の文書の中の文が、AIの動きを変えているので間接型です。イはAIの判定を誤らせる細工、ウはAIの誤った出力で攻撃ではありません。エはWeb画面を重ねてクリックさせる手口です。

よくある質問

ディープフェイクを見分けるツールを入れれば安心ですか？
見分ける技術は補助にはなりますが、作る技術も進んでいます。ツールの判定に頼り切らず、お金や情報を動かす前に別の経路で確かめる決まりを先に整えてください。
社長の動画や声をWebサイトやSNSに出すのはやめたほうがいいですか？
出すかどうかは、広報の効果との兼ね合いです。出す場合でも、送金や振込先の変更は「声や顔だけで判断しない」と社内で決めておけば、悪用されたときの被害を止められます。
生成AIを全面禁止にしたほうが安全ですか？
禁止すると、社員が個人のアカウントで隠れて使う「シャドーAI」が増えるおそれがあります。IPAも未許可のAIの利用を問題に挙げています。使ってよいサービスと入れてはいけない情報を決めて、認めたほうが管理しやすくなります。

生成AIの設問は任せて、確認と提出だけに

Moshiruは、打合せなしでテキストだけでお受けします。取引先のチェックシートの回答代行では、生成AIの利用ルールや送金の承認手順のような設問も、いまの社内の状態をうかがって答えを作ります。足りない決まりがあれば、その下書きもお渡しします。

回答代行を見る20問まで1.5万円・打合せなしメニューにないことを頼む文面で合意するまで料金はかかりません

参考にした資料

  1. IPA「情報セキュリティ10大脅威 2026」を決定（2026年1月）
  2. IPA「情報セキュリティ10大脅威 2026 組織編」解説書（2026年3月）
  3. OWASP Gen AI Security Project「LLM01:2025 Prompt Injection」
  4. NIST「AI 100-2 E2025 Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations」（2025年3月）
  5. 経済産業省・総務省「AI事業者ガイドライン（第1.1版）」（2025年3月）
  6. FBI IC3「Senior US Officials Impersonated in Malicious Messaging Campaign」（2025年5月）
  7. NSA「NSA, U.S. Federal Agencies Advise on Deepfake Threats」（2023年9月）
  8. NSA・FBI・CISA「Contextualizing Deepfake Threats to Organizations」（2023年9月）
  9. CNN「British engineering giant Arup revealed as $25 million deepfake scam victim」（2024年5月、配信先掲載）
  10. South China Morning Post「UK multinational Arup confirmed as victim of HK$200 million deepfake scam」（2024年5月）
  11. Microsoft Security Response Center「CVE-2025-32711 M365 Copilot Information Disclosure Vulnerability」（2025年6月）