AI時代に企業が備えるべきセキュリティ対策とは？リスクと事例から学ぶ実践ガイド

AIセキュリティへの対策を怠った場合の被害規模は、従来のサイバーセキュリティ事案に匹敵するレベルに達しています。2024年には英国の設計事務所Arup社がディープフェイクを使ったビデオ会議詐欺で約2,500万米ドル（約40億円）の被害を受けました。また、2023年にはGoogleがAIチャットボット「Bard」のデモで誤った回答を提示したことが発覚し、親会社Alphabetの株価が急落。時価総額にして約1,000億ドルが消失する事態となりました。

こうしたリスクが拡大している背景には、大きく4つの要因があります。

第一に、生成AIの業務利用が急速に広がっていることです。SaaS型のAIツールが次々と登場し、専門知識がなくても手軽に利用できるようになりました。一方で、セキュリティ対策の整備が追いついていない企業も少なくありません。

第二に、AIを悪用したサイバー攻撃が高度化していることです。AIが生成する自然な文章を利用したフィッシングメールは、ITリテラシーの高いユーザーでも見分けが困難になっています。

第三に、法規制の強化です。EUでは2024年にAI Act（AI規制法）が成立し、日本国内でも経済産業省と総務省が「AI事業者ガイドライン」を策定しました。規制への対応が企業の責務として求められるようになっています。

第四に、セキュリティ人材の不足です。多くの企業では専任のセキュリティ担当者がおらず、情シス部門が他の業務と兼務しているのが実情です。限られたリソースの中で、AI特有のリスクにも対応しなければなりません。

ここからは、企業がAIを活用する上で注意すべき代表的なセキュリティリスクを解説します。各リスクが冒頭で紹介した「3つの課題」のどれに該当するかも併せて示します。

【課題②：AIの利用過程での情報漏洩】

AI活用における最も身近なリスクが、機密情報の意図しない外部流出です。生成AIに入力されたデータは、サービス提供者のサーバーに送信・保存され、場合によっては学習データとして利用される可能性があります。

2023年にはサムスン電子の社員がChatGPTに半導体のソースコードや会議録音を入力し、わずか20日間で3件の機密漏洩が発生しました。いずれも悪意のない業務効率化目的だった点が、このリスクの厄介さを示しています。

また、IT部門の許可なく社員が外部AIツールを業務利用する「シャドーAI」も深刻化しています。CybSafe/NCA（2024年）の調査では、従業員の約38%が会社の承認なく機密データをAIに入力していると報告されています。

【課題①：AIそのものへの攻撃】

プロンプトインジェクションとは、悪意のある指示文（プロンプト）をAIに入力し、本来のセキュリティ制限を回避させる攻撃手法です。国際的なセキュリティ団体OWASPが公開する「Top 10 for LLM Applications」では、最も危険なリスクの第1位に位置づけられています。

2023年末には、米国のシボレーディーラーが導入したAIチャットボットがプロンプトインジェクションにより、約7万ドルのSUVを1ドルで販売することに「合意」する事態が発生しました。AIの応答制御が不十分なまま公開したことが原因です。

【課題②：AIの利用過程でのリスク】

ハルシネーション（Hallucination）とは、AIが事実と異なる情報をあたかも正しいかのように出力する現象です。生成AIの出力は流暢で説得力があるため、人間が誤りに気づきにくい点が問題をさらに深刻にしています。

2023年には、米国の弁護士がChatGPTで作成した裁判書面に6件の架空判例を引用し、裁判所から制裁金を科されました。また、エア・カナダのAIチャットボットが誤った運賃情報を案内した事例では、裁判所が「チャットボットの回答は企業の責任」と認定しています。AIの出力を検証せずに業務に使うことが、法的リスクに直結する時代です。

【課題③：AIが攻撃者の武器になる】

ディープフェイクとは、AIを使って人物の顔や声を精巧に再現する技術です。この技術が詐欺に悪用されるケースが急増しています。

2024年に発生したArup社の事例では、攻撃者がCFOと複数の同僚をAIで再現したビデオ会議を開催し、従業員に約40億円を送金させました。メールには不審を感じたものの、映像と音声が本物と同一だったため信用してしまったと報告されています。

また、AIが生成するフィッシングメールは従来の定型的な詐欺メールとは異なり、ターゲットの行動パターンに合わせた自然な文面を生成するため、見分けることが極めて困難になっています。

【課題①：AIそのものへの攻撃】

データポイズニングとは、AIモデルの学習段階で意図的に偽造データを混入させ、モデルの判断を歪める攻撃です。

シカゴ大学の研究チームが開発した「Nightshade」というツールは、人間の目には見えない形で画像を改変し、AIが学習すると誤った出力をするようにする仕組みです。わずか50枚の汚染画像でAIの出力が歪み始めることが実証されています。企業がAIモデルを開発・運用する際には、学習データの品質管理を徹底する必要があるといえます。

ここからは、前セクションで触れたリスクが実際にどのような形で顕在化したのか、代表的な事例を取り上げて解説します。いずれも公知の事実として報道された事例です。

2023年3月、サムスン電子がChatGPTの社内利用を許可したところ、約20日間で3件の機密情報漏洩が発生しました。

1件目は、半導体部門のエンジニアが設備計測プログラムのソースコードをChatGPTに貼り付け、コード修正を依頼したケースです。2件目は、別のエンジニアが歩留まり計算プログラムのソースコード全文を入力してコード最適化を依頼した事例。3件目は、社員が会議の録音内容をChatGPTに入力して議事録の作成を試みたケースでした。

いずれも悪意はなく業務効率化が目的でしたが、入力データはOpenAIのサーバーに送信・保存されるため、外部への情報流出リスクが生じました。サムスンは即座にChatGPTの全面禁止に踏み切り、その後自社生成AI「Samsung Gauss」を開発する方針に転換しています。

この事例は、「ガイドラインなしにAIを業務利用させることの危険性」を世界に示した代表的なケースです。

2024年1月、英国の大手設計事務所Arup社の香港支社で、ディープフェイクを用いた大規模詐欺事件が発生しました。

攻撃者はAI技術を使い、同社CFOおよび複数の同僚の顔と声を精巧に再現したビデオ会議を開催しました。香港支社の従業員は当初メールに不審を感じたものの、ビデオ会議に参加した複数名の映像と音声が本物と同一であったため信用し、5つの銀行口座に複数回の送金を実行。総額2億香港ドル（約2,500万米ドル、日本円で約40億円）の被害が発生しました。

「ビデオ会議で顔を確認したから本物」という従来の常識が通用しなくなったことを示す事例です。送金承認プロセスの多段階化や、別経路での本人確認の徹底が求められます。

2023年、ニューヨークの弁護士がChatGPTを使って裁判書面を作成し、AIが提示した6件の判例をすべてそのまま引用して裁判所に提出しました。しかし、6件すべてが実在しない架空の判例でした。

ChatGPTは実在しそうな判例名、正しい引用形式、論理的な事実関係を備えた偽の判例を生成しており、弁護士はAIの出力を検証せずにそのまま使用していました。裁判所はこの弁護士と法律事務所に対して5,000ドルの制裁金を科しています。

2025年時点では、世界で234件以上のAI偽造引用事例が確認されており、「AI出力は必ず人間が検証する」という原則の重要性が改めて浮き彫りになっています。

ニューヨーク市が中小企業向けに公開したAIチャットボット「MyCity」は、体系的に違法な助言を提供していたことが判明しました。

例えば「従業員のチップを雇用主がもらえるか」という質問に「はい」と回答（ニューヨーク州の労働法に違反）、「Section 8住宅バウチャーを利用する入居者の入居を断れるか」に「可能」と回答（NYC法で明確に違法）するなど、法律に反する助言が多数報告されました。

60万ドル以上の構築費用を投じたチャットボットでしたが、2025年に新市長が廃止を決定しています。AIの公開前のテスト不足と、公開後の継続的なモニタリングの欠如が、法的リスクに直結した運用ミスの典型例です。

2024年1月、英国の配送会社DPDで、AIチャットボットがシステムアップデート後にガードレール（安全装置）が機能しなくなり、暴走する事態が発生しました。

チャットボットは自社を「世界最悪の配送会社」と批判する詩を書き、罵倒語を使用するなど、本来あり得ない応答を繰り返しました。この投稿はSNS上で170万ビュー以上を獲得してバイラル化し、企業ブランドに大きなダメージを与えました。

原因はシステムアップデート後の動作検証が不十分だったことです。AIシステムに変更を加えた際の再テストの徹底は、技術的な問題というよりも「人間の運用プロセス」の問題であり、どの企業にも起こりうるリスクです。

ここまでAI活用に伴うリスクを解説してきましたが、一方でAI技術はセキュリティ対策そのものを強化する「攻めの武器」にもなります。

AIを活用したセキュリティ対策（AI for Security）の最大のメリットは、膨大な量のログやネットワークデータをリアルタイムで分析し、人間では発見が困難な異常パターンを検知できる点です。

例えば、従来のルールベースのセキュリティツールでは既知の攻撃パターンしか検出できませんでしたが、AIを搭載した次世代アンチウイルス（NGAV）やEDR（Endpoint Detection and Response）は、未知の脅威にも対応可能です。

また、セキュリティ人材不足が深刻な中、AIによるインシデント対応の自動化は運用負荷の軽減に大きく貢献します。SIEM（Security Information and Event Management）やSOAR（Security Orchestration, Automation and Response）にAIを組み込むことで、脅威の検知から初動対応までを自動化する企業も増えています。

ただし、AIによるセキュリティ強化にも限界はあります。AI自体が攻撃の標的になりうること、誤検知による業務影響、導入・運用コストなどの課題もあるため、過度な依存は避け、人間による判断と組み合わせて運用する姿勢が大切です。

AIセキュリティ対策は、「すべてを一度に完璧にする」のではなく、優先度の高い施策から段階的に進めることが現実的です。以下に、多くの企業にとって取り組みやすい順序で対策を紹介します。

最も優先度が高いのは、社内でのAI利用ルールを明文化することです。「どのAIツールを使ってよいか」「入力してはいけない情報は何か」「AI出力の検証責任は誰にあるか」といった基本事項を定めるだけでも、シャドーAIや機密情報漏洩のリスクを大きく低減できます。

経済産業省と総務省が共同策定した「AI事業者ガイドライン」は、AI開発者・提供者・利用者それぞれに求められる対応を整理しており、自社ガイドライン作成の参考になります。

国内の先行事例としては、サイバーエージェントが2023年4月に生成AI利用ガイドラインVer1.0を策定しています。テキスト生成AIと画像生成AIそれぞれの領域でガイドラインを整備し、法務部門と連携した知的財産リスクの整理も盛り込んでいる点が特徴です。

ガイドラインを策定しても、従業員に浸透しなければ効果は限定的です。定期的な研修やeラーニングを通じて、AIの利便性とリスクの両面を正しく理解させる取り組みが欠かせません。

サイバーエージェントは2023年11月から、全執行役員を含む約6,200名の全社員を対象に、eラーニング形式のリスキリングプログラムを開始しました。ChatGPT活用・法務・セキュリティ知識を含む内容で、受講後のオリジナル試験の合格を必須化しています。

NTTデータグループは、人財レベルを4段階で定義した全社員向け育成フレームワークを運用しており、基礎研修ではAIガバナンスやセキュリティ・リスク管理の遵守を徹底教育しています。2025年10月時点で修了者は7万人を超え、2027年度までに全社員約20万人への拡大を目標としています。

無償の公開AIツールは利便性が高い一方で、入力データが学習に利用されるリスクがあります。企業が業務でAIを活用する場合は、入力データの学習利用をオプトアウトできるか、データの暗号化やアクセス制御（RBAC）が可能かといった点を必須要件として確認すべきです。

パナソニック コネクトは2023年2月から、OpenAIベースの独自AIアシスタント「ConnectAI」を国内全社員約12,400人に展開しています。閉域環境でAI基盤を構築することで、シャドーAI利用リスクの軽減を実現しました。回答の引用元表示機能によるハルシネーション対策も実装しています。

海外では、JPモルガン・チェースがChatGPTの社員利用制限後に独自のAIプラットフォーム「LLM Suite」を開発し、20万人以上の社員に展開しています。Model Risk Governance機能によるリスク評価や、説明可能AI・公平性チェックの必須化など、金融機関ならではの厳格なガバナンスを組み込んでいます。

ガイドラインや教育を整備した上で、さらに進んだ対策として「AI利用の監視・検知体制」と「ガバナンス専門組織」の構築があります。

サムスン電子は機密漏洩事件を契機にAIレッドチームを設立し、データ収集からAI開発までのセキュリティ・プライバシーを横断的に監視する体制を構築しました。

マイクロソフトはChief Responsible AI Officerを設置し、2024年には67回のAIレッドチーム演習を実施しています。また、レッドチーミングツール「PyRIT」をオープンソースとして公開し、他の企業でも活用できるようにしている点が特筆されます。

セキュリティ人材が限られている企業では、外部のマネージドセキュリティサービス（MSS）やAIセキュリティ専門のコンサルティングサービスを活用することも有効な選択肢です。

また、AIセキュリティ対策の基盤として、リモートワーク環境でのVPN接続や、認証強化のための多要素認証（MFA）といった従来のセキュリティ施策も引き続き有効です。

VPN接続の仕組みと導入メリットについてはこちら
多要素認証（MFA）の仕組みとメリットについてはこちら

AIセキュリティ対策に関するツール・ソリューションの情報を収集するなら、「情報セキュリティ EXPO」への来場がおすすめです。

AIセキュリティ対策を進める上で、国内外の規制やフレームワークの動向を把握しておくことも重要です。

OWASP（Open Worldwide Application Security Project）が公開する、大規模言語モデル（LLM）に特化した10大セキュリティリスクです。プロンプトインジェクション、機微な情報の漏洩、データポイズニングなど、LLMアプリケーションの開発・運用で注意すべきリスクが体系的にまとめられています。2025年版が最新であり、自社のAIシステムのリスクアセスメントの基準として活用できます。

EU AI Act（AI規制法）は、2024年に成立したAIに関する世界初の包括的な規制法です。AIシステムのリスクレベルに応じた規制を定めており、高リスクAIには厳格な透明性要件やリスク管理が義務づけられます。EU域内でサービスを提供する場合は対応が必須です。

NIST AI RMF（AI Risk Management Framework）は、米国国立標準技術研究所が策定したAIリスク管理のためのフレームワークです。AIの信頼性、公平性、プライバシー保護などの要素を体系的に管理するための指針を提供しています。

2024年に経済産業省と総務省が共同策定した「AI事業者ガイドライン」は、AI開発者、提供者、利用者のそれぞれに求められる対応を整理しています。法的拘束力はありませんが、企業がAIガバナンスを構築する際の実務的な参考資料として広く活用されています。

AI技術の進化に伴い、セキュリティの課題も日々変化しています。今後注目すべきトレンドをいくつか整理します。

まず、AIエージェント（人間の指示を受けて自律的にタスクを実行するAI）の普及に伴い、AIに過度な権限を付与することのリスクが新たな課題として浮上しています。OWASPの最新版でも「過剰な代理行為（Excessive Agency）」がリスクの一つに挙げられています。

また、「設計段階からのセキュリティ組み込み（Security by Design）」の重要性が高まっています。AIシステムをリリースした後に対策を講じるのではなく、企画・設計の段階からセキュリティを考慮することが国際的な標準になりつつあります。

さらに、セキュリティ人材の不足に対しては、AI×自動化による運用効率化が一つの解決策となりえます。AIが脅威の検知から初動対応までを自動化し、人間は高度な判断に集中するという役割分担が進んでいくと考えられます。

いずれにしても、「今から対策を始める」ことが、将来のリスク低減にとって最も重要な一歩です。

AI時代のセキュリティ対策は、従来の「外部からの侵入を防ぐ」だけでは不十分です。「AIそのものが攻撃の標的になる」「AIの利用過程で情報が漏洩する」「AIが攻撃者の武器になる」という3つの課題に対応するためには、ガイドライン策定・従業員教育・ツール選定・監視体制構築を段階的に進めることがポイントとなります。

まずはAI利用ガイドラインの策定から始め、従業員への教育を並行して進めることが、多くの企業にとって現実的な第一歩となります。AIの活用推進とセキュリティ対策は両立すべき両輪であり、どちらか一方に偏ることなく、バランスよく取り組んでいきましょう。