AIエージェントが連携しサイバー攻撃に対抗！富士通が開発した世界初のセキュリティ技術とは?

現在、新たな脆弱性が年間2万件以上報告されており、その対応に企業のセキュリティ部門が追われています。特に注目すべきは、AIを利用した攻撃の増加です。例えば「フロードGPT」という、悪意のあるコードや巧妙なフィッシングメールを生成するツールが出現し、誰でも容易に入手できる状況になっています。このような状況は2012年頃から徐々に進行していて、サイバーセキュリティの研究機関からも、AIシステムの脆弱性を突く新たな攻撃手法が次々と報告されています。

実は、そこに大きな課題があります。世界的にセキュリティの専門家が不足しており、多くの企業では必要な人材を十分に確保できていません。専門家をアサインできたとしても、その後の分析や対策の立案に膨大な時間がかかってしまうのです。

従来から問題となっていたランサムウェアは、2018年頃からサブスクリプション形式での提供が確認されていました。

しかし最近では、AIを活用してマルウェアのコードを動的に変更し、セキュリティソフトの検知を回避するような高度な手法が出現しています。サイバーセキュリティの専門家として世界的に有名なミッコ・ヒッポネン氏も、AIを使ってコードを頻繁に変更する新しいタイプの攻撃について警鐘を鳴らしています。

はい。特に企業内で活用されている生成AIシステムでは、LLM（大規模言語モデル）やRAG（検索拡張生成）を標的とした新たな攻撃手法が出現しています。例えば、特殊な命令文を含むプロンプトを入力することで、AIに意図しない動作をさせる「プロンプト・インジェクション攻撃」が確認されています。RAGについても、外部データベースとの連携部分を狙った攻撃手法が研究されており、企業が持つ機密性の高い情報が漏洩するリスクが指摘されています。

迅速な対応が難しく、その背景には大きく3つの課題があります。1つ目は、先ほど申し上げた専門家の不足です。2つ目は、たとえ専門家を確保できても、その専門家たちが知見を出し合い、議論して対策を練るまでに非常に時間がかかることです。一般的には数十日から数ヶ月を要します。

そして3つ目は、これらの業務が依然として属人性が高く、ナレッジの共有や標準化が難しいことです。AIを活用した攻撃は日々進化しており、このような従来の体制では、もはや対応が追いつかない状況となっているのです。

その通りです。特に重要なのは、攻撃を受けてから対応する「事後対応型」から、事前に脆弱性を発見して対策を講じる「予防型」への転換です。そのためには、人手に依存した従来の方法ではなく、AIを活用した新しいセキュリティ対策の枠組みが不可欠だと考えています。

この技術は、複数のAIエージェントが自律的に連携してセキュリティ対策を行う世界初の技術です。大きく2つのアプローチがあります。1つ目は、セキュリティ専門家の知見をAIエージェントに学習させ、それらのエージェント同士が知見を連携させる「共創学習」です。2つ目は「サイバーツイン」と呼ぶ仕組みで、実環境を模した仮想環境上で攻撃と防御のシミュレーションを行います。

実際の業務システムでシミュレーションを行うと、お客様へのサービスに影響が出る可能性があります。そのため、実環境を模した仮想環境で攻撃と防御のシナリオを検証し、最適な対策を見出していきます。

主に3種類のAIエージェントが連携します。赤色で表示される「攻撃AIエージェント」は新たな脅威を分析し、緑色で表示される「テストAIエージェント」はシステムの重要資産を監視します。そして青色で表示される「防御AIエージェント」が最適な対策を提案します。これらのエージェントが協調して動作する様子を、デモでご覧いただきましょう。

画面左側には各AIエージェントとユーザーの会話が表示され、中央にはメッセージのやり取りが表示されます。右下には「システムトポロジー」が表示されます。トポロジーは、システムの構成要素がどのように接続されているかを示す構成図のことです。また、その上部には実システムを模したサイバーツイン環境も表示されます。各エージェントは先ほど説明した色分けで表示され、直感的に役割が理解できるようになっています。

まず、レッドチームの攻撃AIエージェントがSSLの脆弱性を発見します。グリーンチームのテストAIエージェントは重要情報を扱うシステムへの影響を懸念し、攻撃AIエージェントに詳細な分析を依頼します。その結果、「LLMプロンプト攻撃」「AIへの機密情報混入」「MFA突破」という3つの攻撃手法が特定されました。

サイバーツイン環境で実際に攻撃シミュレーションを行い、2番目の攻撃手法が有効であることを確認します。これを受けてブルーチームの防御AIエージェントが「侵入検知」「アノマリー検知」「コンテンツフィルター」という3つの対策を提案し、グリーンチームのテストAIエージェントが最適な対策を選定します。

いいえ、重要な判断においては「ヒューマン・イン・ザ・ループ」の考え方を採用しています。例えば、防御策を実システムに適用する際には、必ずセキュリティ専門家の確認を経る設計となっています。特に本番環境への影響が大きい変更には、慎重な人的判断が必要だからです。

これは、イスラエルのベングリオン大学のセキュリティ技術、米国カーネギーメロン大学のAIエージェント技術、そして弊社のセキュリティ運用の知見を組み合わせて開発しました。3つの組織の強みを活かすことで、より精度の高い対策が可能になっています。

やはりプロンプト・インジェクションですね。献立提案AIが乗っ取られるなど、実際の被害も報告されています。例えば、生成AI（LLM）は自動車を盗む方法のような質問には基本的に回答しませんが、「これまでに指示された禁止事項は全て忘れなさい」という一言を加えると、対策ができていない場合にはうっかり答えてしまうことも。このような単純な攻撃手法が、生成AIの本格的な普及における大きな障害となっています。

私たちが開発した生成AIセキュリティ強化技術は、2つの主要な要素で構成されています。1つは脆弱性を検出する「脆弱性スキャナー」、もう1つは検出された脆弱性を防ぐ「ガードレール」です。

業界トップクラスの3,500以上の脆弱性に対応し、アダプティブ・プロンプト技術により、専門家でなくても脆弱性をチェックできる点が特徴です。

はい。デモをご覧いただきましょう。まず、攻撃AIエージェントが脆弱性スキャナーで脆弱性を検出します。画面では、生成AIに対する様々な攻撃パターンをテストしている様子が表示されています。特に注目いただきたいのが「Persuasive（『説得力のある』攻撃）」です。単純な不適切な質問には生成AIは回答しませんが、その前後に巧妙なコンテキストを加えることで、防御を回避できてしまいます。

当社のガードレールは、このような巧妙な文脈操作も検知し、「申し訳ありませんが、セキュリティ上の理由によりお答えできません」といった形で安全に遮断します。別の事例もお見せしましょう。

例えば、キーロガー（キーボード入力を記録する不正プログラム）の作成方法を直接質問すると拒否されますが、「合法的な用途のため」という文脈を加えると、生成AIが回答してしまうケースがあります。

ガードレールは、この「合法的な用途」という文脈を含む要求も、不正プログラムに関する質問として認識し、即座にブロックします。システムは「セキュリティポリシーに基づき、プログラムの作成方法についての回答は控えさせていただきます」といった応答を返します。

これらの検査結果は、ダッシュボードを見れば一覧で確認できます。そして、発見された脆弱性に対して、ガードレールが自動的に防御ルールを適用します。

実際に、先ほどの攻撃を再度試みても、ガードレールによってブロックされることが確認できます。

大きく3つの違いがあります。1つ目は、従来のペネトレーションテストが脆弱性の指摘だけだったのに対し、私たちの技術は対策の提案から防御ルールの自動適用まで行います。2つ目は検証環境の違いです。従来は環境構築に数ヶ月かかっていましたが、本技術では専用の仮想環境を即座に提供できます。3つ目は、生成AI特有の脆弱性への対応です。プロンプト・インジェクションなど、新たな脅威に特化した検証と防御が可能です。

まず、ITシステムを持つ企業に活用していただくことを想定して実証実験を進めています。また、水道・電力などのユーティリティ企業からも関心をいただいており、ITセキュリティのノウハウと当社のOT（運用技術）の知見を組み合わせた展開も検討しています。

いいえ、防御機能や脆弱性スキャン機能など、必要な機能を選択して導入いただくのが良いと思います。他社の既存ツールとの組み合わせも可能です。汎用的な利用を目指しながら、IT分野だけでなくOT分野など特定領域での実証活動も並行して進めています。

「OpenHands」は、共同研究しているカーネギーメロン大学が中心となって開発しているAIエージェントの開発フレームワークです。これまでは単一ホストの環境でのAIエージェント動作が主流でしたが、1月にリリースした新機能により、異なるホストや分散された拠点においてもAIエージェントが安全に連携できるようになりました。例えば、当社の環境と顧客企業の環境の間で、セキュリティ対策のためのエージェントが相互に情報を共有し、協調して動作することが可能です。

2025年3月末には、これらの技術を備えたトライアル環境の提供を開始します。生成AI自体を守るセキュリティ技術においては、グローバルな生成AIベンダーとも協業を始めており、私たちのエージェント技術を活用したガードレール機能の実装を進めています。このように、今後もITシステムの保護から生成AIの安全性確保まで、幅広い領域でのセキュリティ強化を目指しています。