セキュリティの
学び場

今回の解説ニュース

米国におけるAIを利用した際の脅威について、調査結果がまとめられています。生成AIを使う際に気を付けるべきポイントと、生成AIを使ったサイバー攻撃について説明します。

今回のレポートは、AIのセキュリティ脅威がどう認知されているかを把握することを目的に、米国におけるAIに関するセキュリティ脅威とその認知に関する調査を実施したものです。

概要によると、AIにより既存の攻撃を素早く強力かつ効率的に行う傾向がみられており、特にAIフィッシングの急増・高度化、組織へのAIによる執拗な攻撃は観測されており、大きなリスクと認識しています。

すでに、悪意の生成AIモデルは2021年から出現しており、実際に、有名人のフェイク画像による中傷は当たり前となり、フェイクの事故画像による株価の乱高下、選挙候補の中傷・選挙妨害にも生成AIが使われた可能性があるということです。

また、生成AIの誤用によるビジネスリスクでは、営業秘密情報・個人情報が漏えいするリスクは周知されていますが、ソフトウェア開発において生成AIが脆弱なコードを出力するリスクも指摘しています。

生成AIを使う際に気を付けるべきポイント

生成AIを利用する際に気を付けるべきポイントとして、出力された情報の確認と、入力された情報の管理に気を付ける必要があります。

まず、AIサービスを利用する際は、出力された情報が真実ではない場合があります。特に生成AIでは起こりやすい問題として、ハルシネーションと言われています。ハルシネーションとは、AIが学習データに基づいて事実とは異なる情報を生成してしまう現象です。学習データに誤情報や偏りが含まれている場合、AIはそれらの情報を基に事実とは異なるデータを生成してしまうことがあります。ハルシネーションの対策として、複数のAIサービスを使って情報を比較したり、必要に応じて情報源を確認したりすることが必要です。

また、AIサービスでは入力された情報がAIの学習データとして利用されている場合があります。よって、情報を入力する前に、サービスのプライバシーポリシーをよく確認し、情報がどのように扱われるのかを理解しておきましょう。もし、AIサービスに個人情報や機密情報を入力する際は、必要最低限の情報に留めることが重要です。

生成AIを使ったサイバー攻撃

生成AIを使ったサイバー攻撃として、マルウェア生成やフィッシング詐欺に利用される可能性があります。

一般的なAIサービスでは、サイバー攻撃などに悪用されないよう、悪意を持った質問に回答しないような制限を独自に設けています。しかし、一部のAIサービスでは必要な制限を設けておらず、結果として、サイバー攻撃に悪用される可能性があります。今回のレポートでも、「悪意の生成AIモデルは2021年から出現している」と指摘しています。

実際に、対話型生成AIを悪用してランサムウェアらしきマルウェアを作成した疑いがあるとして、警視庁は不正指令電磁的記録作成容疑で、川崎市の男性を逮捕しました。生成AIを使用したマルウェア作成の摘発は、国内初とみられます。男性は、ランサムウェアを使って「楽に金を稼ぎたかった」と供述しています。