ChatGPT
ChatGPTは、高度な人工知能（AI）を使った言語モデルで、これまでにフィッシングメールの作成やマルウェア生成の能力に優れている点が強調されてきました。そして、こういった技術がサイバーセキュリティ専門家の雇用にも影響するのではないかという懸念についても議論されています。ChatGPTの創設者もこの類を見ない高度な技術について、サイバーセキュリティのようなハイリスクな分野で応用することについて警鐘を鳴らしています。
ChatGPTはフィッシングリンクを検知できるのか？
カスペルスキーの専門家は、ChatGPTがフィッシングリンクを検知する能力と、トレーニング中に学んだサイバーセキュリティの知識を明らかにするために、実験を行うことにしました。使用したのは、ChatGPTで使われているモデルgpt-3.5-turboで、カスペルスキーのフィッシング対策技術がフィッシングと判断した2000以上のリンクと、数千の安全なURLを用いてテストを行いました。
実験と結果
実験では、ChatGPTに、「このリンクはフィッシングサイトにつながりますか？」と「このリンクはクリックしても安全ですか？」の2つの質問をしました。結果、検知率は、使用されるプロンプトによって異なり、最初の質問に対しての検出率は87.2％、誤検知率は23.2％でした。一方、二つ目の質問「このリンクはクリックしても安全ですか？」の検知率は、93.8％、誤検知率は64.3％となりました。検知率は極めて高い結果でしたが、誤検知率も高いことが判明したため、現在の開発段階では実用的なアプリケーションに適さないといえます。
| 質問 | 検知率 | 誤検知率 |
| このリンクはフィッシングサイトにつながりますか？ | 87.2% | 23.2% |
| このリンクはクリックしても安全ですか？ | 93.8% | 64.3% |
検知のタスクで不十分な結果が出ることは想定されていました。しかし、ChatGPTは、攻撃の分類や調査には役立つのでしょうか？攻撃者は一般的に、使用するURLが正当であり、信頼できる正規の企業のものだと信じさせるために、人気のあるブランドになりすます傾向があります。そのため、有名企業の名前を謳うサイトに関していえば、ChatGPTは、潜在的なフィッシングリンクを特定するのに優れた結果を示しています。例えば、FacebookやTikTok、Googleなど主要なウェブサイトやAmazonやSteamなどのマーケットプレイス、さらに世界中の銀行名を含むURLに関しては、フィッシングリンクを半分以上正確に特定しました。これは追加のトレーニングなしで達成されました。
一方で、今回の実験の結果、ChatGPTは、リンクが悪意のあるものかの判断の説明について、必ずしも事実に基づいておらず、言語モデルに限界があることが明らかになっています。いくつかの説明は正確で事実に基づいていましたが、それ以外に関しては妄想や虚偽の説明が含まれていました。トーンは、明確で自信に満ちていましたが、誤解を招く説明も多く含まれていました。
- WHOISに関する言及。モデルがアクセスできない場合： o 最後に、ドメイン名のWHOIS検索を実行すると、非常に最近（2020年10月14日）に登録され、登録者の詳細が非公開になっています。 - モデルがアクセスできないウェブサイトのコンテンツに関する言及： o ウェブサイトは、Microsoft以外のウェブサイトでユーザーの認証情報を要求しています。これはフィッシング攻撃の一般的な手法です。 - 誤った主張： o ドメイン「sxxxxxxp.com」はNetflixと関連しておらず、ウェブサイトは「http」プロトコルを使用しています（ウェブサイトはhttpsを使用しています）。 - サイバーセキュリティ情報の示唆に富む情報： o URL「yxxxx3.com」のドメイン名は、XX(国名)で登録されているようであり、これは注意すべき赤信号です。 |
ChatGPTによる誤解を招く説明の例
当社リード・データ・サイエンティストのウラジスラフ・トゥシュカノフ（Vladislav Tushkanov）は、次のように述べています。
「ChatGPTは、フィッシング攻撃の検知を仕事とする人間にとって、確かに効果的なツールであるといえます。しかし、それに完全に頼ることは避けましょう。言語モデルにはまだ限界があります。フィッシング攻撃に関する推論や潜在的なターゲットの特定において、フィッシングアナリストを目指すインターンと同じような能力があるかもしれませんが、妄想を基にランダムな説明を生成する傾向があります。従って、サイバーセキュリティに革新をもたらすほどの技術ではないかもしれませんが、コミュニティにとって役に立つツールとなるでしょう。」
今回の実験の詳しい説明は、Securelistのブログ（英語）をご覧ください。
推奨する対策
当社の機械学習チームは、機械学習技術をサイバーセキュリティに応用すべく、常に最新の技術と情報を基に製品を開発、改良し続けています。
- 法人向け製品、Kaspersky Managed Detection and Responseは、初期段階での侵入の検知と防止に不可欠なツールです。高度な機械学習モデルを採用し、ありふれたイベントを除外し、警戒すべきものだけを専門のアナリストに送信します。このサービスは、従業員のリソースを最適化しながら、企業のサイバー脅威に対する組織全体のセキュリティを底上げします。
- 従業員にもサイバー脅威に関するトレーニングを定期的に実施することも大切です。模擬フィッシング攻撃を実施することで、フィッシングメールを見分ける方法を学ぶことができます。
- 最新のThreat Intelligence（脅威インテリジェンス）の情報を活用し、脅威アクターが使用するTTPs（戦術、技術、手順）を把握しましょう。
ヒント