機械学習を使った詐欺

2019年10月16日

新しいテクノロジーが世界を変えつつあることは明らかですが、人間の精神は変えられません。ここに目をつけた邪悪な天才が、心の脆弱性を標的にした新しい技術的革新を生み出しつつあります。そんな様相を鮮やかに描き出しているのは、詐欺師が国際的企業のCEOの声をまねて子会社の社長をだまし、偽の口座に大金を送らせた(英語記事)という事例です。

いったい何が?

攻撃の詳細は不明ですが、この件を報じたWall Street Journalによれば、保険会社のEuler Hermes Group SAはこの事件を以下のように説明しています。

  1. 被害者となった英国のエネルギー会社の社長は、電話を受けたとき、相手が自分の上司だと思っていた。この上司とはドイツにある親会社の最高経営責任者(CEO)のことで、電話の内容はハンガリーの業者(後日、架空の企業であることが判明)に1時間以内に22万ユーロを送金するようにとのことだった。
  2. 英国の社長は、指定された金額を送金。
  3. CEO(実は攻撃者)が再び電話をかけてきて、親会社から英国の子会社へ先ほどの金額を払い戻したと伝える。
  4. その後、攻撃者がまたもCEOを装って3度目の電話をかけてきて、2度目の送金を依頼。
  5. 払い戻されたはずのお金がまだ届いておらず、しかも電話がドイツではなくオーストリアからかけられていたため、社長は怪しいと感じ、今回は送金しなかった。

どのような手口だったのか

報道では、攻撃者が(1)このCEOの大量の音声データから必要なものを選り分け、手作業で編集してボイスメッセージを作った、(2)音声データに機械学習アルゴリズムを適用した、という2つの可能性が言及されています。(1)は非常に時間がかかり、信頼性も高くありません。ばらばらの単語を寄せ集め、聞いていて不快感のない、まとまりのある文章にするのは極めて困難です。英国人社長によれば、CEOの話し方はごく自然で、声質も本人そのもの、かすかにドイツ語訛りだったということです。そこで、AIが主犯ではないかと疑われています。しかし、攻撃の成功は、新テクノロジーの使用というよりは、認知のゆがみと関係があります。この事例では、権力者への服従という認知のゆがみです。

心理学的に分析してみる

社会心理学者たちは、知性が高く経験豊富な人物でさえ、たとえそれが個人的な信念、常識、または安全上の留意事項に反するものだったとしても、権力者には何の疑念も持たずに従ってしまう傾向にあることを、数々の実験を通じて示してきました。

フィリップ・ジンバルドー(Philip Zimbardo)氏は、著書『ルシファー・エフェクト ふつうの人が悪魔に変わるとき(原題:The Lucifer Effect: Understanding How Good People Turn Evil)』の中で、この種の実験を取り上げています。実験では、看護師22人が、患者に最大許容量の2倍の薬を注射するようにと、医師から電話で指示されました。そのうち21人が、指示された量の薬剤を注射器に充填しました。実は、被験者となった看護師の約半数が、医師の指示に従ったものの、患者に害が及ぶだろうと考えていたそうです。従順な看護師たちは、患者の治療を決定する法律上の権限を持つ医師よりも、自分の責任は軽いと考えていました。

同様に、心理学者のスタンレー・ミルグラム(Stanley Milgram)氏は、「主観性」の理論を用いて、権力者に対する絶対的な服従の本質を説明しています。人が自分自身を他者の目的を達成するための道具と認識している場合、その人は自分の行動に責任を感じない、というのです。

さて、どうすれば?

電話で話をしているとき、相手が自分の考えているその人であると100%確信することはできません。相手が有名人で、録音した音声(インタビュー、演説など)を簡単に入手できる場合は、なおさらです。今のところはそのようなことはめったに起きませんが、テクノロジーが進歩していけば、こうした事件は増えていくでしょう。

疑わずに指示に従うことで、サイバー犯罪者にうまく操られてしまうかもしれないのです。上司に従うのは、当然ながら普通のことです。しかし、経営判断としては奇妙である、論理的におかしいなど、批判的な視点を持つことも重要です。

私たちができるアドバイスとしては、「指示に従う前にまず考える」ことくらいです。逆に、指示を出すときには、同時に理由も説明するように心がけましょう。そうすることで、受けた方は、普段とは違う指示があったときに、何かおかしいなと考えるようになるでしょう。

技術的な観点からは、以下をお勧めします。

  • 役職が上の社員であっても監視の目がない状況で社外に送金できないように、資金の移動に関する明確な手続きを規定する。巨額資金の移動には、複数の幹部による認可が必須です。
  • 社員に対してサイバーセキュリティの基礎トレーニングを行い、与えられた指示について健全な疑いの目をもって考えられるようにする。