RSAC
車を運転している主人公が、誰かが道路に飛び出してくるのが見えたと思い、慌ててハンドルを切って側溝にはまってしまう。映画でよくあるシーンです。これが映画の話ではなく現実のことだと想像してみてください。光の加減や錯覚でそう見えたのではなく、サイバー犯罪者が、車のオートパイロットが反応するようにプログラミングされているものの画像を、一瞬だけ投影したのだと。RSA Conference 2021にて、ジョージア工科大学とネゲヴ・ベン＝グリオン大学のリサーチャーたちが、そのような「幻影攻撃」の脅威を実証してみせました（英語）。
判断を誤らせるような画像をAI搭載システムに見せるという考え自体は、新しいものではありません。よくあるのは、変更を加えた画像を使用してAIに予想外の結論を下させる手法です。これは、あらゆる機械学習アルゴリズムが持つ弱点です。どの属性が画像認識の決め手になるのかを知っていれば（つまり、そのアルゴリズムについて少々知識があれば）、画像を改変して機械の意思決定プロセスを妨害すること、あるいは判断を誤らせることができるのです。
RSA Conference 2021で発表された手法の目新しい点は、改変されていない画像をオートパイロットに見せるという点です。アルゴリズムの仕組みや学習に使用される属性を知っている必要はありません。以下の動画は道路上と付近の固定物に人間や道路標識の画像を短時間投影する実験ですが、オートパイロットはいずれの画像にも反応を示しました。
同じ手法のバリエーションとして、道路脇にあるデジタルサイネージの広告映像に一瞬だけ画像を写り込ませた実験でも、実質的に同じ結果となりました。
リサーチャーたちは、サイバー犯罪者が、犯罪現場に証拠を残す危険を犯すことなく、離れたところから事故を引き起こすことが可能だと結論付けています。攻撃者が知っていなければならないのは、AIをだますには画像の投影時間をどれくらいにすればよいのかということだけです（自動運転車には、カメラのレンズまたはライダーに付着した塵や埃によって誤検知が起こる可能性を減らすため、トリガーのしきい値が設定されています）。
自動車の制動距離は、数十メートルと測定されています。状況認識の精度を上げるために数メートル程度長くすることは、AI開発元にとって大した問題ではありませんでした。
TeslaとMobileyeの認識システムに幻の画像を見せる必要がある時間。横軸が時間の長さ、縦軸が攻撃成功率。出典
ところが、この数メートルという値をMobileyeの人工視覚システムと時速60 キロメートルという速度に適用すると、反応時間は約125ミリ秒です。Teslaのオートパイロットの反応しきい値は、今回の研究で実験的に判定したところによれば、ほぼ3倍の400ミリ秒です。同じ速度の場合、約7メートル長くなる計算です。いずれにしても、ほぼ一瞬のことです。以上から、このような攻撃は突然やってくることになると研究者らは考えています。何がなんだか分からないうちに車は側溝にはまってしまい、そのときには画像を投影していたドローンは姿を消しているのです。
ただ、オートパイロットが最終的にはこの攻撃をかわせるのではないかという希望はあります。画像表示に適さない面に投影された画像は、現実の画像とはかなり違います。人間の目で見れば、遠近感がおかしい、輪郭がギザギザしている、色が不自然、コントラストが強すぎるなどの違和感があり、現実の物体との区別は簡単に付けられます。
オートパイロットが幻の画像を使った攻撃に対して脆弱なのは、AIと人間の脳の間に知覚の違いがあるためです。そのギャップを埋めるため、自動車のオートパイロットシステムに遠近感、輪郭のなめらかさ、色、コントラスト、明るさといった特性の一貫性をチェックする機能を追加し、その結果が一貫していることを意思決定前に確認することを、研究者たちは提言しています。カメラやライダーからの本物の信号と、一瞬だけ現れた幻影とを見分けるのに役立つ特徴を、ニューラルネットワークに審議させるのです。ちょうど、陪審員団が審議するように。
そうした機能を追加すれば、システムの演算負荷は当然増えますし、必要な学習を済ませた複数のニューラルネットワークを一度に並行稼動させることになります（付け加えると、学習には時間と労力が大いに必要です）。そして、すでに「小規模なコンピューター集団に車輪がついたもの」となっている車は、「小規模なスーパーコンピューター集団に車輪がついたもの」にならざるを得ません。
AIアクセラレーターの普及が進めば、電力を浪費せずに並行稼動する複数のニューラルネットワークを自動車に搭載できるようになるかもしれませんが、それはまた別の話です。
ヒント