テスト
自社に最適な法人向けセキュリティ製品は、どうすればわかるのでしょうか。ベンダーのマーケティング資料は客観的とは言い難く、参考になりません。同業者の話やお勧めは良い情報源になりそうですが、実際は企業によってサイバーセキュリティの要件、IT環境などのニーズが異なるため、役に立たない可能性があります。厳密に言えば、すべてのアドバイザーが自社のサイバーセキュリティの状況を現実的に評価できるとは限りません。
だからこそ、測定可能なパラメーターに従って評価を下す第三者評価機関の客観的な情報を利用することが重要です。第三者評価機関は同じ条件下で製品を評価し、各分野の優秀製品を的確に見極めています。評価機関のレポートを参考にすれば、客観的な性能結果から製品を選定できるでしょう。
とはいえ、ベンチマークテストは企業の購入決定を手助けするためだけのものではありません。ベンダーにとっても、自社製品が市場において他社製品と同等の水準にあるのか、現在の脅威の状況に効果的に対応できているのか、製品の方向性は間違っていないかを確認する上で必要です。
第三者評価機関における総合評価で高得点を獲得することは、製品の有効性を示す確固たる証明になります。ベンダーが積極的に自社製品を中立的なテストに出し、第三者評価機関のテスト手法の向上に貢献するのは、こうした理由からです。製品の技術的な優位性を強く打ち出しているのに、第三者機関によるベンチマークテストを受けていないベンダーがあったら、本当に宣伝どおりの性能かどうか、一歩引いて考えた方がよいでしょう。
テストについて
ベンダーは、特別に指定したベンチマークテストを要求することがあります。新しいテクノロジーを検証したり、特定の状況下の性能を確認したりするためです。この場合、ベンダーはテスト関連の作業にかかる費用を全額支払います。そのため、参加するベンダーやテスト手法を選ぶ権利が与えられます。時には特定の競合他社との「対決」を望むこともあります。
理論上、こうしたベンダーは自社製品に有利になるような独自の条件を要求することも可能です。または、テストケースが作為的で、実際の脅威の状況からかけ離れている場合もあります。このような場合、テスト結果は信頼できません。一般的に、多数のベンダーが認めているテスト手法かどうか確認してください。
時には、評価機関自体が特定のテクノロジーに対する市場の関心に気付き、部分的なベンチマークテストを実施する場合もあります。たとえば、クラウド保護、エクスプロイトからの保護、ランサムウェア対策ツール、バンキング関連の脅威からの保護などの品質を検証する場合です。
通常の比較ベンチマークテストは、年1回、年2回、隔月などのスケジュールで行われます。ベンチマークテストでは、さまざまなタスクに基づいて競合製品を評価、ランク付けし、優秀な成績を収めた製品が表彰されます。
こうしたテストには1年以上にわたって実施されるものもあり、その場合は中間報告書が発表されます。これは「継続的比較ベンチマークテスト」と呼ばれています。ベンダーは、自社製品を継続してテストに参加させる必要があり、アップデートの配布も怠ってはなりません。こうすることで、各製品は動的に変化する状況下で詳しく評価されることになります。テストで1回だけ受賞するよりも、長期にわたってトップに居続ける方がよほど難しいものです。継続的比較ベンチマークテストからは、業界の全体を測ることができます。また、年に1回しかテストを受けないベンダーも明らかになります（1回のテストで、十分な製品像を掴むことはできません）。
一部のリサーチャーは、限定的なパラメーターに対して1製品を評価する認定テストを実施しています。このテストの目的は、製品が特定の要件（通常は最小要件）を満たすかどうか判断することです。これによって、本物の製品と偽物の製品とを区別できます（残念ながら偽物は存在します）。この種のテストでは、製品がなぜ合格したのか明確な情報が示されません。製品の利点を理解するのに役立ちますが、購入判断の際に認定テストのみを頼るべきではないでしょう。
テスト手法
どの評価機関も独自のテスト手法を採用しています。そのようになっているのは、多くの場合、さまざまな手法が進化していった結果です。評価機関は、どこも独自のテストケースのセットを持っています。したがって、製品の有効性の全体像を把握するには、多様な第三者評価機関のさまざまなテスト結果を参照すべきです。
アンチウイルスの初期のベンチマークテストでは、基本的なチェックが行われました。第三者評価機関がウイルスをいくつか選び、テスト対象の製品を使ってスキャンする手法で、オンデマンドスキャン（ODS）と呼ばれています。また、バリエーションとして、ファイルがコピーされる際にスキャンを実行するオンアクセススキャンを採用していたテストもあります。しかし、脅威もセキュリティ製品もかなりのスピードで進化した結果、これらテスト手法は、今でも使われてはいるものの、ほとんど価値がなくなっています。
テスト手法はさらに進化し、ふるまい分析テクノロジーを採用するものが増えました。この手法ではPC上でマルウェアの検体を実行します。この種のテストではプロセスが複雑になり、テスト期間が増大しました。
マルウェアの高度化に従い、こうした初歩的なテスト手法は次第に意味をなさなくなっていきました。たとえば、一部のマルウェアは特定の環境（OS、システム言語、ブラウザー、インストール済みのアプリケーション、場合によっては特定の国）でのみ動作します。最も狡猾なマルウェア検体は、隔離環境にあることを認識すると実行せず、分析を妨害します。
こうしてテスト手法はさらなる改善が求められました。こうして登場したのが、リアルワールド（RW）ベンチマークテストです。テスト用のPCや条件は、実環境の仕様や一般的な利用者のふるまいをほぼ反映しています。テスト結果の精度は高くなりますが、複雑で煩雑、かつ高価な手法です。こうした理由から、RWベンチマークテストを実施する評価機関はごく限られています。
第三者評価機関は、ふるまい（プロアクティブ）テストのみで認定することがあります。こうしたテストでは、未知の脅威をスキャンするので、製品はふるまい分析のみで脅威を検知しなければなりません。まず、セキュリティ製品をネットワークに接続されていないPCにインストールし、数か月間そのままにします。続いて、新たに発見された検体を投入します。場合によっては、まったく新しい脅威を作り出すために、不正コードを作成または改変することもあります。もっとも、クラウド技術が急速に普及しているため、こうしたアプローチは時代遅れになりつつあります。
その後、ベンチマークテストの手法は成熟し、さらに2種類のテストが取り入れられます。不正コードの検知、無効化に有効なことが証明されても、コンピューターのリソースを大量消費する製品ではまったく実用性がありません。そこで、標準的なテストの1つとして、性能テストが加わりました。誤検知（False Positive）テストはさらに重要です。優れた製品は、正規アプリケーションを不正と判定することがあってはなりません。
ベンチマークテストの活用方法
サイバーセキュリティ製品をテストする第三者評価機関は、テスト手法をベンダーと顧客企業の双方に公開する必要があります。さもなければ、テスト結果を信頼できません。
製品の有効性に関するベンダーの主張が疑わしいと感じる主な理由は、次の4つです。
- 透明性のある手法を用いてベンチマークテストを実施していない
- 参加したテストは1つのみで、その他の関連テストはすべて避けている
- 第三者評価機関の専門家にテスト済みの製品を提供しようとしない
- 実環境での利用を反映していない、疑似的なテストケースに基づき構築されたテストにのみ参加する
テスト結果の評価に時間をかけて公平な見方をするようにし、1つのベンチマークテストだけに固執しないようにしましょう。製品のベンチマークテストは、その強みや機能を総合的に判断するため、複数の第三者評価機関で実施されるべきです。
また、テストを実施したOSにも注目してください。たとえば、Windows 10以前のバージョンよりもWindows 10の方が有効性を発揮する製品もあれば、その逆の製品もあります。
あとは、同じベンダーの他の製品も見てみましょう。全般的に良くなければ、たまたま1つの製品が受賞したのかもしれません。
Kaspersky Labでは大手の第三者評価機関に常に協力し、さまざまな製品をベンチマークテストに提供しています。テスト結果は公開されていて、こちらからご確認いただけます。
ヒント