テスト
カスペルスキー製品は他社の製品と共に、毎年数多くの独立系ベンチマークや比較レビューでテストされています。Kaspersky Labは毎年、こういった1つ1つのテストから統計を集め、テストに参加した企業、1位入賞回数の多いベンダー、上位3位の常連企業を視覚的にまとめた図を作成しています。当社の製品は3年連続で最高の成績を収め、上位3位内に入った割合は他のどのベンダーよりも高く、82%でした。
なぜテストが必要なのか
第三者機関のテストというのは、実はエンドユーザーのために設計されたものです。セキュリティ製品の開発元は、自社製品を市場で「最高」と位置付けて注目を集めようとするものです。しかし、こういう宣伝を真に受けていたら、どの製品も「そのクラスで最高」になってしまいます。その点、テストは開発企業の影響を受けない公平な実像を正確に映し出し、ひいてはマーケティング用語や宣伝文句という大海原をわたるユーザーの助けとなるのです。
さらに、テストはさまざまなアプローチを基に作成されているので、セキュリティ製品をいろいろな面で評価するのに役立ちます。誤検知率の低さが何より大事という人もいれば、誤検知はさておき実環境のテストでちゃんと機能する製品かどうかを気にする人もいるでしょう。PCのパフォーマンスにできるだけ影響しないことを重視する人も、個人法人のユーザーを問わず存在します。こうした情報は、さまざまなベンチマークテストから得ることができます。
開発元にとって、ベンチマークは単なる宣伝の手段ではありません。製品開発プロセスの不可欠な部分であると見なされています。第三者評価機関の総合的なレビューを定期的に受けるということは、第三者の目で製品を見るということであり、そこから製品の欠陥が見つかることもあります。欠陥の指摘は、競合他社ではなくリサーチャーからしてもらえるほうがよいものですし。
ベンチマークはどうやって実施されるのか
大手の第三者テスト機関は、世界中に点在しています。いずれの機関も長年の経験があり、テストの方法は定期的に改訂されています。
こうしたテストは実環境に即していない、「研究室の環境」でテストされているだけだから意味がない、と主張するセキュリティ企業もあります。また、特定のベンチマークで良い成績が出るように参加ベンダーが自社製品を微調整している、との指摘もありますが、テスト機関がシグネチャベースの方法だけを使っていたのは、かなり前の話です。今では、テストをこれらの方法だけに限っているところなど、ほとんどありません。調査側の関心は、製品が実環境でどう動くかを確かめることにあるので、テスト対象製品にマルウェアサンプルを投入するだけでなく、高度なテストをいくつも採用して、複雑な脅威をどう処理するのかを確かめます。
たとえば、AV-TESTは各テストで選りすぐりのゼロデイ脅威を使用しています。MRG-Effitasは、金融関連の最新の脅威以外にも、APIフッキングテスト（英語資料）のような極めて高度な手法も数多く採用しています。AV-Comparativesは、「Whole Product Dynamic “Real-World” Protection Test」（英語資料）など、個々の調査を実施します。他のテスト機関も、実環境を正確に再現可能な、似たような手法を採用しています。ベンチマークでは、シグネチャベースの分析では検知できない、最近発見されたエクスプロイトが使われることもあります。
第三者評価機関のテストは本当に客観的なのか
評価機関が特定の参加企業をえこひいきすることはありません。独立した立場を大切にしているからです。評価機関の強みは評判と専門知識であり、それをテストで存分に活用しています。
ベンチマークに参加するためには、どのベンダーもわずかな料金を支払わなければなりません。ですから、「テストの参加料金なんか払わない」というスタンスは、参加しない言い訳としてはいまひとつといったところです。
当然ながら、特定のベンダーから委託されるテストもあります。通常、こういったベンチマークの目的は、公開テストに参加していない競合製品と特定の製品を比較すること、あるいは特定の脅威に対するセキュリティ製品の有効性を測定することです。この場合、料金を支払うのは委託元の企業だけですが、だからといって公平性を欠いたやり方でも、強制的なやり方というわけでもありません。評価機関はどんな場合でも確立されたテスト方法を使用しますし、委託した企業が結果に影響を及ぼすことはできません。
TOP3にはどんな意味があるのか
TOP3の基本的な考え方は、一貫しています。長期にわたって実施されたさまざまなテストにおいて各ベンダーの成績を総合的に評価すること、がそのコンセプトです。方法も変わっていません。詳しくはこちらをご覧ください。
1回のテストで1位になれば、有利な状況になる可能性があるとされています。たった1回のテストに参加し、そこで好成績をあげたベンダーは、「テストの数」に対する「勝率」は100%ということになります。しかし、現実の状況に即しているとは言えません。より完成度の高い製品を作りたいなら、セキュリティベンダーはできるだけ多くのテストに製品を出さなければならないのです。
ヒント