アンチウイルス製品比較テスト:評価を読み解くには

世にあまたあるアンチウイルス製品。その性能を測るため、さまざまな第三者機関が比較テストを実施しています。テスト結果を読み解くポイントは。

tests

第三者機関によるアンチウイルス製品比較テストの本質を見極めようとするとき、誰を信じればよいのでしょうか。また、どうすれば正しい決断を下すことができるのでしょうか。

私たちは、信頼できるアンチウイルス製品を選択するというすべてのユーザーの権利を尊重します。だからこそ、Kaspersky Labは業界で認められた第三者機関によるテストのほぼすべてに参加しています。ユーザーがセキュリティ製品を比較するときに参照するのは、やはりこうしたテストの結果です。しかし重要なのは、「認証」や「認定」といったロゴの裏にあるものを理解することです。

もちろん、どんなベンダーも自社の製品が一番だと言うでしょう。そのため、賢明なユーザーは、評価が高く人気のある製品から1つを選ぶときに、各ベンダーの主張や宣伝文句だけでなく、第三者による分析も見ているのです。無数の企業がまさにそれを毎日のようにやっており、さまざまなアンチウイルスソリューション、ファイアウォール、プロアクティブプロテクションシステムといったセキュリティコンポーネント(現在では包括的なプロテクションスイートに統合されて、個人法人が利用しています)を日々テストしています。テスト機関ごとに独自の評価システムや方法論を採用しているため、各機関の「賞」にどんな価値があるのか、認証を受けた製品に何を期待できるかを理解することが重要です。この記事では著名な第三者評価機関であるAV-ComparativesAV-TESTDennis Technology LabsVirusBulletinについて簡単に説明します。

主なテスト

テスト機関による評価で最も重要なもの(家庭での実施が難しいもの)は、アンチマルウェアプロテクション(ウイルスからの保護)の品質です。このために「実環境型」と「従来型」という2つの主要アプローチが使用されます。場合によってはこの2つを組み合わせてテストすることもあります。

現在は多くのエキスパートが、実環境型のテストの方がユーザーにとって重要であると考えています。このアプローチでは、悪意のあるWebサイトや感染したWebサイト、またはメールの添付ファイルが、保護されたコンピューターで開かれるという状況をシミュレーションし、システムへ侵入する前にどれだけの脅威が検知およびブロックされたか、その割合を計算します。この方法が優れているのは、1つの製品に統合されたすべてのプロテクション技術(今では非常に多くあります)を最新の脅威を使用してチェックできる点です。

テスト機関ごとに独自の評価システムや方法論を採用しているため、各機関の「賞」にどんな価値があるのか、認証を受けた製品に何を期待できるかを理解することが重要です。

従来型のアプローチにはいくつか種類がありますが、一般的には次のように実行されます。ウイルススキャナーに1つのフォルダーをスキャンさせます。このフォルダーには数千個のファイルがあり、その中には現在活動中であるさまざまなタイプの悪質プログラムが数百、あるいは数千も含まれています。アンチウイルス製品が悪意のあるファイルを100%検知するのが理想です。また、同時に測定されるもう1つの重要なパラメーターが、誤検知の割合です。フォルダー内の「健全な」ファイルは無視する必要があるので、この数値の理想は0%となります。

重要な追加機能

どんなに信頼性の高いアンチウイルス製品でも100%の保護は保証できません。ウイルスの検知に優れているだけでは不十分なのです。たとえば、マシンがすでに感染してしまったという場合には、感染したコンピューターを処理する能力も備えていなければなりません。このことは重要です。というのも、Kaspersky Labの統計によれば、感染したコンピューターにインストールされているアンチウイルス製品は5%だからです。また、ユーザーの誤った操作によって、マルウェアがコンピューターへ侵入してしまう恐れもあります。

理想的には、アンチウイルス製品のせいでシステムの動作が遅くなったり、製品から要求や警告が頻繁に表示されてユーザーがわずらわしい思いをしたりしないのが一番です。ユーザーが苛立ちを感じてポップアップウィンドウを無視するようになり、最終的にはプロテクションの有効性が低下することになります。

主な評価機関

avcomparatives-advanced-plusAV-Comparatives

AV-Comparativesは、最も重要な機能を評価するために、個別のテストを実施しています。重要な機能は、実環境シナリオでのプロテクション感染したファイルの検知(従来型のテスト)、パフォーマンステストをはじめ、数多くあります。AV-Comparativesは年1回、同機関のすべてのテストに基づいて、最高賞「Product of the Year」を発表します。また、テストタイプごとに「Gold」「Silver」「Bronze」賞も選出しています。ただ、年末まで待てないという人は2~5種類のテスト結果を見てみましょう。製品がどの程度優れているかがよくわかります。最も興味深いのは「実環境型」テストと「パフォーマンス」評価です。実環境型テストでは、誤検知があるとスコアが下がります。最高の製品には「ADVANCED+」認証が授与されます。完ぺきとまでは言えない製品には「ADVANCED」認証が、それ以外の製品には「Standard」や「Tested」が与えられます。AV-Comparativesは毎月、実環境型テストの中間結果を発表しており、すべての著名アンチウイルス製品がブロックできた最新の脅威に関する情報を公開しています。Windowsに統合されたメカニズムのWindows DefenderやMicrosoft Security Essentialsで提供される最低限のプロテクションでも、脅威の90%をブロックしていますが、市場リーダーたる各社は通常、95~100%の間のゼロコンマ数 % をめぐってしのぎを削っているのです。カスペルスキー インターネット セキュリティは最新の実環境型テストで100%の脅威をブロックしました。

avtest-certAV-TEST

最近まで、AV-TESTの認証は2か月に一度実施され、「Protection(保護)」「Repair(修復)」「Usability(使いやすさ)」という3つのテストカテゴリがありました。3カテゴリそれぞれに1~6のスコアがつけられて、合計で11ポイント以上を獲得した製品が認証を受けていました。

しかし今年からテストが変更され、以前よりも簡単に認証を受けることができるようになっています。以前は、検知率、修復率、誤検知数、システム速度の低下レベルといった要素が考慮されていました。今年から修復カテゴリが除外され、認証取得のための最低スコアが10ポイントに引き下げられています。つまり、2013年に認証を受けたアンチウイルス製品は、感染したシステムを修復できない可能性があるということです。カスペルスキー アンチウイルスは年次AV-TEST賞を受賞しており、変更前に認証を取得しています。認証の規則が変更された理由については、ユージン・カスペルスキーのブログに詳しく書かれています。

dennisDennis Technology Labs

Dennis Technology LabsはSimon Edwards氏が率いる英国のテスト機関です。長期にわたって実環境型のアンチウイルステストを専門としており、四半期に一度、ホームユーザー、SOHO、大企業など、さまざまな製品カテゴリのレポートを発行しています。

同機関の認証方法は、国際団体AMTSOの推奨事項に沿って作成されており、特筆に値します。最終的な評価に影響する要因は数多く、マルウェアの検知能力、感染を処理する能力、誤検知の頻度などがあります。要素の1つ1つに独自の重み付けがされており、その最終結果は実環境の状況におけるアンチウイルスソフトウェアの品質を極めて正確に示すものです。

またDennis Labsは、新しいテストを加えることでテスト能力を多様化しています。2012年末には企業向けアンチウイルス製品に搭載されたアプリケーションコントロール機能のテストを開始しました。

 先に述べたように、これらのテストには品質や完全性に大きな差があり、一流のテスト機関であっても最高の品質基準を採用しているとはかぎりません。

vb100-dec2011Virus Bulletin

Virus Bulletinはアンチウイルス分野の最古参であり、最も権威ある情報源の1つです。1989年に雑誌という形で始まり、独自のアンチウイルステストを実施しているほか、VB100という独自の認証を発行しています。こうした認証を取得できるのは、感染したサンプルを100%検知し、誤検知が 0% だった製品だけです。Virus Bulletinが実施するテストは「実環境型」というより「従来型」で、各製品は、少数の最新ウイルスが含まれるファイルの集まりをスキャンします。良質な製品なら100%の結果を残すことが十分に可能であり、たとえば4月の結果では、67のセキュリティ製品のうち29製品がテストに合格しました。残念ながら、VB100認証ではパフォーマンスと修復の品質が考慮されず、1つの製品を全体的に評価することはできません。もう1つ消費者が留意すべきVB100賞の特徴は、基本レベルの認証を1つ受けただけで、VB100のロゴがベンダーのマーケティング資料に使われる可能性がある点です。という訳で、この便利な結果表を使って最新の結果を簡単に把握しておきましょう。

その他のテスト

アンチウイルスソフトウェアをテストする著名な第三者機関を4つだけ紹介しましたが、同様のテストを実施している機関は他にも数多くあります。もちろん、雑誌をはじめとするさまざまな媒体によってテストが行われています。先に述べたように、これらのテストには品質や完全性に大きな差があり、一流のテスト機関であっても最高の品質基準を採用しているとはかぎりません。したがって、特定のテストとその結果に興味があるなら、テストがどのように実施されたかを確認してください。すべての主要アンチウイルスベンダーが参加していたか?テストで使われた感染ファイルと感染していないファイルの数は?アンチウイルス製品の主な品質要素がすべて考慮されているか?そして最後に、どのような結果を出すことで最高賞が与えられているか?最高評価を受けた製品が10以上あるなら、明らかに簡単に与え過ぎだと言えるでしょう。

ヒント