Ein völlig unnötiger Test von Antiviren-Lösungen

Die Tester, Gerüchten zufolge ein italienisches Labor, hatten 1800 Schadprogramme auf ihren Geräten versteckt. Die Viren und Trojaner wurden auf identische virtualisierte Windows-7-Systeme aufgespielt. Darauf liefen zusätzlich einige alltagstypische Anwendungen. Der Virenschutz floss zu 40 Prozent in die Gesamtbewertung ein, die Leistung der Firewall zu 10 Prozent, die Handhabung zu 30 Prozent und die Rechnerbelastung zu 20 Prozent.

Schon diese wenigen Angaben reichen, um viele Fragen aufzuwerfen: Warum wurde so eine geringe Anzahl an Malware zum Test genutzt, warum ein virtualisiertes System verwendet und wieso wurde beim Test auf eine Internetanbindung des Rechners weitgehend verzichtet?.

“Wenn man sich den Test genauer anschaut, stellt man fest, dass es im Wesentlichen um die signaturbasierende Erkennung inaktiver Schadsoftware ging”, sagt etwa Stefan Wesche, Experte für die Norton-Sicherheitsprodukte bei Symantec, auf Anfrage gegenüber ITespresso. “Das kann man testen, man sollte aber nicht den Fokus darauf legen.” Er vermutet zudem, dass es sich bei den verwendeten Viren um älteren Schadcode handelte, für den es schon Signaturen gab. Das entspreche aber nicht der Alltagswirklcihkeit: Gut 75 Prozent des weltweit verbreiteten Schadcodes greife heute weniger als 50 Nutzer an. Eine in erster Linie auf Virensignaturen basierende Erkennung sei daher nicht mehr sinnvoll.

Toralv Dirro, Security Strategist bei McAfee Europa, hält zudem die geringe Zahl an geprüften Programmen für ein Problem: “Wir finden täglich mindestens 45.000 neue Malware-Samples. Über alle Hersteller hinweg sind in anderen Tests Erkennungsraten von 98 Prozent festgestellt worden. Nimmt man wie die Stiftung Warentest nur 4 Prozent der täglich neu auftretenden Malware, dann ist allein aus Gründen der Statistik eine wirklich valide Aussage nicht möglich.”

Ähnlich argumentiert auch Raimund Genes, CTO bei Trend Micro: Sein Unternehmen fände täglich an die 70.000 neue Schadprogramme (der Unterschied zu McAfee erklärt sich auch durch unterschiedliche Zählweisen der einzelnen Hersteller) und erstelle rund 60.000 Signaturen.

Genes und Dirro zweifeln zudem daran, dass alle als “Malware” bezeichneten Programme diese Definition überhaupt erfüllen. Sie kritisieren, dass beim Test nur der Kopiervorgang überprüft wurde, nicht dagegen was passiert, wenn der Code ausgeführt wird. Ihrer Ansicht nach kam das Testszenario damit den Herstellern entgegen, die sehr großzügig aussortieren, die also eine hohe Zahl fälschlich als Malware identifizierter Programme in Kauf nehmen.

Der Hauptkritikpunkt ist jedoch, dass ohne Internetzugang getestet wurde. Heute sei es jedoch fester Bestandteil moderner Erkennungstechnik, das Internet einzubeziehen, etwa mit verhaltensbasierenden Schutzmaßnahmen und Reputationsdatenbanken. Das steht sowohl für Genes als auch Dirro wie auch für den Symantec-Experten Stefan Wesche fest. “Eigentlich hat man den Test so durchgeführt, wie man das vor zehn Jahren für aktuell gehalten hat”, so das einhellige Echo.

Ist das nun lediglich der Ärger von drei Anbietern, die bei dem unter den schlechtesten vier gelandet sind? Mitnichten. Der test hat ein praxisfernes Szenario konstruiert, ist wenig transparent und noch weniger aussagekräftig. Nach Ansicht der drei Experten seien sowohl die regelmäßigen Tests von AV-Test in Magdeburg als auch die von AV Comparatives aus Innsbruck wesentlich praxisnäher und aussagekräftiger. “Bei denen kann man auch damit leben, wenn man einmal schlecht abschneidet, denn man kann nachvollziehen, warum das so ist”, sagt Genes.

Update 30. März 18 Uhr 10: Die Stiftung Warentest hat sich inzwischen zu den Angriffen durch die Hersteller geäußert. Sie weist sie durchweg zurück. Ein Teil der berechtigt scheinenden Kritik am Testbericht lässt sich demnach wohl durch die Diskrepanz von an Verbraucher gerichteter Berichterstattung in der Zeitschrift “test” und Erwartungen von Experten an die Detailtiefe in einem Testbericht erklären.