Antimalware-testers eindelijk op één lijn

Makers en testers van antimalware zijn gekomen tot een standaard testmethode. Dit moet eerlijke en duidelijke vergelijking mogelijk maken.

Het samenwerkingsverband AMTSO (Anti-Malware Testing Standards Organization) heeft twee lijvige documenten met richtlijnen gepubliceerd. Die bieden een standaard aanpak voor het testen van security-software. Deze richtlijnen genieten de steun van nagenoeg alle grote makers van antimalware-producten, maar ook van enkele bekende testinstanties.

Tot op heden is er nogal onenigheid over gehanteerde testmethodes voor antivirus, antispyware en andere security-software. De leveranciers liggen met zowel elkaar als met testers in de clinch over de eerlijkheid van vergelijkingen en testresultaten. Zo heeft Trend Micro al eens gesteld dat bepaalde tests achterhaald zijn doordat die alleen op een lokale pc worden uitgevoerd. Detectie- en filteringmogelijkheden van cloud-systemen worden dan niet meegenomen.

Zonder Microsoft

De AMTSO-richtlijnen voor het testen van producten, op functionaliteit en op prestatieniveau, moeten een einde maken aan die discussies. De opgestelde universele testmethode is unaniem aangenomen door de leden van deze standaardenorganisatie.

Daaronder bevinden zich de bekende makers van security-software. Naast Symantec, McAfee, Kaspersky en Trend Micro prijken ook F-Secure, AVG, ESET, Sophos, CA en Panda op de lijst. Microsoft, dat gratis antimalware biedt, ontbreekt echter. Verder zijn er ook onafhankelijke testorganisaties vertegenwoordigd, zoals AV-Comparatives, AV-TEST.org en Virus Bulletin.

Holistisch testen

"De meeste tests concentreren zich op simplistische detectie, en schakelen in sommige gevallen zelfs een deel van de functionaliteit van het product uit om een enkele beschermingslaag te kunnen isoleren voor de test", stelt AMTSO. Dat eendimensionale testen, en uitschakelen van functies, is volgens de Whole Product Protection Testing Guidelines (pdf) niet meer toegestaan.

Een test dient te gebeuren op het totale product, met de combinatie van meerdere lagen voor detectie en bescherming. "Teveel huidige tests concentreren zich op individuele technieken, zoals 'on demand scans'. Dat levert geen realistisch beeld op van de beveiliging die hedendaagse security-pakketten bieden", stelt AMTSO-lid Igor Muttik van McAfee.

Prestatieniveau meten

Naast het document over producttesten is er ook een met richtlijnen voor het meten van het prestatieniveau. Die Performance Testing Guidelines (pdf) moeten uniformiteit scheppen voor snelheidsvergelijkingen van verschillende security-pakketten. Dat omvat onder meer de processorbelasting, het geheugengebruik, het netwerkverkeer, en uiteindelijk ook de impact op het presteren van andere applicaties en daarmee de pc als geheel.

"Het is heel verleidelijk om een simplistische aanpak te gebruiken voor het meten van de snelheid en de systeembelasting (footprint) van een antivirus-programma. Het is echter net zo veel een kunst als een wetenschap om de diverse elementen te begrijpen die de testresultaten kunnen scheeftrekken", zegt ceo Mikko Hypponen van leverancier F-Secure.

De richtlijnen zijn eind mei opgesteld en beschikbaar bij AMTSO. Daarbij wordt registratie met een naam en e-mailadres gevraagd, maar dat blijkt niet vereist.

Bron: Webwereld.nl

Deel dit artikel
Voeg toe aan favorieten