Antivirus nuls et tests d’antivirus nuls

Les codes malveillants évoluent. Le petit monde des analyses d’antivirus aussi. Deux sites de comparatifs, Anti-Malware Test Lab (http://www.anti-malware-test.com/) et AV-Comparatives.org, (http://www.av-comparatives.org/) ont décidé de s’associer. Leur objectif est de proposer d’ici la fin de cette année des comparatifs plus complets afin de mesurer plus précisément l’efficacité des antivirus. « Je suis sûr que notre partenariat sera utile au développement de l’industrie », explique Sergey Ilyin, fondateur de l’Anti-Malware Test Lab en Russie.

Mais cette annonce laisse dubitatif un autre Russe, Boris Sharov, Pdg de l’éditeur de sécurité Doctor Web (http://www.drweb.fr/). « Derrière le terme « partenariat » il faut comprendre « business » : nous ne participons plus aux tests de ces deux sites car ils demandent aux éditeurs d’antivirus de rembourser les frais occasionnés par leurs comparatifs. Notre position est claire : à la différence d’autres concurrents, nous ne paierons jamais des testeurs, quels qu’ils soient. »

Cette opinion est partagée par d’autres sociétés qui estiment que les comparatifs menés par ces deux sites ne sont pas assez sérieux : utilisation de faux virus, protocole de test obscur… « Les antivirus ne peuvent s’améliorer que grâce aux travaux de nos chercheurs et aux échanges d’informations entre éditeurs. Pas grâce à ces testeurs ! », indique Boris Sharov.

Malheureusement, la détection virale n’a pas évolué depuis de nombreuses années. Elle se trouve aujourd’hui dépassée par les pirates qui multiplient les virus inconnus et donc indétectables par les antivirus. Le marketing a aussi pris le dessus constatent aussi quelques éditeurs qui s’inquiètent de l’intérêt donné aux sites de comparatifs.

C’est la raison pour laquelle différents acteurs de la sécurité (parmi lesquels F-Secure, Symantec, Doctor Web) ont décidé de s’associer cet hiver afin de créer un standard officiel, l’Anti-Malware Testing Working Group. Mais ce standard aura peut-être du mal à voir le jour car certaines sociétés voient d’un mauvais œil l’arrivée de AV-Comparatives.org dans ce groupe de travail…

L’industrie de la sécurité informatique hésite donc entre la recherche et le marketing. D’où une baisse de performance des logiciels. Résultat, certains se montrent « nerveux ». Ils ont décidé « d’inclure dans leur contrat une clause interdisant l’utilisation d’outils automatiques ou semi-automatiques afin d’extraire ou de construire toute signature ou dispositif de détection à partir des résultats », nous a révélé un spécialiste. Pour éviter tout procès, les organismes qui feront des tests comparatifs devront donc masquer le nom des éditeurs ou monter un partenariat avec eux…

Antivirus : pourquoi les tests actuels sont dépassés

Andreas Marx, collaborateur pour l’organisme de tests antivirus AV-test.org, a envoyé un email cet après-midi pour justifier la création de tests plus évolués et mieux adaptés au piratage actuel.

« Les résultats des tests actuels sont non seulement moins significatifs, mais ils induisent en erreur l’utilisateur. La plupart des tests ont été développés il y a une quinzaine d’années ».

Or, la situation a évolué.

« Prenons l’exemple de l’automobile, nous n’avons pas uniquement des ceintures de sécurité comme système de protection. Il y a aussi les airbags et l’ABS. Or, personne aujourd’hui ne pense qu’un test axé uniquement sur les ceintures de sécurité donnerait une information suffisante sur la sécurité de la voiture ».

Pour les antivirus c’est la même chose.

« Au cours d’un colloque sur les tests d’antivirus à Reykjavik (Islande), les éditeurs d’antivirus notamment ont discuté des tests comparatifs et la facon de les améliorer.

Des représentants de Symantec, Kaspersky, F-Secure et Panda, et de AV-Test.org, ont décidé de créer un groupe de travail. Cette entité devrait non seulement publier des directives et des documents de travail de façon régulière sur les tests des AV mais aussi éduquer les usagers et les testeurs. La protection de produits devrait être aussi améliorée. »

D’autres discussions ont eu lieu lors de la conférence Virus Bulletin 2007 à Vienne (Autriche). Des représentants de Avira, PC Outils et Trend Micro se sont joints à l’initiative ».

La vérité sur les antivirus

Les pirates font peur. Mais ils rapportent aussi beaucoup d’argent aux éditeurs d’antivirus. Régulièrement, des tests comparatifs sont publiés dans la presse ou par des sites. Et à chaque fois, les services marketing de ces éditeurs trouvent une astuce pour déclarer leur produit meilleur que les autres. Une méthode qui n’est pas propre à ces éditeurs.

Dans l’univers de la télévision que je connais bien c’est la même chose : à chaque fois qu’un comparatif d’audience est publié, toutes les chaînes crient haut et fort qu’elles sont premières !

Revenons aux antivirus. Ces tests comparatifs sont en fait dépassés et ne sont utilisés que comme support marketing. D’ailleurs, pour obtenir une détection à 100% lors du test suivant, des éditeurs n’hésitent pas à ajouter à leur base de signatures virales tous les codes malveillants qu’ils n’avaient pas reconnue la première fois. Peu importe que parmi ces codes malveillants il y ait des codes qui ne soient pas… malveillants.

Ils sont dépassés car les pirates ne se contentent plus depuis belle lurette de balancer un virus connu de tous les antivirus. Encore que : on voit régulièrement d’anciennes versions de codes malveillants resurgir et mettre à mal quelques logiciels.

Aujourd’hui, les pirates (du moins les vrais « pros ») utilisent des méthodes sophistiquées pour ne pas être repérés. Ni par l’utilisateur de l’ordinateur (ou de l’entreprise) ni par l’antivirus.

Bref, les tests sont dépassés.

C’est la raison pour laquelle, quelques éditeurs d’antivirus ont décidé de mettre au point de nouveaux tests tenant compte de l’évolution des attaques virales. Nom de ce programme : l’Anti-Malware Testing Working. Les antivirus ne seront plus classés selon leur capacité à détecter ou non des virus mais aussi selon leur comportement face à des attaques ciblées.

Un programme intéressant, voire très ambitieux. Tous les experts reconnaissent que les tests actuels sont obsolètes. Mais cette annonce des éditeurs soulève aussi de nombreuses questions comme le fait remarquer Renaud Feil, Consultant Sécurité (HSC) :

« Ce type de résultat ne peut qu’encourager les grands éditeurs à choisir eux-mêmes le protocole de test devant faire autorité ! Cela peut se comprendre, car la plupart des jeux de tests utilisés contiennent des virus “périmés”, ou fonctionnant sur d’autres systèmes d’exploitation que celui sur lequel l’antivirus est installé.

Mais le problème est ailleurs. Cette obsession du 100% de détection des virus connus cache l’échec de la détection comportementale des programmes hostiles. Bloquer les virus “standards” qui forment le bruit de fond de l’Internet est aujourd’hui une problématique maîtrisée par la plupart des organisations et des particuliers. Il n’en est pas de même pour la détection des programmes hostiles utilisés dans des attaques plus ciblées et plus discrètes. Actuellement, n’importe quel antivirus du marché détecte un programme hostile connu… et laisse passer un programme hostile inconnu ou modifié pour échapper à cet antivirus, et ce malgré les promesses et les nombreux slogans marketing.

Le véritable défi qui attend les éditeurs d’antivirus est de bloquer les programmes hostiles inconnus. En ce sens, le protocole de test à définir devrait mettre à l’épreuve chaque antivirus face à des programmes de test réalisant des actions ostensiblement malveillantes et qui serait programmés pour l’occasion et de façon indépendante. Le challenge pour les équipes de R&D des éditeurs est de taille, mais il serait temps que les recettes générées par les ventes d’antivirus soient utilisées à bon escient ! »

Le discours de Renaud Feil a le mérite d’être clair et surtout indépendant.

Rendez-vous donc en 2008 pour voir les premiers tests et résultats…

Des antivirus qui ne protègent pas des virus

Le marché de la sécurité informatique est en plein boom. A force de crier au loup et d’annoncer qu’un méchant pirate se cache derrière le moindre site ou email, les internautes se sont équipés en masse.

Revers de la médaille : ce marché attire de nombreux éditeurs. Comme s’en sortir quand on n’a pas les énormes moyens de Symantec pour communiquer régulièrement dans la presse ?

En critiquant indirectement les autres. C’est ce que fait Panda qui vient de sortir une étude basée sur 1,5 million de PC de particuliers et 1200 réseaux d’entreprises. Une technique facile et toujours efficace. Tous les services marketing et les agences de com’ ont compris que pour attirer les journalistes il fallait pondre une étude… même creuse (comme se fut le cas pour moi récemment…).

Cette étude révèle donc que la plupart des entreprises et des particuliers étaient infectés alors qu’ils avaient un antivirus correctement mis à jour !!!

Quoi ? Les antivirus ne sont pas efficaces ? Mais c’est un scandale… En réalité, l’étude de Panda n’est pas un scoop. On sait depuis longtemps qu’on ne peut repérer que ce qu’on… connaît. Résultat, les antivirus ne peuvent détecter que des codes malveillants dont les signatures sont dans leurs bases.

Evidemment, les éditeurs nous sortent de nouvelles techniques – plus fumeuses qu’autre chose – pour affirmer qu’ils peuvent repérer des fichiers ou des comportements suspects.

Pour comprendre que c’est souvent du bidon, lisez le livre d’Eric Filiol* « Les techniques virales avancées » (Ed. Springer). Certes, son ouvrage n’est pas à la portée de tout le monde. Je n’ai d’ailleurs pas compris plus d’un tiers des pages ! Mais les propos sont suffisamment clairs et précis pour comprendre que les éditeurs d’antivirus ne sont pas prêts à combler leur retard.

Mais le résultat est toujours le même : comme aux échecs, les pirates ont toujours un coup d’avance.

Et l’étude de Panda (mais les autres éditeurs font la même chose) ne vise qu’un seul but : vendre ses produits sous prétexte que ceux des autres n’ont pas tout détecté.

* Petite auto publicité : il a écrit avec moi le livre « Cybercriminalité : enquête sur les mafias qui envahissent le web » paru en novembre 2006 aux Editions Dunod.

L’antivirus qui venait du froid

J’ai rencontré hier Boris Sharov, le PDG de la société Doctor Web qui édite différentes solutions de sécurité. Il est bien sûr moins connu et médiatisé que son homologue Kaspersky mais son discours et son antivirus méritent largement d’être mieux connus.

Fondée en décembre 2003 par l’auteur de l’antivirus Dr.Web Igor Daniloff, ancien pilote de chasse des forces aériennes de l’URSS, la société connait une croissance constante qui dépasse largement celle du marché. L’engagement de plus de 100 personnes qui travaillent aujourd’hui pour Doctor Web à Moscou, Saint-Pétersbourg et Kiev.

Cet antivirus est aujourd’hui installé sur tous les ordinateurs de l’Armée russe (depuis 4 ans) et d’autres organismes officiels. Preuve que ce logiciel est performant : les militaires russes font des audits tous les trois mois pour savoir “Dr.Web n’a pas mis des pièges dans les codes de notre logiciel”, indique Boris Sharov. Dès qu’ils repèrent un code malveillant ils l’envoient à l’éditeur pour qu’il l’intègre le plus rapidement possible dans sa base de signatures.

La version 4.44 vient de sortir aujourd’hui en francais (www.drweb.fr/telechargement.). Deux ans après la précédente version ! Elle est compatible avec Vista. “Ca nous a pris du temps de retravailler notre moteur d’analyse en temps réel”, précise le PDG.

Le discours de Boris est en décalage avec celui de ses confrères qui misent plus sur le marketing que sur les réelles avancées techniques. Ainsi, “la rapidité d’analyse est souvent un critère important dans le choix d’un antivirus. Mais les moyens pour obtenir une grande vitesse d’analyse sont différents. Certains éditeurs, pour augmenter la rapidité d’analyse, excluent de l’analyse des objets importants, tels que des archives, des bases de mails etc.; ils désactivent parfois le moteur heuristique, ce qui affaiblit considérablement la détection des menaces potentielles. Toutes ces méthodes utilisées pour obtenir une grande vitesse de scan diminuent le niveau de sécurité, mais l’utilisateur l’ignore, restant fasciné par le fonctionnement rapide du logiciel. Parfois, pour augmenter la rapidité de fonctionnement, on utilise une option permettant de paramétrer une seule partie du disque à analyser par le moteur antivirus”, explique l’éditeur.

Enfin , petit scoop : DrWeb développe en ce moment un firewall.

“Nous n’avons pas de suite logicielle car ce n’est pas un handicap pour nous en Russie. Mais nous allons développer un firewall qui sera disponible avec notre prochaine version. Avec notre pare-feu, nous n’avons pas l’intention d’être des experts mais comme Agnitium (éditeur du parefeu Outpost). Nous ferons notre travail de filtrage.”

Merci à Eric Filiol de m’avoir mis en contact avec Boris