¿Alguna vez has recibido un falso positivo al analizar un archivo en un sitio web como VirusTotal? A veces más de un producto detecta el archivo y lo clasifica como malicioso. Esto puede hacer que los usuarios desconfíen de todos los productos que no detecten el archivo porque no se dan cuenta de que es sólo falso positivo.

Por desgracia, lo mismo ocurre en el caso de las evaluaciones de los productos antivirus, en especial en análisis a pedido estáticos en los que a veces se analizan cientos de miles de muestras. Por supuesto, se necesita invertir muchos recursos para validar un número tan grande de muestras. Por eso la mayoría de los evaluadores sólo puede verificar un pequeño grupo de los archivos que utiliza. ¿Qué pasa con el resto? La única forma de clasificarlo es combinando la reputación de la fuente y el análisis múltiple. Esto significa que, como en el ejemplo de VirusTotal, las empresas que no detectan los archivos que otras sí detectan darán una mala impresión aunque los archivos sólo estén corrompidos o completamente limpios.

Como los buenos resultados de pruebas son un factor clave para las empresas antivirus, se ha aumentado la detección a base de análisis múltiples. Por supuesto, las empresas antivirus, incluyéndonos, han estado analizando los archivos sospechosos con productos de la competencia durante años. Sin duda, conocer el veredicto de otras empresas es útil. Por ejemplo, si 10 empresas antivirus clasifican un archivo sospechoso como Trojan Downloader, esto ayuda a saber por dónde empezar. Pero esto es muy diferente a lo que se está viendo en la actualidad: Como todas las empresas necesitan obtener buenos resultados en las pruebas, el uso de detección basada en análisis múltiples ha aumentado mucho en los últimos años. Claro que a nadie le gusta esta situación: al fin y al cabo nuestro deber es proteger a nuestros usuarios, no burlar las metodologías de las pruebas.

Esta es la razón por la que una revista alemana sobre informática realizó un experimento y presentó sus resultados en una conferencia de seguridad el pasado octubre: la revista creó un archivo limpio y nos pidió que lo detectáramos como un programa nocivo para agregar la detección en VirusTotal. Unos meses después, más de 20 productos detectaban el archivo en VirusTotal. Después de la presentación de la revista, los representantes de varias empresas antivirus estuvieron de acuerdo con que se debía encontrar una solución. Pero la detección basada en análisis múltiples es sólo el síntoma: la raíz del problema es la metodología que se utiliza para evaluar los productos antivirus.

Por desgracia las empresas antivirus no pueden hacer mucho al respecto porque las revistas son las que organizan las pruebas, y la mayoría prefiere una prueba barata, estática y a pedido con 1 millón de muestras (algunas con muchos meses de antigüedad) para impresionar al público en lugar de una prueba cara y dinámica con una cantidad menor (pero validada) de amenazas completamente nuevas.

Como ya he mencionado, las compañías antivirus y la mayoría de quienes organizan las pruebas conocen este problema y no les complace para nada. De hecho, la necesidad de mejorar las metodologías de las pruebas fue la principal razón por las que hace dos años un grupo de empresas antivirus (incluyendo Kaspersky Lab), investigadores independientes y evaluadores fundaron AMTSO (Anti-Malware Testing Standards Organization). Pero a fin de cuentas los periodistas son los que tienen el papel más importante. Por eso decidimos presentar el problema durante nuestro último tour de prensa en Moscú, en el que recibimos periodistas de todo el mundo. Por supuesto, nuestro propósito no era desacreditar a ninguna compañía antivirus (también hay ejemplos de cuando nosotros detectamos archivos por la influencia de los análisis múltiples), sino resaltar el efecto negativo de las económicas pruebas estáticas a pedido.

Lo que hicimos fue como una réplica de lo que la revista de informática alemana hizo el año pasado, pero con más muestras. Creamos 20 archivos limpios y agregamos detección falsa a 10 de ellos. Poco después volvimos a subir los veinte archivos a VirusTotal para ver lo que pasaba. Diez días después, hasta 14 empresas antivirus detectaban todos los archivos que habíamos creado (y que no eran maliciosos). En algunos casos es probable que los análisis heurísticos hayan causado la detección falsa, pero los análisis múltiples sin duda influenciaron algunos de los resultados. Entregamos todas las muestras utilizadas a los periodistas para que las analicen ellos mismos. Comprendemos que esto fue algo arriesgado: Como nuestra presentación también tocó el tema de la propiedad intelectual, existía el riesgo de que los periodistas se enfocaran en averiguar quién copió la detección de quién en lugar de abordar el tema principal (los análisis múltiples como síntoma, no como raíz del problema). Pero al final son los periodistas quienes tienen el poder de impulsar la implementación de mejores pruebas, así que teníamos que dar un primer paso.

Entonces, ¿qué hacemos ahora? Hay algunas buenas noticias: en los últimos meses, algunos evaluadores han comenzado a desarrollar nuevas metodologías para las pruebas. En lugar de los análisis estáticos a pedido intentan evaluar toda la cadena de componentes de detección: módulo anti-spam -> protección “en la nube” -> detección a base de firmas -> emulación -> análisis en tiempo real basado en el comportamiento, etc. Pero a fin de cuentas está en manos de las revistas el comenzar a emplear este tipo de pruebas y abandonar los métodos anticuados.

Si nos deshacemos de las pruebas estáticas a pedido y sus muestras masivas y sin validación, la copia de clasificaciones al menos se reducirá significativamente, los resultados de pruebas serán más cercanos a la realidad (aunque esto signifique deshacerse del 99,x% de las tasas de detección) y todos saldremos beneficiados: la prensa, los usuarios y, por supuesto, nosotros.