Naptime de Google: Innovación en Detección de Vulnerabilidades

Naptime de Google: Innovación en Detección de Vulnerabilidades

El marco Naptime de Google, introducido por los investigadores de Project Zero, tiene como objetivo mejorar la investigación de vulnerabilidades utilizando modelos de lenguaje de gran tamaño (LLM). Iniciado a mediados de 2023, Naptime busca automatizar el análisis de variantes en la detección de vulnerabilidades, permitiendo a los investigadores realizar su trabajo de manera más eficiente, incluso sugiriendo que podrían ‘tomar siestas’ mientras el sistema realiza tareas de investigación.

El diseño de Naptime permite que un LLM simule el enfoque iterativo y basado en hipótesis de los expertos en seguridad. La arquitectura del marco se centra en la interacción entre un agente de IA y un conjunto de herramientas especializadas que imitan el flujo de trabajo de un investigador humano. Entre estas herramientas se encuentran:

• Code Browser: permite navegar por la base de código objetivo, similar a cómo los ingenieros utilizan Chromium Code Search.
• Python: permite ejecutar scripts en un entorno controlado para realizar cálculos intermedios y generar entradas complejas.
• Debugger: interactúa con el programa para observar su comportamiento bajo diferentes entradas.
• Reporter: facilita la comunicación del progreso del agente.
• Controller: verifica si se ha cumplido la condición de éxito y permite al agente abortar la tarea si no se avanza.

El marco es agnóstico tanto en modelos como en backend, lo que significa que puede ser utilizado por agentes humanos para generar trayectorias exitosas para el ajuste de modelos. Además, Naptime se basa en principios establecidos por Project Zero para mejorar el rendimiento de los LLM en la detección de vulnerabilidades, logrando aumentar el rendimiento en las pruebas CyberSecEval2 de Meta hasta 20 veces. En pruebas recientes, se alcanzaron puntajes récord en las pruebas de desbordamiento de búfer y corrupción de memoria.

Los investigadores de Project Zero enfatizan que, aunque los LLM actuales pueden realizar investigaciones de vulnerabilidades básicas, es necesario desarrollar benchmarks más desafiantes y realistas para medir de manera efectiva el progreso de estas iniciativas en la comunidad de seguridad.

El marco Naptime de Google busca mejorar la investigación de vulnerabilidades mediante la automatización y el uso de IA.

Fuente: Infosecurity Magazine | URL