Una falla en la reutilización del espacio de nombres de modelos secuestra los modelos de IA en las plataformas de Google y Microsoft

Una nueva vulnerabilidad de seguridad llamada "Reutilización del Espacio de Nombres del Modelo" permite a los atacantes secuestrar modelos de IA en Google, Microsoft y plataformas de código abierto. Descubra cómo los atacantes pueden reemplazar en secreto modelos confiables y qué se puede hacer para detenerlo.

Se ha descubierto una nueva vulnerabilidad de seguridad que podría permitir a atacantes secuestrar modelos de IA populares e infectar sistemas en plataformas importantes como Vertex AI de Google y Azure AI Foundry de Microsoft. La investigación, realizada por el equipo de Unit 42 en Palo Alto Networks, reveló una falla crítica denominada "Reutilización del Espacio de Nombres del Modelo".

Para su información, los modelos de IA suelen identificarse mediante una convención de nomenclatura sencilla, como Autor/Nombre del Modelo. Este nombre, o "espacio de nombres", es la forma en que los desarrolladores se refieren a los modelos, de forma similar a la dirección de un sitio web. Esta convención de nomenclatura sencilla, aunque práctica, puede ser explotada. La investigación muestra que cuando un desarrollador elimina su cuenta o transfiere la propiedad de un modelo en la popular plataforma Hugging Face , el nombre de ese modelo queda disponible para que cualquiera lo reclame.

Este ataque, simple pero altamente efectivo, implica que un atacante registre un nombre de modelo ya disponible y cargue una nueva versión maliciosa en su lugar. Por ejemplo, si se eliminara un modelo llamado DentalAI/toothfAIry, un atacante podría recrear el nombre e insertar una versión maliciosa.

El equipo de la Unidad 42 demostró esto al asumir el nombre de un modelo en Hugging Face que aún utilizaban Vertex AI de Google y Azure AI Foundry de Microsoft. Mediante este método, pudieron obtener acceso remoto a las plataformas. El equipo comunicó responsablemente sus hallazgos a Google y Microsoft, quienes ya han tomado medidas para solucionar el problema.

Este descubrimiento demuestra que confiar en los modelos de IA basándose únicamente en sus nombres no es suficiente para garantizar su seguridad , y además pone de relieve un problema generalizado en la comunidad de IA. Esta falla afecta no solo a grandes plataformas, sino también a miles de proyectos de código abierto que utilizan el mismo sistema de nombres.

Para mayor seguridad, los investigadores sugieren que los desarrolladores fijen un modelo a una versión específica y verificada para evitar que su código extraiga automáticamente nuevas actualizaciones. Otra solución es descargar y almacenar los modelos en una ubicación interna de confianza después de haberlos revisado exhaustivamente para detectar cualquier problema. Esto ayuda a eliminar el riesgo de cambios previos. En definitiva, asegurar la cadena de suministro de IA requiere que todos, desde los proveedores de plataformas hasta los desarrolladores individuales, sean más vigilantes a la hora de verificar los modelos que utilizan.

Para sumarse a la conversación, Garrett Calpouzos , investigador principal de seguridad de Sonatype, compartió su perspectiva en exclusiva con Hackread.com respecto de este descubrimiento.

Calpouzos explica que «la reutilización del espacio de nombres de modelos no es un riesgo completamente nuevo, sino que se trata básicamente de un robo de repositorio con otro nombre». Señala que este es un vector de ataque conocido en otros ecosistemas de software, por lo que algunas plataformas han introducido paquetes de «mantenimiento de seguridad» para evitar que los atacantes recuperen nombres eliminados.

Para las empresas, aconseja que "los nombres no determinan la procedencia", lo que significa que el nombre de un modelo por sí solo no prueba su origen ni su seguridad. Recomienda que las organizaciones "se adhieran a una revisión inmutable", lo que significa bloquear un modelo a una versión específica e inmutable. Al verificar estos identificadores únicos durante una compilación, se puede bloquear el ataque por completo o detectarlo inmediatamente.

(Imagen de Alexandra_Koch en Pixabay)