esenfrdeitptru

Ocho vulnerabilidades reveladas en la cadena de suministro de desarrollo de IA

AS-18-2024

Fecha: 19/Feb/2024

Resumen:

Los detalles de ocho vulnerabilidades encontradas en la cadena de suministro de código abierto usado para desarrollar modelos internos de IA y ML han sido revelados por la startup de ciberseguridad de Inteligencia Artificial-Protect AI. Todos tienen números de CVE, uno tiene gravedad crítica y siete tienen gravedad alta.

CVE de las vulnerabilidades.

  • CVE-2023-6975: arbitrary file write in MLFLow, CVSS 9.8
  • CVE-2023-6753: arbitrary file write on Windows in MLFlow, CVSS 9.6
  • CVE-2023-6730: RCE in Hugging Face Transformers via RagRetriever.from_pretrained(), CVSS 9.0
  • CVE-2023-6940: server side template injection bypass in MLFlow, CVSS 9.0
  • CVE-2023-6976: arbitrary file upload patch bypass in MLFlow, CVSS 8.8
  • CVE-2023-31036: RCE via arbitrary file overwrite in Triton Inference Server, CVSS 7.5
  • CVE-2023-6909: local file inclusion in MLFlow, CVSS 7.5
  • CVE-2024-0964: LFI in Gradio, CVSS 7.5

Los SBOM tradicionales solo le dicen lo que está sucediendo en la canalización del código, explicó Daryan Dehghanpisheh, cofundador de Protect Ai (y ex líder global de arquitectos de soluciones AI/ML en AWS). Cuando se crea una aplicación de IA, ésta tiene tres procesos claramente diferentes: un canal de código, un canal de datos y, lo que es más importante, tiene el canal de aprendizaje automático. Ese canal de aprendizaje automático es donde se crea el modelo AI/ML. Se basa en el canal de datos y alimenta el canal de código, pero las empresas no ven ese canal intermedio de aprendizaje automático.

Protect AI ha pedido el desarrollo de una lista de materiales de IA/ML para complementar los SBOM (software) y los PBOM (producto) en un blog separado: La lista de materiales de AI/ML se dirige específicamente a los elementos de la IA y los sistemas de aprendizaje automático. Aborda los riesgos exclusivos de la IA, como el envenenamiento de datos y el sesgo del modelo, y requiere actualizaciones continuas debido a la naturaleza cambiante de los modelos de IA.

En ausencia de esta lista de materiales de IA/ML, los desarrolladores internos dependen de su propia experiencia o de la de terceros (como Protect AI) para descubrir cómo se pueden manipular las vulnerabilidades dentro del proceso oculto de aprendizaje automático para introducir fallas en el modelo final antes de despliegue.
Protect AI tiene dos métodos básicos para la detección de vulnerabilidades del modelo AI/ML: escaneo y caza recompensas. Su producto Guardian , presentado en enero de 2024, puede utilizar la salida de su escáner AI/ML (ModelScan) para proporcionar una puerta de enlace segura. Pero es la comunidad de caza recompensas independientes de la empresa la que es particularmente eficaz a la hora de descubrir nuevas vulnerabilidades.

En agosto de 2023, la empresa lanzó lo que llama el primer programa de recompensas por errores de IA/ML del mundo, al que llama hunter. Ahora tiene cerca de 16.000 miembros en la comunidad, dijo Dehghanpisheh. Cuando se lanzó por primera vez en agosto, creo que recibíamos quizás tres por semana. Ahora se llega a más de 15 por día.

Referencia:

https://www.securityweek.com/eight-vulnerabilities-disclosed-in-the-ai-development-supply-chain/

Tlp Clear 2023