Solicitar información

Temario del curso

El panorama de amenazas en la IA

  • Por qué la seguridad en IA difiere del resto: naturaleza no determinista, razonamiento poco transparente y el prompt como superficie de ataque
  • Taxonomía de ataques: según se produzcan durante el entrenamiento, la inferencia o en la cadena de suministro
  • El modelo del adversario en IA: quiénes atacan los sistemas de inteligencia artificial y por qué motivo

OWASP Top 10 para aplicaciones LLM

  • Inyección de prompts: vectores de ataque directos e indirectos
  • Manejo inseguro de la salida y falsificación de solicitudes entre plugins
  • Envenenamiento de los datos de entrenamiento y vulnerabilidades en la cadena de suministro
  • Denegación de servicio mediante el modelo, filtración de información sensible y excesiva autonomía del sistema
  • Laboratorio práctico: aprovechamiento de cada categoría del OWASP contra una aplicación de prueba

Inyección de prompts y pruebas de penetración para evasión en LLM

  • Tipologías de técnicas de inyección: directa, indirecta, multipaso y multimodal
  • Automatización de pruebas de penetración con herramientas como Giskard, Garak y otros fuzzers personalizados
  • Clasificación de intentos de evasión de restricciones y evaluación de defensas implementadas
  • Diseño de un entorno propio para pruebas de penetración en seguridad de LLM con fines continuos

Ataques y defensas a nivel de modelo

  • Extracción de modelos: obtención ilícita de pesos y funcionalidades mediante solicitudes a la API del sistema
  • Inferencia de pertenencia a un conjunto de entrenamiento: determinar si ciertos datos formaban parte originalmente de ese set
  • Ejemplos adversariales: alteraciones que inducen errores en clasificadores o vectores de representación
  • Envenenamiento de los datos de entrenamiento: manipulación deliberada para crear puertas traseras o reducir el rendimiento del modelo

Controles de seguridad en las entradas y salidas del sistema

  • Limpieza de entradas que va más allá de los métodos habituales de protección web
  • Filtrado de la información generada por el modelo: control de toxicidad, datos personales sensibles y posible ejecución inadecuada de código por parte del sistema.
  • Implementación de barreras preventivas como infraestructura crítica para la seguridad: NeMo, Guardrails AI y políticas personalizadas del usuario
  • Obligatoriedad en el uso de salidas estructuradas como mecanismo complementario de protección.

Seguridad en la cadena de suministro de IA

  • Trazabilidad del origen de los modelos: validación de su autenticidad y condición intacta.
  • Análisis pormenorizado de dependencias vinculadas a entornos de Machine Learning y formatos específicos de modelos.
  • Aseguramiento en la prestación de servicios basados en IA: aislamiento mediante sandbox, restricción en comunicaciones de red y gestión con privilegios mínimos imprescindibles.
  • Inspección minuciosa tanto de modelos ajustados por usuarios como de los generados comunitariamente en busca de código malicioso oculto.

Prácticas operativas para la seguridad de sistemas basados en IA

  • Gestión estricta del acceso a endpoints vinculados al modelo, bases de vectores y utilidades autónomas.
  • Registro exhaustivo de cada interacción efectuada con el sistema de IA y decisiones tomadas por éste.
  • Protocolos para reaccionar ante incidentes de seguridad propios del ámbito de la IA: supuesto en que el modelo mismo haya sido comprometido.
  • Incorporación constante de verificaciones de seguridad en los flujos de CI/CD vinculados a operaciones con modelos y datos.

Diseño estratégico para programas de seguridad orientada a IA

  • Modelo de madurez y guía paso a paso para desarrollar un programa eficaz en este ámbito.
  • Fusión adecuada del segmento de seguridad específica de IA con las actuales políticas de Seguridad de Aplicaciones e Infraestructura Cloud.
  • Marcos normativos y legislación reciente aplicable a la creación y puesta en funcionamiento de sistemas basados en IA.
  • Diseño, redacción y actualización constante de un manual institucional destinado al mantenimiento de seguridad en todo proyecto con componentes de IA.

Requerimientos

  • Experiencia previa desplegando modelos de Machine Learning o aplicaciones LLM en producción.
  • Conocimiento de conceptos básicos de seguridad, como autenticación, autorización y modelado de amenazas.
  • Dominio del lenguaje Python para llevar a cabo ejercicios de pruebas adversariales.

Público objetivo

  • Ingenieros de seguridad que deseen ampliar sus competencias al ámbito de las amenazas en IA y Machine Learning.
  • Ingenieros de Machine Learning responsables de garantizar la seguridad y robustez de los modelos.
  • Integrantes de equipos de pruebas de penetración interesados en incorporar sistemas de IA a sus procedimientos.
 14 Horas

Formación Corporativa a Medida

Soluciones de formación diseñadas exclusivamente para empresas.

  • Contenido personalizado: Adaptamos el temario y los ejercicios prácticos a los objetivos y necesidades reales del proyecto.
  • Calendario flexible: Fechas y horarios adaptados a la agenda de su equipo.
  • Modalidad: Online (en directo), In-company (en sus oficinas) o Híbrida.
Inversión

Precio por grupo privado (formación online) desde 2900 € + IVA*

Contáctenos para obtener un presupuesto exacto y conocer nuestras promociones actuales

Próximos cursos

Categorías Relacionadas