Seguridad avanzada en IA para desarrolladores

Día 1 — Profundización en seguridad para IA basada en agentes

Sesión 1 — 09:30 a 10:50 · Repaso y análisis profundo de inyecciones de prompts

• Breve repaso de la Lista OWASP Top 10 para LLM (2025), base común del curso.
• Inyecciones avanzadas de prompts: métodos indirectos, manipulación en múltiples interacciones y técnicas multimodales.
• Técnicas de «jailbreak» y taxonomías para detectar vulnerabilidades.
• Fugas en los prompts del sistema y patrones de extracción no autorizada de información.
• Encuesta interactiva mediante Slido: «¿Cuál es la herramienta más sensible a la que actualmente tienen acceso sus agentes?»

Pausa — 10:50 a 11:10

Sesión 2 — 11:10 a 12:30 · Seguridad en los ciclos de desarrollo y despliegue de IA: datos, modelos y RAG

• Integridad de datos de entrenamiento: envenenamiento, puertas traseras e historial de origen.
• Riesgos asociados a la cadena de suministro de modelos: procesos de afinado, adaptadores y normativa sobre repositorios.
• Vectores de ataque específicos para RAG: contaminación de bases vectoriales, manipulación del contexto y técnicas de recuperación hostil.
• Seguridad en representaciones numéricas de texto (embeddings): información que pueden revelar y métodos para protegerlas.
• Laboratorio práctico (~30 minutos): los participantes contaminan un pequeño corpus RAG y posteriormente implementan medidas defensivas. Tras ello, se realiza una puesta en común grupal.

Almuerzo — 12:30 a 13:20

Sesión 3 — 13:20 a 14:40 · Lista OWASP Top 10 para Aplicaciones con Agentes (2026) — Parte 1

• Manipulación de los objetivos asignados a los agentes y subversión de su propósito.
• Uso indebido de permisos y escalada de privilegios mediante cadenas de herramientas.
• Alteraciones en la memoria: ataques persistentes, episódicos o compartidos entre varios agentes.
• Aprovechamiento de mecanismos de planificación y razonamiento por parte de los atacantes.
• Gestión de identidad y autenticación en sistemas que emplean agentes.
• Demostración en vivo: ejemplo práctico de manipulación del objetivo de un agente sencillo de planificación.

Pausa — 14:40 a 15:00

Sesión 4 — 15:00 a 16:30 · Lista OWASP Top 10 para Aplicaciones con Agentes (2026) — Parte 2 + Seguridad MCP

• Arquitectura y límites de confianza en el protocolo MCP (Model Context Protocol).
• Seguridad en servidores MCP: autenticación, control de alcance de herramientas y modelos de permisos.
• Ataques basados en flujos de trabajo multicapa: concatenación de ataques, ejecución indirecta y fallos en cascada.
• Comunicación entre agentes y niveles de confianza que deben existir.
• Observabilidad de los agentes y preparación para posibles análisis forenses.
• Cierre del Día 1: cada participante identifica un riesgo clave relacionado con la seguridad de sus propios sistemas basados en agentes.
• Preguntas y respuestas.

Día 2 — Red-teaming, diseño arquitectónico y respuesta a incidentes

Sesión 1 — 09:30 a 10:50 · Red-teaming en IA: metodología básica

• Definición de red-teaming en el entorno de la IA (y diferencias respecto al pentesting tradicional).
• Frameworks de referencia: MITRE ATLAS, asociación con la Lista OWASP Agentic Top 10 y el marco NIST AI RMF.
• Formas de delimitar un proyecto de red-teaming para sistemas basados en LLM o agentes.
• Técnicas manuales: ingeniería orientada a prompts, librerías especializadas en jailbreak y manipulación de objetivos.
• Panorama de herramientas automatizadas: Garak, PyRIT, Promptfoo e instrumentos propios desarrollados por los equipos.
• Aspectos éticos, normativa de seguridad y buenas prácticas en la divulgación responsable de vulnerabilidades IA.

Pausa — 10:50 a 11:10

Sesión 2 — 11:10 a 12:30 · Laboratorio práctico de red-teaming

• Laboratorio extendido (~60 minutos): los asistentes trabajan por parejas contra un entorno predeterminado con tres vulnerabilidades identificadas; cada equipo elabora un informe resumido sobre rutas de ataque, impactos posibles y medidas recomendadas.
• Puesta en común grupal y análisis conjunto de resultados.

Almuerzo — 12:30 a 13:20

Sesión 3 — 13:20 a 14:40 · Patrones arquitectónicos seguros para IA basada en agentes en el ámbito gubernamental

• Estrategias de defensa por capas para sistemas que emplean agentes: aislamiento, uso de entornos aislados y limitación del alcance de posibles fallos.
• Diseño responsable de catálogos de herramientas: listas blancas, validación estricta de parámetros e inspección detallada de resultados.
• Patrones que integran supervisión humana y momentos en los que se exige confirmación explícita por parte del usuario.
• Límites de uso para información sensible: determinar dónde pueden o no circular datos personales identificables o clasificados como OFICIAL-SENSIBLE.
• Conformidad con los Principios de IA británicos, el marco NIST AI RMF y controles estandarizados ISO/IEC 42001.
• Estudio de caso arquitectónico: análisis práctico de un servicio gubernamental basado en agentes.

Pausa — 14:40 a 15:00

Sesión 4 — 15:00 a 16:30 · Respuesta a incidentes, elaboración del manual de seguridad y cierre del curso

• Tipos de incidentes propios del ámbito de la IA: escalada tras inyecciones maliciosas, empleo indebido de herramientas, extracción no autorizada de datos y comportamientos anómalos en modelos.
• Señales de alerta y patrones de registro útiles para detectar anomalías en sistemas basados en agentes.
• Estructura básica de un manual de respuesta ante incidentes: contención, erradicación, recuperación operativa y lecciones aprendidas.
• Actividad final (~45 minutos): cada participante redacta un manual de seguridad para agentes en una página, centrado en un servicio específico de su propio entorno laboral.
• Planificación ejecutiva: acciones recomendadas a 30, 60 y 90 días plazo.
• Recursos complementarios, lecturas orientativas y próximos pasos.
• Preguntas finales y clausura del curso.