Temario del curso
Módulo 1 — Cómo fallan las aplicaciones de IA
Lab: ninguno — recorrido arquitectónico y discusión
El modelo mental del creador sobre la superficie de ataque.
Temas:
- Arquitecturas LLM, RAG y agentes desde el lado del desarrollador.
- El ciclo de vida de solicitud/respondida de una función de IA.
- Flujo de prompts: mensajes del sistema, del desarrollador, del usuario y de las herramientas.
- Dónde entran (y vuelven a entrar) los datos no confiables en el modelo.
- Los límites de confianza que posee un desarrollador frente a los que hereda.
- Por qué los ataques de IA son semánticos, no sintácticos.
- Mapeo del OWASP LLM Top 10 al código que escribes.
Consejo clave: Cada lugar donde el texto no confiable llega al modelo — o la salida del modelo llega a tu código — es un límite que posees.
Módulo 2 — Inyección de prompts para creadores
Lab: Lab 01 — 01-Prompt-Injection
El momento «injection SQL» de la IA — pero no puedes escapar totalmente de él.
Temas:
- Inyección de prompts directa frente a indirecta.
- Instrucciones ocultas en documentos, páginas web y salidas de herramientas.
- Jailbreaks (romper límites) y confusión de roles.
- Por qué importa la separación de instrucciones/datos.
- Diseño defensivo de prompts (delimitadores, estructura, autoridad mínima).
- Por qué la prevención es parcial; diseña para contener.
Prácticas:
- Atacar tu propio chatbot.
- Saltarse un filtro ingenuo.
- Reestructurar el prompt para reducir el radio de explosión.
Módulo 3 — Tratar la salida del modelo como no confiable
Lab: Lab 02 — 02-Output-Handling
La clase de error que los desarrolladores subestiman más.
Temas:
- Salida del modelo como entrada no confiable para el resto de la app.
- Gestión insegura de la salida (LLM02): XSS, SSRF, inyección de comandos/SQL aguas abajo.
- Nunca uses eval/exec/render con la salida cruda del modelo.
- Salidas estructuradas y validación de esquemas.
- Codificación de salidas y listas de permitidos.
- Renderizado seguro en contextos web/interfaz de usuario.
Prácticas:
- Encontrar y corregir una vulnerabilidad de gestión insegura de salidas.
- Aplicar un esquema JSON a las respuestas del modelo.
Módulo 4 — Seguridad en RAG
Lab: Lab 03 — 03-RAG-Security
Una de las nuevas superficies de ataque más grandes — y depende de ti construirla.
Temas:
- Amenazas a la base de datos vectorial y a la recuperación.
- Sanitización en la ingesta.
- Procedencia del documento y puntuación de confianza.
- Alcance de la recuperación y aislamiento de metadatos.
- Instrucciones ocultas en el contenido recuperado (inyección indirecta).
- Fuga de datos mediante la recuperación.
Prácticas: Envenenar un pipeline de RAG con un documento malicioso; añadir sanitización en la ingesta y alcance en la recuperación para defenderlo.
Módulo 5 — Seguridad de Agentes y Herramientas
Lab: Lab 04 — 04-Agent-Safety
Donde un error se convierte en una acción.
Temas:
- Agencia excesiva (LLM06) y abuso de herramientas.
- Mínimo privilegio para agentes.
- Listas de permitidos de herramientas y validación de argumentos.
- Puntos de aprobación y humanos en el bucle.
- Aislamiento (sandboxing) de la ejecución de herramientas.
- Credenciales de alcance limitado y corta vida útil para agentes.
- Limitación de bucles autónomos y encadenamientos.
Prácticas:
- Asegurar un agente con permisos excesivos.
- Añadir una lista de permitidos + punto de aprobación a una herramienta peligrosa.
Módulo 6 — Secretos, Identidad y Costo
Lab: Lab 05 — 05-Secrets-and-Cost
Los errores operativos que causan daño más rápido.
Temas:
- Gestión de claves de API y secretos (nunca en prompts, código ni registros).
- Autenticación y autorización por usuario para funciones de IA.
- Propagación de la identidad del usuario a herramientas y recuperación.
- Denegación de billetera: consumo ilimitado de tokens/costo.
- Límites de tasa, presupuestos de tokens y tiempos de espera.
- Registro sin filtrar secretos o PII (información personalmente identificable).
Prácticas:
- Sacar los secretos de la ruta del prompt/código.
- Añadir límites de tasa por usuario y un presupuesto de tokens/costo.
Módulo 7 — Bibliotecas de Guardrails (Barreras de Protección)
Lab: Lab 06 — 06-Guardrails
Comprar frente a construir para la seguridad de entrada/salida.
Temas:
- Qué hacen (y qué no hacen) los marcos de guardrails.
- Guardrails de entrada: clasificadores de inyección/PII/tópico.
- Guardrails de salida: validación, filtrado, comprobaciones de fundamentación.
- Cuándo es apropiado un guardrail frente a tu propia comprobación determinista.
- Apilar guardrails con los controles de los módulos anteriores.
- Rendimiento, falsos positivos y modos de fallo.
Prácticas:
- Añadir una capa de guardrail de entrada/salida a una función de IA.
- Medir qué captura y qué se le escapa.
Módulo 8 — Realización de Red-Teaming en tu Propia Aplicación
Lab: Lab 07 — 07-Red-Teaming
Entrega como si un atacante ya la hubiera comprometido.
Temas:
- Construcción de una suite de pruebas/abuso para funciones de IA.
- Pruebas automatizadas de inyección de prompts y jailbreaks.
- Pruebas de regresión de guardrails y políticas.
- Ejecución de comprobaciones de seguridad de IA en CI (Integración Continua).
- Cadena de suministro de modelos y dependencias (procedencia, fijación de versiones).
- Una lista de comprobación de seguridad pre-lanzamiento para funciones de IA.
Prácticas:
- Escribir pruebas automatizadas de red-teaming para una función de IA.
- Conectarlas a una comprobación en CI.
Módulo 9 — Puntuación de Seguridad de IA: El Marco SAIS-100
Lab: ninguno — ejercicio de puntuación (utiliza la aplicación Capstone).
Convierte todo lo que has construido en una puntuación repetible.
Temas:
- El Hexágono de Seguridad de IA: seis preguntas en lugar de «¿es seguro?».
- Las seis categorías puntuadas (Datos, Prompt, Agente, Cadena de Suministro, Detección, Gobernanza).
- La rúbrica de 100 puntos y sus ponderaciones.
- Bandas de veredicto y la regla de anulación de categoría única.
- La Escala de Elefante Puntuación de IA Segura (SAIS-100) como un marco reutilizable y con marca propia.
- Puntuar antes/después del endurecimiento como métrica.
Prácticas:
- Puntuar la aplicación Capstone en una escala de 100 puntos.
- Identificar el único cambio que más eleva la puntuación.
Consejo clave: Las tres categorías con mayor ponderación se mapean a los límites de confianza que posee un desarrollador; por tanto, la puntuación mide exactamente lo que este curso enseñó.
Proyecto Final (Capstone)
Los estudiantes endurecen una aplicación de IA deliberadamente vulnerable de extremo a extremo.
La aplicación base contiene:
- Un prompt inyectable.
- Gestión insegura de la salida.
- Un pipeline de RAG sin alcance definido.
- Un agente con permisos excesivos.
- Secretos en la ruta del prompt.
- Sin límites de costo.
Los estudiantes aplican el curso:
- Reestructurar los prompts para contener.
- Validar y codificar la salida del modelo.
- Sanitizar y definir el alcance de la recuperación.
- Aplicar mínimo privilegio y puntos de aprobación al agente.
- Mover los secretos fuera y añadir límites de costo/tasa.
- Añadir guardrails y pruebas automatizadas de red-teaming.
Entregable: Una aplicación endurecida más una breve autoevaluación del OWASP LLM Top 10.
Mapa de Módulos a Labs
Los laboratorios se ejecutan en orden de laboratorio, que sigue el orden de los módulos. El curso tiene 9 módulos y 7 laboratorios: el Módulo 1 es un recorrido arquitectónico/discusión y el Módulo 9 es un ejercicio de puntuación, por lo que ninguno tiene su propia carpeta de lab.
- Lab 01 - 01-Prompt-Injection: Atacar tu chatbot y diseñar para contener (Módulo 2)
- Lab 02 - 02-Output-Handling: Corregir un error de gestión insegura de salidas (Módulo 3)
- Lab 03 - 03-RAG-Security: Envenenar y luego defender un pipeline de RAG (Módulo 4)
- Lab 04 - 04-Agent-Safety: Asegurar un agente con permisos excesivos (Módulo 5)
- Lab 05 - 05-Secrets-and-Cost: Asegurar claves + añadir guardrails de costo (Módulo 6)
- Lab 06 - 06-Guardrails: Añadir una capa de guardrail de entrada/salida (Módulo 7)
- Lab 07 - 07-Red-Teaming: Pruebas automatizadas de red-teaming en CI (Módulo 8)
El Módulo 1 (Cómo fallan las aplicaciones de IA) no tiene lab — se ejecuta como un recorrido arquitectónico y discusión. El Módulo 9 (Puntuación de Seguridad de IA) no tiene carpeta de lab — se ejecuta como un ejercicio de puntuación contra la aplicación Capstone.
Requerimientos
- Nivel de habilidad: Intermedio.
- Los estudiantes deben sentirse cómodos desarrollando y consumiendo API REST, utilizando un lenguaje de scripting (los laboratorios usan Python), realizando autenticación básica de aplicaciones, usando git y la línea de comandos (CLI).
- No se requiere experiencia previa en aprendizaje automático; este es un curso de seguridad de aplicaciones para personas que construyen con LLMs, no que los entrenan.
Público objetivo
- Ingenieros de software / backend que construyen funciones LLM.
- Desarrolladores full-stack y de API.
- Ingenieros de aplicaciones de IA/ML.
- Ingenieros de plataforma que entregan copilotos y agentes.
- Líderes técnicos e ingenieros senior responsables de funciones de IA.
Formación Corporativa a Medida
Soluciones de formación diseñadas exclusivamente para empresas.
- Contenido personalizado: Adaptamos el temario y los ejercicios prácticos a los objetivos y necesidades reales del proyecto.
- Calendario flexible: Fechas y horarios adaptados a la agenda de su equipo.
- Modalidad: Online (en directo), In-company (en sus oficinas) o Híbrida.
Precio por grupo privado (formación online) desde 4350 € + IVA*
Contáctenos para obtener un presupuesto exacto y conocer nuestras promociones actuales
Testimonios (2)
Realmente disfruté aprender sobre los ataques de IA y las herramientas disponibles para comenzar a practicar y utilizarlas activamente en pruebas de seguridad. Adquirí muchos conocimientos que no tenía al inicio, y el curso cumplió con lo que esperaba. Mi parte favorita del entrenamiento fue el navegador Comet, y quedé impresionado por lo que podía hacer. Sin duda seguiré explorándolo más. En general, fue un excelente curso y disfruté aprender sobre los Top 10 de OWASP para GenAI.
Patrick Collins - Optum
Curso - OWASP GenAI Security
Traducción Automática
El conocimiento profesional y la forma en que lo presentó ante nosotros
Miroslav Nachev - PUBLIC COURSE
Curso - Cybersecurity in AI Systems
Traducción Automática
