Seguridad en IA para equipos de seguridad

Módulo 1 — Sistemas de IA para ingenieros de seguridad

Laboratorio: Lab 01 — Introducción.

Comprensión de la arquitectura subyacente.

Temas a tratar:

• Diferencias entre modelos LLM y aplicaciones convencionales
• Pipelines de inferencia en IA
• Flujo de generación de instrucciones
• Arquitecturas RAG
• Bases de datos de incrustaciones y vectores
• Fluxos de trabajo basados en agentes IA
• Llamadas a herramientas desde la IA
• Pasarelas dedicadas a sistemas de IA
• Copilotos basados en IA
• Protocolos MCP y estándares para agentes
• Dónde un WAF consigue obtener visibilidad sobre el tráfico
• Dónde dicha visibilidad se pierde completamente

Concepto clave: Los WAFs tradicionales suelen perder visibilidad una vez que la instrucción llega al propio modelo.

Módulo 2 — OWASP GenAI Top 10

Laboratorio: no aplica — sesión interactiva de recapitulación y debate.

Categorías fundamentales de amenazas en la IA.

Temas a tratar: 

• Inyección de instrucciones
• Manejo inseguro de resultados generados por modelos
• Envenenamiento de datos utilizados para el entrenamiento de IA
• Denegación de servicio a nivel de modelo
• Vulnerabilidades en la cadena de suministro de modelos y software
• Pérdida no autorizada de información sensible
• Autonomía desmedida de los agentes IA
• Debilidades vinculadas a incrustaciones y vectores de datos
• Difusión intencionada de información falsa o engañosa
• Uso ilimitado e incontrolado de recursos computacionales

Puntos a considerar:

• Variaciones frente al listado tradicional de OWASP
• Conexión directa con las herramientas defensivas: WAF, pasarelas y controles en la capa de aplicación
• Dónde resultan útiles cada una de dichas herramientas
• Situaciones en las que tales mecanismos defensivos resultan insuficientes

Módulo 3 — Detección de inyecciones de instrucciones

Laboratorio: Lab 02 — Inyección de Instrucciones.

Este representa el momento análogo a la clásica inyección SQL en el entorno IA.

Temas tratados:

• Inyección directa de instrucciones
• Inyección indirecta de instrucciones
• Instrucciones ocultas dentro del contenido generado
• Ataques aprovechando documentos o archivos externos
• Inyección HTML y Markdown no deseados
• Pautas habituales para vulnerar restricciones del modelo
• Manipulación del contexto que modifique el comportamiento esperado
• Ataques basados en la confusión de roles entre usuarios y sistema

Estrategias recomendadas para la detección:

• Uso de heurísticas mediante listas de palabras clave
• Clasificación semántica del contenido enviado
• Ejecución de análisis estructural de instrucciones (linting)
• Aplicación estricta de límites al alcance permitido de comandos e instrucciones
• Implementación de listas blancas y negras para filtros regulares
• Diseño de patrones expresivos especializados para detectar contextos IA

Laboratorios prácticos incluidos:

• Ataque controlado a un chatbot básico
• Burla de filtros de seguridad poco robustos
• Desarrollo y combinación de múltiples mecanismos de detección

Módulo 4 — Reglas WAF adaptadas específicamente a entornos IA

Laboratorio: Lab 03 — Conceptos Básicos de WAF.

Cómo deben evolucionar las reglas del WAF para abordar los desafíos propios de la IA.

• Temas relevantes a analizar:
• Protección eficaz de endpoints que ejecuten modelos LLM
• Blindaje de flujos de inferencia en las APIs correspondientes
• Aplicación limitaciones de tasa sensibles a la cantidad de tokens empleados
• Control del tamaño máximo permitido de instrucciones enviadas
• Implementación de firmas específicas para tráfico IA
• Detección temprana de comportamientos atípicos en conversaciones continuas
• Identifición sistemática de patrones de abuso que se extiendan a múltiples turnos de interacción
• Prevención del intento ilícito por enumerar tipos de modelos disponibles
• Control de técnicas no autorizadas destinadas a la extracción masiva de información del modelo
• Implementación mecanismos para impedir desbordes económicos asociados al consumo indiscriminado de recursos IA

Ejemplos prácticos proporcionados:

• Medidas de protección aplicadas al endpoint /v1/chat/completions
• Técnicas recomendadas para salvaguardar APIs que transmiten contenidos en tiempo real
• Métodos efectivos destinados a bloquear llamadas recursivas y cíclicas generadas por agentes autónomos

Módulo 5 — Protección de las infraestructuras RAG contra ataques cibernéticos

Laboratorio: Lab 04 — Seguridad en Infraestructuras RAG.

Este constituye uno de los puntos más vulnerables ante nuevas amenazas recientes.

Temas desarrollados:

• Amenazas propias asociadas a las bases de datos vectoriales empleadas en RAG
• Vulnerabilidades derivadas del envenenamiento premeditado de incrustaciones informativas
• Riesgos inherentes al uso irresponsable o malintencionado de documentos y PDFs
• Mecanismos manipulativos dirigidos a la recuperación incorrecta de datos deseados por el usuario
• Técnicas encaminadas a alterar semánticamente el contenido almacenado en las bases RAG
• Instrucciones ocultas disimuladas deliberadamente dentro del texto textual entregado
• Peligros asociados a la contaminación no controlada entre distintos documentos guardados simultáneamente en el sistema
• Técnicas alternativas que favorezcan la extracción clandestina de información reservada mediante flujos recuperativos inadecuados

Contramedidas sugeridas:

• Limpieza y saneamiento riguroso de documentos antes de incorporarlos al sistema
• Sistemas que permitan calcular niveles de confianza ante cada contenido ingresado
• Isolación efectiva entre distintos metadatos relacionados con cada material fuente introducido
• Técnicas que garanticen el trazabilidad plena y segura de origen de información procesada
• Diseño políticas adecuadas limitando las opciones y tipos de búsqueda que puede ejecutar el usuario
• Separación lógica o segmentación del almacenamiento documental para evitar contagios innecesarios

Caso práctico presentado: “Cargue un archivo PDF envenenado y tome control completo de nuestro sistema asistente basado en IA.”

Módulo 6 — Protección en tiempo real de los sistemas de IA generativos autónomos

Laboratorio: Lab 05 — Seguridad para Agentes IA.

Punto donde surgen peligros más considerables debido a la falta de supervisión humana.

Temas fundamentales discutidos:

• Excesivo poder concedido a estos agentes para tomar decisiones independientes
• Aprovechamiento indebido de los recursos técnicos disponibles mediante herramientas externas permitidas en su configuración
• Cadenas consecutivas de llamadas API que faciliten acciones no autorizadas por parte del usuario final
• Formación de bucles autoreferenciados cuyos agentes operan sin intervención externa posible
• Aumento riesgoso en los permisos básicos asignados al ente automatizado durante su configuración inicial
• Contaminación del “memoria compartida” que contiene decisiones recientes de manera no supervisada
• Ejecución indirecta de comandos ejecutables sin intervención expresa del humano encargado del sistema
• Actividades fraudulentas en donde un agente IA se hace pasar por otros usuarios previamente autenticados
• Fuga no intencionada de credenciales confidenciales durante ejecuciones sucesivas del agente IA
• Ataques combinados que involucren múltiples entidades IA coordinándose mutuamente en tiempo real

Defensas recomendadas para combatirlos:

• Asignación a cada agente de privilegios estrictamente limitados a sus funciones necesarias
• Sistemas que obliguen la aprobación previa y manual de operaciones potencialmente críticas antes su ejecución
• Motores lógicos dinámicos cuya función sea evaluar condiciones temporales durante su transcurso operativo en tiempo real
• Aislamiento físico o virtual de cada agente mediante entornos restringidos conocidos como “sandbox” para limitar sus acciones externas permitidas
• Gestión segura y diferenciada de credenciales mediante sistemas especializados en gestión criptográfica protegida
• Sistemas basados en listas blancas que impidan la ejecución no autorizada de herramientas adicionales almacenadas fuera del ámbito seguro predeterminado
• Implementación obligatoria del proceso estándar “Humano-en-la-Elipse” para actividades potencialmente arriesgadas realizadas por IA<

Este capítulo es el que mayor interés suscita en los directivos técnicos, ya que refleja riesgos estratégicos y de alto impacto operativo.

Módulo 7 — Seguridad aplicada a las APIs empleadas por la IA

Laboratorio: Lab 06 — Detección de consumos económicamente excesivos.

La mayor parte del funcionamiento básico de los sistemas IA se basa en múltiples APIs.

Temas estudiados:

• Pasarelas API empleadas para el control operativo y la gestión de flujos internos del entorno IA<
• Riesgos inherentes al uso combinado con tecnologías GraphQL en los desarrollos IA generativa
• Vulnerabilidades derivadas del abuso imprudente de protocolos MCP y sus equivalentes estándar para APIs IA<
• Estrategias básicas para mantener la seguridad criptográfica en tokens JSON Web.
• Mecanismos específicos para blindar complementos software desarrollados específicamente para ampliar la capacidad de estos modelos de lenguaje<
• Metodologías encaminadas a verificar identidad correcta antes permitir comunicación externa entre usuarios y agentes IA<
• Sistemas flexibles que posibiliten el flujo delegado o secundario de autorizaciones necesarias para distintos grupos internos<
• Protocolos rigurosos para la conservación segura y protección contra filtraciones indeseadas de credenciales de acceso propias de entornos IA<
• Mecanismos que permiten asegurar integridad en instrucciones mediante marcas o firmas criptográficas válidas<
• Catálogo organizado de endpoints críticos y no autorizados empleados en las arquitecturas IA para análisis exhaustivos<

Asociaciones temáticas realizadas con referencia a: OWASP API Security Top 10.

Módulo 8 — Ingeniería práctica para la detección temprana de amenazas y su integración operativa al SOC<

Laboratorio: Lab 07 — Detectando Amenazas.

Defensa técica realizada en contextos propiamente productivos.

Temas abordados durante la sesión:

• Obtención sistemática de telemetría útil procedente tanto del hardware como del software que ejecuta funciones IA<
• Grabar e ingresar en el flujo analítico todos los textos solicitados por el usuario y generados por el sistema IA<
• Aplicación rigurosa de modelos estadísticos y matemáticos enfocados exclusivamente en volúmenes tokenizados entrantes.
• Implementación sistemática de algoritmos destinados a identificar patrones inusuales asociados a la interacción del sistema IA<
• Flujos SIEM adaptados específicamente para interpretar y correlacionar datos sintácticos semánticos propios de modelos de lenguaje.
• Variables clave útiles para detectar acciones maliciosas destinadas a manipular estructuras cognitivas propias del motor IA<
• Estrategias operativas adoptadas por expertos en el análisis forense digital para identificar actividades subversivas encubiertas relacionadas con la ejecución de modelos de lenguaje.
• Infraestructuras de supervisión dinámica orientada a evaluar conductas fuera de los límites normalmente aceptados en tiempo operativo<

Ejemplos prácticos presentados durante el curso:

• Identificación automatizada y sistemática de intentos deliberados encaminados a vulnerar las restricciones impuestas por los modelos generadores.
• Análisis rápido para detectar múltiples solicitudes simultáneas generadas sin control aparente por parte de agentes automatizados externos.
• Técnicas efectivas destinadas a reconocer intentos fraudulentos mediante extracción masiva y repetitiva de datos almacenados en entornos IA<

Módulo 9 — Proveedores cloud y sus soluciones específicas orientadas a la seguridad para sistemas IA<

Laboratorio: no se requiere ejercicio práctico — sesión interactiva de recapitulación y discusión.

Sistemas implementados por proveedores destacados del mercado cloud.

Temáticas abordadas en detalle:

• Implementación de WAFs propiedad de Amazon para proteger entornos IA basados en servicios AWS.
• Soluciones tecnológicas ofrecidas por Microsoft Azure para gestionar controles similares a los WAF.
• Producto especial Cloudflare llamado “AI Gateway” cuya finalidad es controlar y filtrar adecuadamente tráfico generativo.
• Mecanismos funcionales de pasarelas API implementadas en diversos entornos cloud.
• Herramienta Envoy orientada al análisis y filtrado del flujo dato propiamente IA generativa.
• Módulos complementarios desarrollados específicamente por Kong para controlar seguridad en pasarelas IA.
• Técnicas implementadas dentro del software NGINX encaminadas a blindar infraestructuras IA mediante políticas específicas.

Comparaciones importantes y útiles realizadas en el curso:

• Diferencias fundamentales entre mecanismos de defensa basados puramente en filtrado por proxy frente a aquellos que incluyen análisis semántico avanzado.
• Ventajas y limitaciones operativas generadas tras la adopción exclusiva de uno u otro tipo de tecnología defensiva propiamente orientada para IA<

Módulo 10 — Construyendo arquitecturas de seguridad verdaderamente completas y multicapa para sistemas IA<

Laboratorio: Lab 08 — Desarrollo Estratégico de Defensa Multicapa.

Reflexión teórica fundamental al finalizar la formación impartida en este programa.

Ninguna solución aislada puede proporcionar una salvaguarda plena para los sistemas IA (especialmente el WAF por sí solo).<

Los alumnos deberán idear y planificar un diseño organizado según la siguiente secuencia lógica:

1. Filtrado inicial mediante sistemas WAF previamente configurados.
2. Control complementario realizado a través de pasarelas API especializadas en flujos generativos.
3. Conexión y supervisión ejecutada por un gateway IA propio dedicado exclusivamente a gestionar la seguridad.
4. Implementación robusta de mecanismos de “guardrails” o protecciones funcionales directamente orientadas a contener desvíos comportamentales inapropiados del modelo generador.
5. Sistemas analíticos dinámicos que supervisen estructuras internas y actividades del software durante su ejecución en tiempo operativo.
6. Gestión rigurosa e integral de identidades usuarios y autorizaciones temporales otorgadas a cada entidad con acceso al sistema.
7. Entornos virtuales restringidos o “sandbox” que limiten la zona física o lógica donde puede operar un agente IA específico.
8. Normativas obligatorias en las cuales se exige intervención humana directa y explícita para tareas de mayor complejidad o potencial impacto estratégico.
9. Sistemas informáticos que permitan seguimiento, trazabilidad total y visibilidad completa en cada nivel de funcionamiento del sistema generador.<
10. Planificación de respuestas inmediatas ante incidentes críticos detectados por los mecanismos anteriores.

Este diseño estratégico está perfectamente alineado con la filosofía actualmente recomendada conocida como “defensa multicapa segura”.

Cronología y distribución práctica de los laboratorios asignados<

Los ejercicios realizados siguen exactamente el orden establecido por cada módulo instruccional.

Este programa consta de 10 bloques teóricos, aunque únicamente ocho laboratorios prácticos: los módulos 2 y 9 consisten exclusivamente en debates orientados a la reflexión.

Cada uno de dichos ejercicios aparece identificado con el número correspondiente del bloque al que se vincula estrictamente durante este documento explicativo.

• Laboratorio 01 (Módulo 1)
  • Carpeta asociada: 01-Introducción<
  • Título descriptivo: Exploración práctica del flujo informativo producido por un sistema de IA propiamente dicho.
• Laboratorio 02 (Módulo 3)
  • Carpeta de almacenamiento: 02-Prompt-Injection<
  • Nombre del ejercicio: Atacar y comprometer controladamente un chatbot básico, además lograr eludir filtros de seguridad poco rigurosos.
• Laboratorio 03 (Módulo 4)
  • Carpeta utilizada: 03-WAF-Basics<
  • Tema tratado: Construcción práctica y personalizada de reglas específicas para un WAF enfocadas exclusivamente en el contexto IA.<
• Laboratorio 04 (Módulo 5)
  • Carpeta definida: 04-RAG-Security<
  • Objetivo del ejercicio: Introducción intencionada de datos envenenados dentro de un sistema RAG básico.
• Laboratorio 05 (Módulo 6)
  • Carpeta objetivo: 05-Agent-Security<
  • Tema del ejercicio: Blindaje y fortalecimiento práctico de un ente generativo autónomo.
• Laboratorio 06 (Módulo 7)
  • Carpeta seleccionada: 06-Denial-of-Wallet<
  • Título funcional del laboratorio: Identificación meticulosa de actividades que impliquen consumos excesivos y no autorizados dentro del entorno generativo.
• Laboratorio 07 (Módulo 8)
  • Carpeta establecida: 07-Detection<
  • Nombre funcional: Supervisión rigurosa mediante análisis automatizados para identificar patrones anómalos derivados del mal uso no autorizado de sistemas IA. <
• Laboratorio 08 (Módulo 10)
  • Carpeta requerida: 08-Layered-Defense<
  • Título propuesto: Elaboración y diseño práctico de una arquitectura completa orientada a la defensa IA multicapa.

Fase final del entrenamiento: Proyecto integrador<

Los alumnos deben defender de manera práctica un asistente empresarial impulsado por IA previamente creado.

Las fuerzas atacantes procurarán lograr objetivos como:

1. Ejecución exitosa de técnicas inyecciónes de instrucciones no autorizadas.
2. Abuso descontrolado y premeditado del conjunto completo de herramientas y funcionalidades operativas.
3. Fuga ilícita e imprevista de credenciales o información estrictamente confidencial. <
4. Sustitución intencionada de datos mediante métodos recuperativos no previstos originalmente en el modelo.
5. Consumo excesivo e innecesario del presupuesto tecnológico destinado al procesamiento computacional necesario. <
6. Elevación de privilegios no autorizados por parte de dichos agentes automatizados.

Los equipos conformados deberán:

• Diseñar y configurar reglas propias para el filtrado WAF en su respectiva zona operativa.
• Elaboración adecuada de directrices específicas destinadas a la gestión correcta del pasarela IA contratado.
• Aplicar mecanismos estructurados para supervisión continua y detección automatizada de anomalías detectables.
• Implementación de políticas estrictas denominadas guardrails orientadas a impedir desviaciones peligrosas en comportamiento del modelo generativo. <
• Elaboración práctica y fluida de procedimientos operativos de contención para situaciones críticas detectadas.