Seguridad de OWASP GenAI

Día 1: Fundamentos y Amenazas Principales

Módulo 1: Introducción al Proyecto de Seguridad GenAI de OWASP (1 hora)

Objetivos de Aprendizaje:

• Comprender la evolución desde los 10 puntos principales de OWASP hasta los desafíos específicos de seguridad de GenAI.
• Explorar el ecosistema y los recursos del Proyecto de Seguridad GenAI de OWASP.
• Identificar las diferencias clave entre la seguridad de aplicaciones tradicionales y la seguridad de IA.

Temas Cubiertos:

• Visión general de la misión y el alcance del Proyecto de Seguridad GenAI de OWASP.
• Introducción al marco Threat Defense COMPASS.
• Comprensión del panorama de seguridad de IA y los requisitos regulatorios.
• Superficies de ataque de IA frente a vulnerabilidades tradicionales de aplicaciones web.

Ejercicio Práctico: Configuración de la herramienta OWASP Threat Defense COMPASS y realización de una evaluación inicial de amenazas.

Módulo 2: Los 10 Principales Riesgos de LLM de OWASP - Parte 1 (2.5 horas)

Objetivos de Aprendizaje:

• Dominar las primeras cinco vulnerabilidades críticas de LLM.
• Comprender vectores de ataque y técnicas de explotación.
• Aplicar estrategias prácticas de mitigación.

Temas Cubiertos:

LLM01: Inyección de Instrucciones (Prompt Injection)

• Técnicas de inyección directa e indirecta de instrucciones.
• Ataques por instrucciones ocultas y contaminación cruzada entre instrucciones.
• Ejemplos prácticos: Jailbreaking de chatbots y elusión de medidas de seguridad.
• Estrategias de defensa: Sanitización de entradas, filtrado de instrucciones, privacidad diferencial.

LLM02: Revelación de Información Sensible

• Extracción de datos de entrenamiento y filtración de instrucciones del sistema.
• Análisis del comportamiento del modelo para la exposición de información sensible.
• Implicaciones de privacidad y consideraciones de cumplimiento normativo.
• Mitigación: Filtrado de salidas, controles de acceso, anonimización de datos.

LLM03: Vulnerabilidades en la Cadena de Suministro

• Dependencias de modelos de terceros y seguridad de complementos (plugins).
• Juegos de datos de entrenamiento comprometidos y envenenamiento de modelos.
• Evaluación de riesgos del proveedor para componentes de IA.
• Buenas prácticas para el despliegue seguro y la verificación de modelos.

Ejercicio Práctico: Laboratorio práctico que demuestra ataques de inyección de instrucciones contra aplicaciones de LLM vulnerables e implementación de medidas defensivas.

Módulo 3: Los 10 Principales Riesgos de LLM de OWASP - Parte 2 (2 horas)

Temas Cubiertos:

LLM04: Envenenamiento de Datos y Modelos

• Técnicas de manipulación de datos de entrenamiento.
• Modificación del comportamiento del modelo a través de entradas envenenadas.
• Ataques de puerta trasera y verificación de la integridad de los datos.
• Prevención: Canales de validación de datos, seguimiento del origen.

LLM05: Manejo Inapropiado de las Salidas

• Procesamiento inseguro del contenido generado por LLM.
• Inyección de código a través de salidas generadas por IA.
• Cross-site scripting (XSS) mediante respuestas de IA.
• Marcos de validación y sanitización de salidas.

Ejercicio Práctico: Simulación de ataques de envenenamiento de datos e implementación de mecanismos robustos de validación de salidas.

Módulo 4: Amenazas Avanzadas de LLM (1.5 horas)

Temas Cubiertos:

LLM06: Agencia Excesiva

• Riesgos de toma de decisiones autónomas y violaciones de límites.
• Gestión de autoridad y permisos de los agentes.
• Interacciones involuntarias con el sistema y escalada de privilegios.
• Implementación de guardrails (barreras de protección) y controles de supervisión humana.

LLM07: Filtración de Instrucciones del Sistema

• Vulnerabilidades que exponen las instrucciones del sistema.
• Revelación de credenciales y lógica a través de instrucciones.
• Técnicas de ataque para extraer instrucciones del sistema.
• Seguridad de las instrucciones del sistema y configuración externa.

Ejercicio Práctico: Diseño de arquitecturas de agentes seguras con controles de acceso y monitoreo adecuados.

Día 2: Amenazas Avanzadas e Implementación

Módulo 5: Amenazas Emergentes en IA (2 horas)

Objetivos de Aprendizaje:

• Comprender las amenazas más recientes en seguridad de IA.
• Implementar técnicas avanzadas de detección y prevención.
• Diseñar sistemas de IA resilientes frente a ataques sofisticados.

Temas Cubiertos:

LLM08: Debilidades en Vectores y Embebidos (Embeddings)

• Vulnerabilidades de sistemas RAG y seguridad de bases de datos vectoriales.
• Envenenamiento de embebidos y ataques de manipulación de similitud.
• Ejemplos adversarios en búsqueda semántica.
• Seguridad de almacenes vectoriales e implementación de detección de anomalías.

LLM09: Desinformación y Confiabilidad del Modelo

• Detección y mitigación de alucinaciones.
• Amplificación de sesgos y consideraciones de equidad.
• Mecanismos de verificación de hechos y origen de la información.
• Validación de contenido e integración de supervisión humana.

LLM10: Consumo sin Límites

• Agotamiento de recursos y ataques de denegación de servicio.
• Estrategias de limitación de velocidad y gestión de recursos.
• Optimización de costos y controles presupuestarios.
• Sistemas de monitoreo de rendimiento y alertas.

Ejercicio Práctico: Construcción de un pipeline RAG seguro con protección de base de datos vectorial y detección de alucinaciones.

Módulo 6: Seguridad de IA Agente (2 horas)

Objetivos de Aprendizaje:

• Comprender los desafíos de seguridad únicos de los agentes de IA autónomos.
• Aplicar la taxonomía de IA Agente de OWASP a sistemas del mundo real.
• Implementar controles de seguridad para entornos multi-agente.

Temas Cubiertos:

• Introducción a la IA Agente y sistemas autónomos.
• Taxonomía de Amenazas de IA Agente de OWASP: Diseño del Agente, Memoria, Planificación, Uso de Herramientas, Despliegue.
• Seguridad de sistemas multi-agente y riesgos de coordinación.
• Ataques de uso indebido de herramientas, envenenamiento de memoria y secuestro de objetivos.
• Seguridad en la comunicación y procesos de toma de decisiones de los agentes.

Ejercicio Práctico: Ejercicio de modelado de amenazas utilizando la taxonomía de IA Agente de OWASP en un sistema multi-agente de atención al cliente.

Módulo 7: Implementación de Threat Defense COMPASS de OWASP (2 horas)

Objetivos de Aprendizaje:

• Dominar la aplicación práctica de Threat Defense COMPASS.
• Integrar la evaluación de amenazas de IA en los programas de seguridad organizacionales.
• Desarrollar estrategias integrales de gestión de riesgos de IA.

Temas Cubiertos:

• Análisis profundo de la metodología Threat Defense COMPASS.
• Integración del ciclo OODA: Observar, Orientar, Decidir, Actuar.
• Mapeo de amenazas a los marcos MITRE ATT&CK y ATLAS.
• Construcción de tableros para la Estrategia de Resiliencia ante Amenazas de IA.
• Integración con herramientas y procesos de seguridad existentes.

Ejercicio Práctico: Evaluación completa de amenazas utilizando COMPASS para un escenario de implementación de Microsoft Copilot.

Módulo 8: Implementación Práctica y Mejores Prácticas (2.5 horas)

Objetivos de Aprendizaje:

• Diseñar arquitecturas de IA seguras desde cero.
• Implementar monitoreo y respuesta a incidentes para sistemas de IA.
• Crear marcos de gobernanza para la seguridad de IA.

Temas Cubiertos:

Ciclo de Desarrollo Seguro de IA:

• Principios de seguridad por diseño para aplicaciones de IA.
• Prácticas de revisión de código para integraciones de LLM.
• Metodologías de prueba y escaneo de vulnerabilidades.
• Seguridad en el despliegue y endurecimiento (hardening) en producción.

Monitoreo y Detección:

• Requisitos específicos de registro (logging) y monitoreo para IA.
• Detección de anomalías en sistemas de IA.
• Procedimientos de respuesta a incidentes para eventos de seguridad en IA.
• Técnicas forenses e investigativas.

Gobernanza y Cumplimiento:

• Marco de gestión de riesgos de IA y políticas.
• Consideraciones de cumplimiento normativo (GDPR, Ley de IA, etc.).
• Evaluación de riesgos de terceros para proveedores de IA.
• Capacitación en concienciación sobre seguridad para equipos de desarrollo de IA.

Ejercicio Práctico: Diseñar una arquitectura de seguridad completa para un chatbot empresarial de IA, incluyendo monitoreo, gobernanza y procedimientos de respuesta a incidentes.

Módulo 9: Herramientas y Tecnologías (1 hora)

Objetivos de Aprendizaje:

• Evaluar e implementar herramientas de seguridad de IA.
• Comprender el panorama actual de soluciones de seguridad de IA.
• Construir capacidades prácticas de detección y prevención.

Temas Cubiertos:

• Ecosistema de herramientas de seguridad de IA y panorama de proveedores.
• Herramientas de código abierto: Garak, PyRIT, Giskard.
• Soluciones comerciales para seguridad y monitoreo de IA.
• Patrones de integración y estrategias de despliegue.
• Criterios de selección de herramientas y marcos de evaluación.

Ejercicio Práctico: Demostración práctica de herramientas de prueba de seguridad de IA y planificación de implementación.

Módulo 10: Tendencias Futuras y Cierre (1 hora)

Objetivos de Aprendizaje:

• Comprender las amenazas emergentes y los desafíos futuros de seguridad.
• Desarrollar estrategias de aprendizaje continuo y mejora.
• Crear planes de acción para programas de seguridad de IA organizacionales.

Temas Cubiertos:

• Amenazas emergentes: Deepfakes, inyección avanzada de instrucciones, inversión de modelos.
• Desarrollos futuros y hoja de ruta del proyecto OWASP GenAI.
• Construcción de comunidades de seguridad de IA e intercambio de conocimientos.
• Mejora continua e integración de inteligencia sobre amenazas.

Ejercicio de Planificación de Acción: Desarrollar un plan de acción de 90 días para implementar prácticas de seguridad OWASP GenAI en las organizaciones de los participantes.