Seguridad en IA Generativa según OWASP

Día 1: Fundamentos y principales amenazas

Módulo 1: Introducción al Proyecto de Seguridad en IA Generativa de OWASP (1 hora)

Objetivos de aprendizaje:

• Comprender la evolución desde el listado OWASP Top 10 hasta los retos específicos de seguridad en IA generativa.
• Conocer el ecosistema y recursos del Proyecto de Seguridad en IA Generativa de OWASP.
• Distinguir entre la seguridad en aplicaciones tradicionales y la relativa a sistemas basados en inteligencia artificial.

Temas tratados:

• Descripción de la misión y alcance del Proyecto de Seguridad en IA Generativa de OWASP.
• Introducción al marco Threat Defense COMPASS.
• Panorama actual sobre la seguridad en el ámbito de la IA y sus requisitos normativos.
• Diferencias entre vulnerabilidades típicas en aplicaciones web y riesgos específicos asociados a sistemas de IA.

Ejercicio práctico: Configuración de la herramienta Threat Defense COMPASS de OWASP y realización inicial de una evaluación de amenazas.

Módulo 2: Los 10 principales riesgos para modelos de lenguaje – Parte 1 (2,5 horas)

Objetivos de aprendizaje:

• Dominar las cinco primeras vulnerabilidades críticas identificadas en modelos de lenguaje.
• Conocer vectores de ataque y técnicas de explotación asociados a ellas.
• Aplicar estrategias prácticas para mitigar dichos riesgos.

Temas tratados:

LLM01: Inyección de comandos mediante prompts

• Técnicas de inyección directa e indirecta en instrucciones proporcionadas a los modelos.
• Ataques basados en instrucciones ocultas y contaminación entre diferentes prompts.
• Ejemplos prácticos: Bypass de filtros de seguridad y manipulación de chatbots para obtener resultados no deseados.
• Estrategias defensivas: Sanitización de entradas, filtrado de prompts y uso de técnicas de privacidad diferencial.

LLM02: Divulgación no autorizada de información sensible

• Extracción de datos utilizados durante el entrenamiento del modelo y filtración de instrucciones internas.
• Análisis del comportamiento del modelo respecto a la exposición de información confidencial.
• Implicaciones en materia de privacidad y obligaciones legales derivadas del cumplimiento normativo.
• Medidas mitigantes: Filtrado de salidas, controles de acceso y anonimización de datos.

LLM03: Vulnerabilidades en la cadena de suministro

• Dependencias externas derivadas del uso de modelos y complementos desarrollados por terceros.
• Riesgos asociados a la contaminación intencionada de datos empleados en el entrenamiento o modificación maliciosa del modelo resultante.
• Evaluación de riesgos inherentes al contratar servicios externos basados en inteligencia artificial.
• Buenas prácticas para la implementación y verificación segura de modelos entrenados.

Ejercicio práctico: Laboratorio orientado a simular ataques de inyección de prompts en aplicaciones vulnerables y ejecutar contramedidas de seguridad.

Módulo 3: Los 10 principales riesgos para modelos de lenguaje – Parte 2 (2 horas)

Temas tratados:

LLM04: Contaminación y manipulación de datos y modelos

• Técnicas para alterar premeditadamente los datos utilizados en el entrenamiento del modelo.
• Modificación deliberada de la lógica operativa del sistema mediante entradas perversas durante su fase de aprendizaje.
• Uso fraudulento de puertas traseras ocultas para afectar el funcionamiento del modelo y mecanismos para verificar la integridad de los datos de entrenamiento.
• Prevención mediante la implementación de procesos rigurosos de validación de datos e historiales detallados de su procedencia.

LLM05: Procesamiento inadecuado de salidas generadas por el modelo

• Problemas derivados del manejo incorrecto del contenido producido automáticamente por modelos de lenguaje.
• Posibilidad de generación no intencionada de fragmentos de código susceptible de ser inyectado posteriormente en otros entornos.
• Aparición de contenidos capaces de ejecutar scripts maliciosos, como en casos de XSS (Cross-Site Scripting).
• Implementación de mecanismos robustos para la validación y corrección de estos tipos de salidas.

Ejercicio práctico: Simulación de situaciones en las que se intenta contaminar los datos de entrenamiento y puesta en marcha de sistemas eficaces para revisar y verificar el contenido generado.

Módulo 4: Amenazas avanzadas asociadas a modelos de lenguaje (1,5 horas)

Temas tratados:

LLM06: Autonomía excesiva de los modelos

• Riesgos derivados de la capacidad de actuar por cuenta propia y desviación potencial respecto a límites establecidos.
• Gestión de permisos asociados al uso de herramientas y recursos externos por parte del modelo.<
• Posibilidad de interacciones no previstas entre componentes distintos y aumento incontrolado de privilegios.
• Implementación práctica de controles que faciliten la supervisión humana y limiten comportamientos indeseados.<

LLM07: Exposición no deseada de instrucciones internas del modelo

• Vulnerabilidades derivadas de la visibilidad inadecuada de órdenes previamente definidas por desarrolladores.<
• Filtración accidental de claves y mecanismos de operación mediante consultas maliciosas dirigidas al modelo.<
• Métodos utilizados por ciberdelincuentes para deducir instrucciones internas ocultas del sistema.<
• Buenas prácticas destinadas a proteger dichas directrices y parámetros de configuración externa.<

Ejercicio práctico: Proceso creativo orientado a proyectar arquitecturas seguras para entornos de IA, incorporando restricciones pertinentes y herramientas de supervisión.<

Día 2: Amenazas avanzadas e implementación práctica

Módulo 5: Amenazas emergentes en el campo de la IA (2 horas)

Objetivos de aprendizaje:

• Captar las tendencias recientes en relación con amenazas potenciales para sistemas basados en IA.<
• Implementar estrategias innovadoras destinadas a prevenir y detectar incidentes peligrosos.<
• Concebir estructuras organizativas y tecnológicas más resistentes frente a ataques sofisticados.<

Temas tratados:

LLM08: Debilidades inherentes a vectores y embeddings

• Peligros derivados de la implementación de sistemas RAG (Retrieval-Augmented Generation) y fallos en el almacenamiento seguro de vectores.<
• Ataques basados en alteraciones deliberadas o manipulaciones matemáticas aplicables a dichos elementos.<
• Técnicas utilizadas por adversarios para manipular los mecanismos de búsqueda semántica.<
• Medidas orientadas a reforzar el resguardo y la detección temprana de anomalías asociadas al manejo de dichas estructuras.<

LLM09: Difusión no controlada de información errónea y calidad del modelo

• Detección efectiva ante producciones inexactas o contradictorias derivadas del procesamiento automático.<
• Amplificación de prejuicios y otros sesgos cognitivos que resultan evidentes tras el uso masivo del modelo.<
• Implementación práctica de verificaciones rigurosas basadas en fuentes fiables o validación externa.<
• Integración de revisores humanos encargados de refrendar la coherencia y pertinencia del contenido generado.<

LLM10: Exceso incontrolado en el consumo de recursos computacionales

• Desencadenamiento no deseado de atascos sistémicos o colapso del servicio derivados de acciones automatizadas.<
• Control adecuado respecto al volumen y tipología de operaciones permitidas mediante el uso estratégico de límites rígidos.<
• Gestión inteligente de costos operativos, aprovechando mecanismos que eviten desperdicios presupuestarios.<
• Herramientas avanzadas destinadas al seguimiento del rendimiento y activación precoz de alertas pertinentes.<

Ejercicio práctico: Construcción paso a paso de un sistema RAG seguro que cuente con sistemas avanzados para evitar divulgaciones peligrosas y detectar anomalías tempranas.<

Módulo 6: Seguridad en entornos de IA autónoma (2 horas)

Objetivos de aprendizaje:

• Captar de manera profunda los obstáculos que presenta el uso responsable de agentes autónomos.<
• Aplicación práctica de la Taxonomía OWASP referente a IA Autónoma en estructuras productivas reales.<
• Diseño y aplicación eficaz de controles de seguridad necesarios para ecosistemas que integren múltiples agentes.<

Temas tratados:

• Conceptos introductorios a la IA autónoma y sus características diferenciadoras.<
• Exposición detallada de la Taxonomía OWASP sobre IA Autónoma: Diseño, Memoria, Planificación, Utilización de herramientas y despliegue en producción.<
• Riesgos inherentes a la coordinación entre distintos agentes autónomos y peligros derivados del intercambio recíproco de información.<
• Prevención de situaciones descontroladas como el uso imprevisto de herramientas, intoxicación de memoria o alteración indebida de los objetivos del sistema.<
• Protección efectiva del flujo comunicativo entre agentes y supervisión integral de sus procesos decisionales.<

Ejercicio práctico: Actividad orientada a identificar posibles fallas operativas en un sistema complejo formado por varios agentes virtuales, siguiendo estrictamente la Taxonomía OWASP.<

Módulo 7: Implementación práctica de Threat Defense COMPASS (2 horas)

Objetivos de aprendizaje:

• Comprensión cabal respecto a la forma idónea de aplicar Threat Defense COMPASS en contextos reales.<
• Integración fluida del análisis previo de amenazas dentro de los protocolos normativos corporativos.<
• Elaboración coherente de planes detallados para la reducción óptima de vulnerabilidades específicas en entornos basados en IA.<

Temas tratados:

• Análisis profundo del marco Threat Defense COMPASS y sus fundamentos.<
• Conexión lógica entre los cuatro pasos fundamentales definidos por el ciclo OODA: Observar, Orientarse, Decidir y Actuar.<
• Relación inmediata entre las categorías identificadas en Threat Defense COMPASS y sistemas de referencia como MITRE ATT&CK o ATLAS.<
• Creación de tableros visuales enfocados a monitorizar la resiliencia del sistema frente a posibles amenazas.<
• Unión armónica entre las herramientas y procesos institucionales preexistentes relacionados con seguridad informática.<

Ejercicio práctico: Análisis completo de posibles riesgos operativos asociados a una implementación real de Microsoft Copilot, utilizando para ello el enfoque descrito por COMPASS.<

Módulo 8: Prácticas recomendadas y procedimientos concretos (2,5 horas)

Objetivos de aprendizaje:

• Ingeniería orientada a construir estructuras basadas en IA que garanticen la protección desde sus inicios.<
• Implementación de mecanismos eficientes para el seguimiento del comportamiento general y respuesta rápida ante incidentes detectados.<
• Formulación adecuada de normas que aseguren un entorno sostenible en lo referido a la seguridad de estos sistemas.<

Temas tratados:

Ciclo de desarrollo seguro para IA:

• Incorporación de criterios técnicos rigurosos al momento del diseño e implementación de nuevos programas inteligentes.<
• Revisiones estructuradas a nivel de código que atiendan particularmente a componentes vinculados con modelos de lenguaje.<
• Selección y utilización responsable de metodologías técnicas para detectar fallos tempranos en el proceso de validación.<
• Ajustes operativos finales durante la fase de despliegue que maximicen la estabilidad y seguridad global del producto.<

Monitoreo proactivo e identificación rápida de anomalías:

• Implementación eficaz de sistemas que permitan registrar y analizar información específica generada por modelos de lenguaje.<
• Mecanismos automatizados que detecten alteraciones inusuales propias del funcionamiento algorítmico.<
• Planificación detallada para responder adecuadamente a incidentes detectados, minimizando daños colaterales.<
• Técnicas basadas en evidencia empírica que faciliten la identificación y rastreo de posibles sucesos negativos.<

Gobernanza institucional y cumplimiento normativo:

• Modelos de organización capaces de gestionar adecuadamente los posibles impactos derivados del uso responsable o indebido de IA.<
• Conformidad estricta respecto a leyes vigentes tales como el GDPR y legislación especializada sobre IA.<
• Evaluaciones rigurosas dirigidas al posible riesgo derivado de asociarse con empresas o proveedores externos que utilicen IA.<
• Programas continuos destinados a formar al personal técnico en aspectos clave relacionados con la seguridad informática.<

Ejercicio práctico: Desarrollo de un diseño global orientado a crear una plataforma virtual basada en IA, contando con sistemas robustos para su monitoreo y respuesta ante eventuales anomalías.<

Módulo 9: Herramientas tecnológicas actuales (1 hora)

Objetivos de aprendizaje:

• Elección adecuada entre opciones disponibles para la detección o mitigación de amenazas informáticas.<
• Captar en su conjunto el panorama variado que presentan las soluciones actuales destinadas a la seguridad en IA.<
• Generación de capacidades reales para identificar o prevenir eventos negativos asociados al uso indebido de estos sistemas.<

Temas tratados:

• Análisis comparativo entre alternativas diversas presentadas por empresas tecnológicas en el ámbito de seguridad.<
• Descripción detallada sobre herramientas gratuitas como Garak, PyRIT y Giskard orientadas al testeo de seguridad en IA.<
• Información general sobre sistemas comerciales que permiten un control más estructurado del uso institucional de IA.<
• Estrategias operativas para integrar esos programas en la infraestructura existente y maximizar su utilidad.<
• Criterios concretos que deben ser analizados al momento de seleccionar o prescindir de ciertos productos tecnológicos.<

Ejercicio práctico: Demostración directa sobre la potencialidad operativa de distintas herramientas técnicas, permitiendo elaborar planes concretos para su uso futuro.<

Módulo 10: Tendencias emergentes y cierre del programa (1 hora)

Objetivos de aprendizaje:

• Identificación constante de cambios significativos respecto a posibles nuevos ataques en el mundo de la IA.<
• Elaboración continua de planes proactivos para afrontar transformaciones tecnológicas y mejoras estructurales necesarias.<
• Diseño de metodologías claras que permitan organizar acciones específicas dentro de los programas institucionales dedicados a la seguridad en IA.<

Temas tratados:

• Desarrollos innovadores asociados a amenazas emergentes tales como deepfakes, manipulaciones complejas mediante prompts o reconstrucción de patrones ocultos.<
• Información actualizada sobre proyectos derivados de OWASP relacionados con la seguridad en IA.<
• Formas posibles para impulsar el intercambio de conocimientos entre expertos dedicados a temas relacionados con este campo especializado.<
• Procesos orientados a mantenerse al día respecto a hallazgos analíticos provenientes de comunidades internacionales interesadas en seguridad.<

Ejercicio práctico: Formulación concreta de un plan detallado de 90 días destinado a la correcta implementación de las directrices recomendadas por OWASP respecto a seguridad en IA dentro del entorno laboral de cada participante.<