Fundamentos de seguridad en IA para desarrolladores

Sesión 1: De 09:30 a 10:50 · El panorama de seguridad en IA para desarrolladores

• ¿En qué se diferencia la seguridad en el entorno de IA respecto a las prácticas convencionales de seguridad en aplicaciones?
• Un recorrido por los distintos componentes del ecosistema de IA: modelos base, técnicas de afinado (fine-tuning), sistemas RAG, agentes autónomos y dónde se ubican los principales riesgos.
• ¿Por qué los servicios gubernamentales enfrentan mayores exposiciones? Se abordarán la sensibilidad de sus datos, el grado de responsabilidad ante la ciudadanía y el marco regulatorio (Principios de IA del Reino Unido, DPA 2018, GDPR).
• Visión general del OWASP Top 10 para Aplicaciones basadas en Modelos de Lenguaje (2025).
• Encuesta interactiva mediante Slido: “¿Cuál es la funcionalidad basada en IA cuya seguridad más preocupa a su equipo?”

Pausa — De 10:50 a 11:10

Sesión 2: De 11:10 a 12:30 · OWASP Top 10 para Aplicaciones basadas en Modelos de Lenguaje (2025) – Parte 1

• LLM01: Inyección de prompts, tanto directa como indirecta; ejemplos reales ilustrativos.
• LLM02: Divulgación no controlada de información sensible por parte de los modelos y motivaciones subyacentes.
• LLM03: Riesgos asociados a la cadena de suministro, incluida la procedencia de los modelos, complementos de terceros y peligros derivados del uso de Hugging Face.
• LLM04: Intoxicación o contaminación de datos e incluso del modelo mismo; aspectos básicos sobre integridad en el entrenamiento.
• LLM05: Manejo inadecuado de salidas generadas por modelos de lenguaje y la importancia de considerar dichas respuestas como si fuesen introducciones realizadas por los usuarios.
• Demostración en vivo: Ejemplo práctico de inyección de prompts contra un chatbot de muestra.

Almuerzo — De 12:30 a 13:20

Sesión 3: De 13:20 a 14:40 · OWASP Top 10 para Aplicaciones basadas en Modelos de Lenguaje (2025) – Parte 2 y laboratorio práctico

• LLM06: Exceso de autonomía por parte de agentes; importancia del principio de menor privilegio al otorgar permisos.
• LLM07: Fugas accidentales del contenido del “prompt” del sistema; consecuencias y mecanismos que lo propician.
• LLM08: Puntos débiles vinculados a vectores y embeddings; particularidades de los sistemas RAG.
• LLM09: Difusión involuntaria de información errónea; la tendencia al “alucinar” como riesgo de seguridad en sí misma.
• LLM10: Uso descontrolado o excesivo de recursos computacionales que conduce a cuellos de botella económicos y técnicos.
• Laboratorio práctico (aprox. 30 minutos): Los participantes atacarán primero para luego reforzar la seguridad de un servicio pequeño sustentado en modelos de lenguaje; cada uno probará, como mínimo, una forma concreta de inyección de prompts y pondrá en práctica algún mecanismo de control. Al final se realiza una sesión grupal de análisis.

Pausa — De 14:40 a 15:00

Sesión 4: De 15:00 a 16:30 · Desarrollo de servicios de IA seguros para el sector gubernamental y cierre del curso

• Prácticas recomendadas basadas en el principio “seguridad por diseño”: validación de entradas, filtrado de salidas y aplicación de controles preventivos.
• Técnicas para la autenticación, autorización y gestión segura de sesiones dirigidas a endpoints expuestos a IA.
• Aspectos relativos al registro (logging), seguimiento continuo y respuesta ante incidentes específicos relacionados con servicios basados en IA.
• Puntos clave de protección de datos: cuándo se requiere una Evaluación de Impacto sobre la Protección de Datos, aplicación práctica del artículo 22 del GDPR británico.
• Elaboración paso a paso de un modelo sencillo de amenazas orientado a alguna funcionalidad propia basada en IA.
• Planificación de implementación: Cada asistente redacta sus propios tres objetivos fáciles y rápidos que podrá concretar durante la semana próxima.
• Preguntas y respuestas, distribución de materiales didácticos y orientaciones para el siguiente paso.