Curso avanzado sobre agentes de IA: Ingeniería, seguridad y gobernanza para sistemas en producción

Día 1

Anatomía de un agente de IA moderno

Más allá de los chatbots: los agentes como sistemas autónomos de razonamiento y acción

Paradigmas de comportamiento: reactivo, proactivo, híbrido y orientado a objetivos

Componentes esenciales: percepción, planificación, memoria, uso de herramientas y acción

Diferencias entre el diseño de agentes individuales y sistemas multiagente

Marcos de trabajo para agentes y tecnologías actuales

LangChain, LlamaIndex, AutoGen, CrewAI: sus características y ventajas comparativas

Comparación con marcos clásicos como JADE y SPADE

Elección del marco más adecuado según requisitos productivos

Llamadas a herramientas, funciones y generación de resultados estructurados

Practicum: crear un agente básico en Python con capacidad para usar herramientas

Arquitecturas de sistemas multiagente

Diseños centralizados, descentralizados, híbridos y por capas para sistemas multiagente

Protocolos como FIPA ACL, transmisión de mensajes y sus equivalentes actuales

Mecanismos de coordinación: planificación, negociación y sincronización

Comportamiento emergente y autoorganización en grupos de agentes

Toma de decisiones y aprendizaje en los agentes

Aplicación de la teoría de juegos a interacciones cooperativas o competitivas entre agentes

El aprendizaje por refuerzo en entornos con múltiples agentes

Transferencia de conocimiento y compartición de información entre agentes

Resolución de conflictos y establecimiento de confianza entre agentes coordinados

Día 2

Bases multimodales para la creación de agentes

Integración fluida de múltiples tipos de datos: texto, imágenes, voz y vídeo en el procesamiento con IA

Modelos multimodales destacados: GPT-4 Visión, Gemini, Claude y Whisper

Técnicas de fusión para integrar distintos modos sensoriales dentro del ciclo de razonamiento del agente

Relaciones entre latencia, costo computacional y precisión en los flujos multimodales

Construcción de la capa perceptiva

Procesamiento visual para agentes: clasificación, generación de descripciones y detección de objetos

Reconocimiento del habla mediante Whisper ASR y transcripción en tiempo real

Síntesis de voz para facilitar la interacción natural con los usuarios

Conexión entre resultados perceptuales, razonamiento impulsado por LLM y selección de herramientas

Practicum: diseño e implementación de un agente multimodal en Python

Definición del objetivo del agente, gestión del contexto y catalogación de las herramientas disponibles

Integración completa de las APIs de GPT-4 Visión y Whisper

Implementación de mecanismos de memoria, estado interno y gestión conversacional

Agregar funcionalidad que permita ejecutar herramientas en el mundo real con seguridad garantizada

Practicum: organización de un sistema compuesto por múltiples agentes

Composición de varios agentes especializados mediante AutoGen o CrewAI

Definición clara de roles, funciones y protocolos de comunicación entre agentes

Asignación de recursos computacionales y coordinación en un entorno simulado

Registro detallado del razonamiento, las llamadas a herramientas y decisiones tomadas para fines de auditoría e inspección

Día 3

Vulnerabilidades inherentes a los agentes de IA en entornos productivos

Razones por las que la IA basada en agentes resulta especialmente susceptible frente a ataques cibernéticos frente a software tradicional

Áreas expuestas: datos, modelos, prompts, herramientas, resultados y puntos de interacción con el usuario

Modelado de riesgos específico para sistemas basados en agentes dotados de autonomía para usar herramientas

Diferencias entre las mejores prácticas de ciberseguridad aplicadas a la IA y aquellas utilizadas tradicionalmente

Practicum: ensayo de ataques adversariales

Métodos para generar ejemplos adversariales y distorsionar datos: FGSM, PGD, DeepFool

Análisis comparativo entre situaciones de acceso total al modelo o sin conocimiento alguno sobre su estructura interna

Técnicas como la inversión del modelo y extracción no autorizada de información mediante inferencia

Envenenamiento de datos durante el entrenamiento o inserción de puertas traseras ocultas

Inyección maliciosa en prompts, burlas para superar restricciones y uso indebido de herramientas por agentes basados en LLM

Técnicas defensivas y fortalecimiento de modelos predictivos

Estrategias como el entrenamiento adversarial o la ampliación del conjunto de datos para mejorar estabilidad

Metodologías avanzadas: destilación defensiva y técnicas para incrementar su robustez ante manipulaciones intencionadas

Tratamiento previo a los datos, enmascaramiento de gradientes y mecanismos para limitar la varianza del modelo

Aplicación de privacidad diferencial, adición controlada de ruido y gestión responsable de presupuestos de confidencialidad

Uso del aprendizaje federado y agregación segura para entrenar modelos distribuidamente

Practicum: uso avanzado de la Herramienta de Resistencia Adversarial

Aplicación simulada de ataques sobre el sistema multimodal elaborado el segundo día del curso

Determinación del nivel real de resistencia tras alteraciones y evaluación empírica de la degradación del rendimiento

Ejecución progresiva de contramedidas seguidas de nuevas mediciones respecto a probabilidades de éxito de los atacantes

Verificación exhaustiva de las rutas generadas por llamadas a herramientas y la resistencia ante intentos de inyección maliciosa en prompts

Día 4

Marcos para la gestión de riesgos vinculados a sistemas basados en IA

Aplicación del marco NIST AI RMF: gobernanza, mapeo, medición y control continuo del riesgo

Relevancia de la norma ISO/IEC 42001 y demás regulaciones específicas para IA en desarrollo actualmente

Alineación de los riesgos identificados con marcos empresariales consolidados de gestión de riesgos y cumplimiento (GRC)

Exigencia de rendición de cuentas, capacidad de auditoría e historial documental respecto a sistemas automatizados basados en IA

Cumplimiento normativo para entornos con múltiples agentes inteligentes

Regulaciones de la Ley de IA de la Unión Europea: categorías de riesgo, prohibiciones y requisitos para sistemas catalogados como de alto riesgo

Efectos del GDPR y la normativa CCPA sobre flujos informativos manejados por agentes automatizados

Disposiciones principales del Decreto Presidencial estadounidense enfocado a la IA segura, protegida y fiable

Recomendaciones sectoriales para instituciones financieras, centros sanitarios y entidades públicas que implementan esta tecnología

Evaluación de riesgos derivados del empleo de herramientas algorítmicas suministradas por terceros

Ética, prevención del sesgo y explicabilidad en el comportamiento de los agentes

Mecanismos para detectar y mitigar sesgos presentes en la fase perceptiva y durante el razonamiento lógico del agente

Importancia de la capacidad explicativa y transparencia como aspectos esenciales también desde la perspectiva de seguridad

Garantía de equidad, prevención de perjuicios para usuarios y despliegue responsable del software automatizado

Diseño deliberado orientado a generar comportamientos inclusivos y totalmente verificables por terceros auditores

Despliegue operativo, supervisión continua y plan de respuesta ante incidentes en entornos de IA

Prácticas seguras para implementar agentes individuales o grupos complejos de ellos en producción

Monitoreo activo enfocado a la detección temprana de desviaciones, anomalías anómalas y usos indebidos detectados por el software

Protocolos para registro sistematizado de datos, trazabilidad de acciones y preparación forense ante cualquier eventual fallo del sistema

Diseño e implementación de procedimientos ágiles ante vulnerabilidades detectadas: plan de actuación, contención y recuperación completa

Estudio profundo de varios casos reales vinculados a brechas de seguridad en la IA, con las lecciones fundamentales extraídas de cada situación.

Fase conclusiva y síntesis integradora

Repaso exhaustivo del sistema multimodal multiagente elaborado conjuntamente durante todo el curso

Análisis final de la totalidad de la cadena procesal: creación, estabilización técnica, protección y control operativo.

Evaluación autónoma del grado de cumplimiento alcanzado respecto a cada uno de los parámetros previstos en el marco NIST AI RMF.

Perspectivas actuales e innovadoras vinculadas a los futuros desarrollos en la IA basada en agentes y sus implicaciones para la seguridad cibernética.

Cierre del curso y siguientes pasos a considerar