Temario del curso
Fundamentos de la depuración y evaluación en Mastra
- Comprensión de los modelos de comportamiento de los agentes y sus posibles fallos
- Principios básicos para depurar sistemas mediante Mastra
- Evaluación tanto de acciones deterministas como no deterministas generadas por los agentes
Configuración del entorno para pruebas de los agentes
- Preparación de entornos aislados de prueba y espacios específicos para evaluaciones
- Captura detallada de registros, trazas y datos de telemetría para su posterior análisis
- Creación de conjuntos de datos e indicaciones estructuradas con fines de evaluación
Depuración del comportamiento de los agentes de IA
- Seguimiento de las rutas de decisión y las señales que explican el razonamiento interno de los agentes
- Identificación temprana de alucinaciones, errores o comportamientos no deseados
- Utilización de paneles de observabilidad para localizar rápidamente las causas raíz de los problemas
Métricas de evaluación y marcos de referencia para el análisis
- Definición tanto de indicadores cuantitativos como cualitativos que permitan medir el rendimiento de los agentes
- Medición precisa de la precisión, consistencia y adecuación contextual del comportamiento de estos sistemas
- Aplicación de bases de datos con indicadores ya establecidos para realizar evaluaciones repetibles y comparativas
Ingeniería orientada a la fiabilidad en sistemas basados en IA
- Diseño de métodos que garanticen una alta fiabilidad en agentes destinados a ejecutarse durante largos periodos
- Detección rápida de variaciones o deterioro progresivo del rendimiento de los agentes
- Implementación de medidas preventivas y protecciones en flujos de trabajo críticos
Procesos automatizados para el control y mejora continua de la calidad
- Creación de cadenas automatizadas que permitan evaluar constantemente a los agentes
- Automatización de pruebas de regresión para controlar actualizaciones del software de los agentes
- Integración fluida entre estos procesos y sistemas empresariales o cadenas CI/CD
Técnicas avanzadas para reducir al mínimo las alucinaciones generadas por los agentes
- Estrategias de formulación de instrucciones que ayuden a evitar resultados no deseados
- Diseño de bucles de validación y mecanismos autónomos para revisión interna
- Experimentación con distintas combinaciones de modelos para obtener una mayor confiabilidad global
Generación de informes, monitoreo continuo y mejora iterativa
- Elaboración de informes detallados y hojas resumen que midan el desempeño de los agentes
- Observación constante del comportamiento general de estos sistemas a lo largo del tiempo, así como de la aparición de errores recurrentes
- Iteración periódica en los marcos analíticos utilizados para adaptarse a cambios y nuevas necesidades tecnológicas
Resumen final e indicaciones respecto a próximos pasos
Requerimientos
- Comprensión básica sobre el comportamiento de los agentes de IA y cómo interactúan con los modelos
- Experiencia previa en la depuración o prueba de sistemas informáticos complejos
- Conocimientos sobre herramientas de observabilidad y registro de logs
Público objetivo
- Ingenieros de control de calidad
- Ingenieros especializados en la fiabilidad de sistemas basados en IA
- Desarrolladores encargados del rendimiento y la calidad de los agentes
Formación Corporativa a Medida
Soluciones de formación diseñadas exclusivamente para empresas.
- Contenido personalizado: Adaptamos el temario y los ejercicios prácticos a los objetivos y necesidades reales del proyecto.
- Calendario flexible: Fechas y horarios adaptados a la agenda de su equipo.
- Modalidad: Online (en directo), In-company (en sus oficinas) o Híbrida.
Precio por grupo privado (formación online) desde 4350 € + IVA*
Contáctenos para obtener un presupuesto exacto y conocer nuestras promociones actuales
