Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Introducción y fundamentos del diagnóstico
- Descripción de los tipos más comunes de fallos en sistemas basados en LLM, así como problemas típicos específicos de Ollama.
- Configuración de experimentos reproducibles y entornos controlados para las pruebas.
- Conjunto de herramientas de depuración: registros locales, capturas detalladas de solicitudes y respuestas, y uso de entornos aislados.
Reproducción e identificación aislada de fallos
- Técnicas para crear ejemplos mínimos que permitan reproducir errores y definir patrones base.
- Diferencias entre interacciones con estado y sin estado: aislamiento de fallos derivados del contexto.
- Determinismo, aleatoriedad y formas de controlar el comportamiento impredecible de los modelos.
Evaluación del comportamiento y métricas asociadas
- Métricas cuantitativas: precisión, variantes como ROUGE/BLEU, calibración adecuada y estimaciones de perplejidad.
- Evaluaciones cualitativas: uso de evaluadores humanos con instrumentos de calificación estandarizados.
- Verificación específica del cumplimiento de requisitos y criterios aceptables según cada tarea.
Pruebas automatizadas y detección de regresiones
- Diseño de pruebas unitarias para prompts y componentes, así como pruebas escenario y end-to-end.
- Formación de conjuntos de pruebas que detecten regresiones y establecimiento de ejemplos de referencia.
- Integración fluida con flujos CI/CD para actualizaciones en modelos Ollama y validación automatizada continua.
Observabilidad y monitoreo de modelos
- Implementación de registros estructurados, trazas distribuidas e identificadores únicos para su correlación.
- Métricas operativas clave: latencia, consumo de tokens, frecuencia de errores y señales que reflejan calidad.
- Sistemas de alerta, paneles visuales e indicadores clave para el funcionamiento estable de servicios basados en modelos.
Análisis avanzado de causas raíz
- Seguimiento pormenorizado de flujos complejos generados por prompts y múltiples interacciones.
- Evaluaciones comparativas tipo A/B e implementación práctica de estudios de tipo ablación.
- Seguimiento de origen de datos, depuración detallada de conjuntos de entrenamiento y corrección de fallos derivados de estos.
Seguridad, robustez y estrategias de remediación
- Medidas correctivas: filtrado de contenido inadecuado, anclaje contextual mediante fuentes externas, ampliación de información recuperada y creación de estructuras de prompts adecuadas.
- Metodologías de implementación progresiva de cambios: versiones canario o despliegues faseados.
- Elaboración de informes post-mortem, extracción de enseñanzas relevantes y construcción de ciclos de mejora continua.
Resumen final y orientaciones para el futuro
Requerimientos
- Amplia experiencia en el desarrollo y despliegue de aplicaciones basadas en modelos de lenguaje grande (LLM).
- Conocimiento práctico de los flujos de trabajo en Ollama y la forma de alojar modelos.
- Dominio básico del uso de Python, Docker y herramientas habituales de observabilidad.
Público objetivo
- Ingenieros especializados en IA.
- Profesionales de ML Ops.
- Equipos de control de calidad encargados del mantenimiento de sistemas LLM en producción.
35 Horas
Formación Corporativa a Medida
Soluciones de formación diseñadas exclusivamente para empresas.
- Contenido personalizado: Adaptamos el temario y los ejercicios prácticos a los objetivos y necesidades reales del proyecto.
- Calendario flexible: Fechas y horarios adaptados a la agenda de su equipo.
- Modalidad: Online (en directo), In-company (en sus oficinas) o Híbrida.
Precio por grupo privado (formación online) desde 7250 € + IVA*
Contáctenos para obtener un presupuesto exacto y conocer nuestras promociones actuales