Solicitar información

Temario del curso

Introducción y fundamentos del diagnóstico

  • Descripción de los tipos más comunes de fallos en sistemas basados en LLM, así como problemas típicos específicos de Ollama.
  • Configuración de experimentos reproducibles y entornos controlados para las pruebas.
  • Conjunto de herramientas de depuración: registros locales, capturas detalladas de solicitudes y respuestas, y uso de entornos aislados.

Reproducción e identificación aislada de fallos

  • Técnicas para crear ejemplos mínimos que permitan reproducir errores y definir patrones base.
  • Diferencias entre interacciones con estado y sin estado: aislamiento de fallos derivados del contexto.
  • Determinismo, aleatoriedad y formas de controlar el comportamiento impredecible de los modelos.

Evaluación del comportamiento y métricas asociadas

  • Métricas cuantitativas: precisión, variantes como ROUGE/BLEU, calibración adecuada y estimaciones de perplejidad.
  • Evaluaciones cualitativas: uso de evaluadores humanos con instrumentos de calificación estandarizados.
  • Verificación específica del cumplimiento de requisitos y criterios aceptables según cada tarea.

Pruebas automatizadas y detección de regresiones

  • Diseño de pruebas unitarias para prompts y componentes, así como pruebas escenario y end-to-end.
  • Formación de conjuntos de pruebas que detecten regresiones y establecimiento de ejemplos de referencia.
  • Integración fluida con flujos CI/CD para actualizaciones en modelos Ollama y validación automatizada continua.

Observabilidad y monitoreo de modelos

  • Implementación de registros estructurados, trazas distribuidas e identificadores únicos para su correlación.
  • Métricas operativas clave: latencia, consumo de tokens, frecuencia de errores y señales que reflejan calidad.
  • Sistemas de alerta, paneles visuales e indicadores clave para el funcionamiento estable de servicios basados en modelos.

Análisis avanzado de causas raíz

  • Seguimiento pormenorizado de flujos complejos generados por prompts y múltiples interacciones.
  • Evaluaciones comparativas tipo A/B e implementación práctica de estudios de tipo ablación.
  • Seguimiento de origen de datos, depuración detallada de conjuntos de entrenamiento y corrección de fallos derivados de estos.

Seguridad, robustez y estrategias de remediación

  • Medidas correctivas: filtrado de contenido inadecuado, anclaje contextual mediante fuentes externas, ampliación de información recuperada y creación de estructuras de prompts adecuadas.
  • Metodologías de implementación progresiva de cambios: versiones canario o despliegues faseados.
  • Elaboración de informes post-mortem, extracción de enseñanzas relevantes y construcción de ciclos de mejora continua.

Resumen final y orientaciones para el futuro

Requerimientos

  • Amplia experiencia en el desarrollo y despliegue de aplicaciones basadas en modelos de lenguaje grande (LLM).
  • Conocimiento práctico de los flujos de trabajo en Ollama y la forma de alojar modelos.
  • Dominio básico del uso de Python, Docker y herramientas habituales de observabilidad.

Público objetivo

  • Ingenieros especializados en IA.
  • Profesionales de ML Ops.
  • Equipos de control de calidad encargados del mantenimiento de sistemas LLM en producción.
 35 Horas

Formación Corporativa a Medida

Soluciones de formación diseñadas exclusivamente para empresas.

  • Contenido personalizado: Adaptamos el temario y los ejercicios prácticos a los objetivos y necesidades reales del proyecto.
  • Calendario flexible: Fechas y horarios adaptados a la agenda de su equipo.
  • Modalidad: Online (en directo), In-company (en sus oficinas) o Híbrida.
Inversión

Precio por grupo privado (formación online) desde 7250 € + IVA*

Contáctenos para obtener un presupuesto exacto y conocer nuestras promociones actuales

Próximos cursos

Categorías Relacionadas