Solicitar información

Temario del curso

Introducción al LLMOps

  • Diferencias entre LLMOps y MLOps: retos específicos del manejo de modelos de lenguaje.
  • Ciclo vital de desarrollo para aplicaciones basadas en LLMs: creación, evaluación, despliegue y supervisión.
  • Lista de verificación para preparar aplicaciones de IA generativa antes de ponerlas en producción.

Gestión y control de versiones de prompts

  • Sistemas de plantillas de prompts e inyección dinámica de variables.
  • Control de versiones semántico aplicado a prompts, con pruebas automáticas para evitar regresiones.
  • Repositorios de prompts y procedimientos colaborativos entre equipos.

Evaluación de LLMs a gran escala

  • Aspectos clave en la evaluación: precisión, relevancia, seguridad y fidelidad a los datos fuente.
  • Uso de modelos de lenguaje para realizar la evaluación, así como procesos basados en revisión humana.
  • Frameworks automatizados para evaluar: RAGAS, DeepEval y desarrollo de métricas propias.
  • Implementación de controles de calidad dentro del ciclo CI/CD de despliegue de modelos.

Medidas de seguridad y gobernanza del contenido

  • Sistemas para controlar entradas y salidas: ejemplos como NeMo Guardrails o Guardrails AI.
  • Detección de información personal sensible, filtros contra contenidos tóxicos y delimitación por temáticas.
  • Defensa ante intentos de manipulación mediante ataques tipo jailbreak o inyección de prompts.
  • Pruebas de resistencia (red-teaming) a fin de garantizar la seguridad y confiabilidad del modelo.

Observabilidad y supervisión de LLMs

  • Métricas clave para monitorear: uso de tokens, latencia, costos generados y nivel de calidad.
  • Detección temprana de cambios en las respuestas del modelo o en sus espacios vectoriales.
  • Seguimiento detallado de conversaciones largas donde interviene más de un turno del agente.
  • Generación de tableros y notificaciones mediante herramientas como LangSmith, Arize o OpenTelemetry.

Pasarelas de IA y orquestación de modelos

  • Distribución automática entre proveedores con herramientas como LiteLLM y Portkey.
  • Estrategias ante fallos: reintentos, circuit breakers y alternativas programadas.
  • Selección óptima del modelo según costo y equilibrio de carga entre distintos servicios.
  • Gestión de límites en solicitudes, cuotas disponibles y control riguroso sobre claves API.

Optimización del rendimiento

  • Técnicas de almacenamiento en caché semántico: uso de bases vectoriales y coincidencias exactas.
  • Obligación de generar respuestas estructuradas mediante técnicas avanzadas de descodificación.
  • Aplicación de procesos en lote, transmisión de datos y gestión de concurrencia para aumentar eficiencia.
  • Reducción deliberada de latencias mediante elección inteligente del proveedor del modelo.

Gobernanza, cumplimiento y auditoría

  • Registro integral de actividades: historiales de prompts utilizados, respuestas generadas y justificaciones de decisiones.
  • Aspectos relacionados con la privacidad de datos y ubicación geográfica en el uso comercial de modelos de lenguaje.
  • Establecimiento automatizado de políticas internas para regular el empleo de LLMs dentro de cada organización.
  • Elaboración de una guía práctica para operar con modelos de lenguaje en entornos corporativos.

Requerimientos

  • Experiencia previa en el desarrollo o integración de aplicaciones que utilicen modelos de lenguaje.
  • Conocimientos básicos de Python y del uso de API REST.
  • Comprensión elemental de los conceptos relacionados con la ingeniería de prompts.

Público objetivo

  • Ingenieros de machine learning y profesionales del MLOps que deseen especializarse en operaciones con LLMs.
  • Ingenieros de plataformas encargados de la infraestructura dedicada a modelos de lenguaje.
  • Responsables técnicos que gestionan el despliegue productivo de soluciones de IA generativa.
 14 Horas

Formación Corporativa a Medida

Soluciones de formación diseñadas exclusivamente para empresas.

  • Contenido personalizado: Adaptamos el temario y los ejercicios prácticos a los objetivos y necesidades reales del proyecto.
  • Calendario flexible: Fechas y horarios adaptados a la agenda de su equipo.
  • Modalidad: Online (en directo), In-company (en sus oficinas) o Híbrida.
Inversión

Precio por grupo privado (formación online) desde 2900 € + IVA*

Contáctenos para obtener un presupuesto exacto y conocer nuestras promociones actuales

Reseñas (2)

Próximos cursos

Categorías Relacionadas