Temario del curso

Introducción a Mistral a Escala

  • Visión general de Mistral Medium 3
  • Compromiso entre rendimiento y costo
  • Consideraciones a escala empresarial

Patrones de Implementación para LLMs

  • Topologías de servicio y opciones de diseño
  • Implementaciones en premises vs. nube
  • Estrategias híbridas y multicloud

Técnicas de Optimización de Inferencia

  • Estrategias de batch para alto rendimiento
  • Métodos de cuantificación para reducción de costos
  • Utilización de aceleradores y GPUs

Escalabilidad y Fiabilidad

  • Escalado de clústeres Kubernetes para inferencia
  • Balanceo de carga y enrutamiento de tráfico
  • Tolerancia a fallos y redundancia

Marco de Ingeniería de Costos

  • Medición de eficiencia de costos de inferencia
  • Ajuste adecuado de recursos de cómputo y memoria
  • Monitoreo y alertas para optimización

Seguridad y Cumplimiento en Producción

  • Seguridad en implementaciones y APIs
  • Consideraciones de gobernanza de datos
  • Cumplimiento regulatorio en la ingeniería de costos

Estudios de Caso y Mejores Prácticas

  • Arquitecturas de referencia para Mistral a escala
  • Lecciones aprendidas de implementaciones empresariales
  • Tendencias futuras en inferencia eficiente de LLMs

Resumen y Pasos Siguientes

Requerimientos

  • Comprensión sólida de la implementación de modelos de aprendizaje automático
  • Experiencia con infraestructuras en la nube y sistemas distribuidos
  • Familiaridad con estrategias de optimización del rendimiento y los costos

Audiencia

  • Ingenieros de infraestructura
  • Arquitectos en la nube
  • Líderes de MLOps
 14 Horas

Próximos cursos

Categorías Relacionadas