Solicitar información
 Duración 21 horas

Temario del curso

Introducción al Escalado de Ollama

  • Arquitectura de Ollama y consideraciones de escalabilidad
  • Cuellos de botella comunes en despliegues de múltiples usuarios
  • Mejores prácticas para la preparación de la infraestructura

Asignación de Recursos y Optimización de GPU

  • Estrategias de uso eficiente de CPU/GPU
  • Consideraciones de memoria y ancho de banda
  • Restricciones de recursos a nivel de contenedor

Despliegue con Contenedores y Kubernetes

  • Contenerización de Ollama con Docker
  • Ejecución de Ollama en clústeres de Kubernetes
  • Balanceo de carga y descubrimiento de servicios

Autoscaling y Batching

  • Diseño de políticas de autoscaling para Ollama
  • Técnicas de inferencia por lotes (batching) para optimizar el rendimiento
  • Compromisos entre latencia y rendimiento (throughput)

Optimización de Latencia

  • Perfilado del rendimiento de la inferencia
  • Estrategias de caché y calentamiento de modelos
  • Reducción de la sobrecarga de E/S y comunicación

Monitorización y Observabilidad

  • Integración de Prometheus para métricas
  • Creación de paneles de control (dashboards) con Grafana
  • Alertas y respuesta ante incidentes para la infraestructura de Ollama

Gestión de Costos y Estrategias de Escalado

  • Asignación de GPU consciente de los costos
  • Consideraciones de despliegue en la nube vs. local (on-prem)
  • Estrategias para un escalado sostenible

Resumen y Próximos Pasos

Requerimientos

  • Experiencia en administración de sistemas Linux
  • Comprensión de la contenerización y la orquestación
  • Familiaridad con el despliegue de modelos de aprendizaje automático

Público Objetivo

  • Ingenieros DevOps
  • Equipos de infraestructura de ML
  • Ingenieros de fiabilidad del sitio (SRE)

Formación Corporativa a Medida

Soluciones de formación diseñadas exclusivamente para empresas.

  • Contenido personalizado: Adaptamos el temario y los ejercicios prácticos a los objetivos y necesidades reales del proyecto.
  • Calendario flexible: Fechas y horarios adaptados a la agenda de su equipo.
  • Modalidad: Online (en directo), In-company (en sus oficinas) o Híbrida.
Inversión

Precio por grupo privado (formación online) desde 4350 € + IVA*

Contáctenos para obtener un presupuesto exacto y conocer nuestras promociones actuales

Próximos cursos

Categorías Relacionadas