Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 21 horas
Temario del curso
Introducción al Escalado de Ollama
- Arquitectura de Ollama y consideraciones de escalabilidad
- Cuellos de botella comunes en despliegues de múltiples usuarios
- Mejores prácticas para la preparación de la infraestructura
Asignación de Recursos y Optimización de GPU
- Estrategias de uso eficiente de CPU/GPU
- Consideraciones de memoria y ancho de banda
- Restricciones de recursos a nivel de contenedor
Despliegue con Contenedores y Kubernetes
- Contenerización de Ollama con Docker
- Ejecución de Ollama en clústeres de Kubernetes
- Balanceo de carga y descubrimiento de servicios
Autoscaling y Batching
- Diseño de políticas de autoscaling para Ollama
- Técnicas de inferencia por lotes (batching) para optimizar el rendimiento
- Compromisos entre latencia y rendimiento (throughput)
Optimización de Latencia
- Perfilado del rendimiento de la inferencia
- Estrategias de caché y calentamiento de modelos
- Reducción de la sobrecarga de E/S y comunicación
Monitorización y Observabilidad
- Integración de Prometheus para métricas
- Creación de paneles de control (dashboards) con Grafana
- Alertas y respuesta ante incidentes para la infraestructura de Ollama
Gestión de Costos y Estrategias de Escalado
- Asignación de GPU consciente de los costos
- Consideraciones de despliegue en la nube vs. local (on-prem)
- Estrategias para un escalado sostenible
Resumen y Próximos Pasos
Requerimientos
- Experiencia en administración de sistemas Linux
- Comprensión de la contenerización y la orquestación
- Familiaridad con el despliegue de modelos de aprendizaje automático
Público Objetivo
- Ingenieros DevOps
- Equipos de infraestructura de ML
- Ingenieros de fiabilidad del sitio (SRE)
Formación Corporativa a Medida
Soluciones de formación diseñadas exclusivamente para empresas.
- Contenido personalizado: Adaptamos el temario y los ejercicios prácticos a los objetivos y necesidades reales del proyecto.
- Calendario flexible: Fechas y horarios adaptados a la agenda de su equipo.
- Modalidad: Online (en directo), In-company (en sus oficinas) o Híbrida.
Precio por grupo privado (formación online) desde 4350 € + IVA*
Contáctenos para obtener un presupuesto exacto y conocer nuestras promociones actuales