Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Introducción al escalado de Ollama
- Arquitectura de Ollama y aspectos clave para su escalado
- Principales cuellos de botella en implementaciones multiusuario
- Mejores prácticas para preparar la infraestructura
Asignación de recursos y optimización de GPU
- Estrategias para un uso eficiente de CPU y GPU
- Consideraciones relativas a memoria y ancho de banda
- Límites de recursos en el nivel del contenedor
Despliegue mediante contenedores y Kubernetes
- Cómo contenerizar Ollama con Docker
- Ejecución de Ollama en clústeres de Kubernetes
- Equilibrio de carga y detección de servicios
Escalado automático y procesamiento por lotes
- Diseño de políticas de escalado automático para Ollama
- Técnicas de inferencia por lotes orientadas a maximizar el rendimiento
- Análisis del equilibrio entre latencia y rendimiento
Optimización de la latencia
- Perfilado del rendimiento en inferencias realizadas
- Estrategias de almacenamiento en caché y precalentamiento de modelos
- Métodos para reducir la sobrecarga derivada de operaciones I/O y comunicación
Supervisión y capacidad de observación
- Integración con Prometheus para el seguimiento de métricas
- Creación de paneles visuales mediante Grafana
- Gestión de alertas y respuesta a incidentes en la infraestructura de Ollama
Gestión de costos y estrategias de escalado
- Asignación inteligente de recursos GPU en función del coste
- Diferencias entre despliegues en la nube y en entornos locales
- Planificación para un crecimiento sostenible de la infraestructura
Resumen y próximos pasos
Requerimientos
- Experiencia previa en administración de sistemas Linux
- Conocimientos sobre contenerización y orquestación
- Familiaridad con el despliegue de modelos de aprendizaje automático
Público objetivo
- Ingenieros DevOps
- Equipos de infraestructura para aprendizaje automático
- Ingenieros de fiabilidad del sitio
21 Horas
Formación Corporativa a Medida
Soluciones de formación diseñadas exclusivamente para empresas.
- Contenido personalizado: Adaptamos el temario y los ejercicios prácticos a los objetivos y necesidades reales del proyecto.
- Calendario flexible: Fechas y horarios adaptados a la agenda de su equipo.
- Modalidad: Online (en directo), In-company (en sus oficinas) o Híbrida.
Precio por grupo privado (formación online) desde 4350 € + IVA*
Contáctenos para obtener un presupuesto exacto y conocer nuestras promociones actuales