Solicitar información

Temario del curso

Introducción al escalado de Ollama

  • Arquitectura de Ollama y aspectos clave para su escalado
  • Principales cuellos de botella en implementaciones multiusuario
  • Mejores prácticas para preparar la infraestructura

Asignación de recursos y optimización de GPU

  • Estrategias para un uso eficiente de CPU y GPU
  • Consideraciones relativas a memoria y ancho de banda
  • Límites de recursos en el nivel del contenedor

Despliegue mediante contenedores y Kubernetes

  • Cómo contenerizar Ollama con Docker
  • Ejecución de Ollama en clústeres de Kubernetes
  • Equilibrio de carga y detección de servicios

Escalado automático y procesamiento por lotes

  • Diseño de políticas de escalado automático para Ollama
  • Técnicas de inferencia por lotes orientadas a maximizar el rendimiento
  • Análisis del equilibrio entre latencia y rendimiento

Optimización de la latencia

  • Perfilado del rendimiento en inferencias realizadas
  • Estrategias de almacenamiento en caché y precalentamiento de modelos
  • Métodos para reducir la sobrecarga derivada de operaciones I/O y comunicación

Supervisión y capacidad de observación

  • Integración con Prometheus para el seguimiento de métricas
  • Creación de paneles visuales mediante Grafana
  • Gestión de alertas y respuesta a incidentes en la infraestructura de Ollama

Gestión de costos y estrategias de escalado

  • Asignación inteligente de recursos GPU en función del coste
  • Diferencias entre despliegues en la nube y en entornos locales
  • Planificación para un crecimiento sostenible de la infraestructura

Resumen y próximos pasos

Requerimientos

  • Experiencia previa en administración de sistemas Linux
  • Conocimientos sobre contenerización y orquestación
  • Familiaridad con el despliegue de modelos de aprendizaje automático

Público objetivo

  • Ingenieros DevOps
  • Equipos de infraestructura para aprendizaje automático
  • Ingenieros de fiabilidad del sitio
 21 Horas

Formación Corporativa a Medida

Soluciones de formación diseñadas exclusivamente para empresas.

  • Contenido personalizado: Adaptamos el temario y los ejercicios prácticos a los objetivos y necesidades reales del proyecto.
  • Calendario flexible: Fechas y horarios adaptados a la agenda de su equipo.
  • Modalidad: Online (en directo), In-company (en sus oficinas) o Híbrida.
Inversión

Precio por grupo privado (formación online) desde 4350 € + IVA*

Contáctenos para obtener un presupuesto exacto y conocer nuestras promociones actuales

Próximos cursos

Categorías Relacionadas