Temario del curso
Introducción
- Descripción general de los desafíos de escalado del aprendizaje profundo
- Descripción general de DeepSpeed y sus características
- DeepSpeed frente a otras bibliotecas de aprendizaje profundo distribuidas
Empezar
- Configuración del entorno de desarrollo
- Instalación de PyTorch y DeepSpeed
- Configuración de DeepSpeed para el entrenamiento distribuido
Funciones de optimización de DeepSpeed
- Canalización de entrenamiento de DeepSpeed
- ZeRO (optimización de memoria)
- Puntos de control de activación
- Puntos de control de gradiente
- Paralelismo de canalizaciones
Escalado de modelos con DeepSpeed
- Escalado básico con DeepSpeed
- Técnicas avanzadas de escalado
- Consideraciones de rendimiento y procedimientos recomendados
- Técnicas de depuración y solución de problemas
Temas avanzados de DeepSpeed
- Técnicas avanzadas de optimización
- Uso de DeepSpeed con entrenamiento de precisión mixto
- DeepSpeed en diferentes hardware (por ejemplo, GPUs, TPUs)
- DeepSpeed con múltiples nodos de entrenamiento
Integración de DeepSpeed con PyTorch
- Integración de DeepSpeed con los flujos de trabajo de PyTorch
- Uso de DeepSpeed con PyTorch Lightning
Solución de problemas
- Depuración de problemas comunes de DeepSpeed
- Monitoreo y registro
Resumen y próximos pasos
- Resumen de los conceptos y características clave
- Prácticas recomendadas para utilizar DeepSpeed en producción
- Más recursos para aprender más sobre DeepSpeed
Requerimientos
- Conocimiento intermedio de los principios del aprendizaje profundo
- Experiencia con PyTorch o marcos de aprendizaje profundo similares
- Familiaridad con Python programación
Audiencia
- Científicos de datos
- Ingenieros de aprendizaje automático
- Desarrolladores
Formación Corporativa a Medida
Soluciones de formación diseñadas exclusivamente para empresas.
- Contenido personalizado: Adaptamos el temario y los ejercicios prácticos a los objetivos y necesidades reales del proyecto.
- Calendario flexible: Fechas y horarios adaptados a la agenda de su equipo.
- Modalidad: Online (en directo), In-company (en sus oficinas) o Híbrida.
Price per private group, online live training, starting from 4800 € + VAT*
Contáctenos para obtener un presupuesto exacto y conocer nuestras promociones actuales
Testimonios (2)
Organización, siguiendo la agenda propuesta, el extenso conocimiento del formador en este tema
Ali Kattan - TWPI
Curso - Natural Language Processing with TensorFlow
Traducción Automática
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.
Paul Lee
Curso - TensorFlow for Image Recognition
Traducción Automática