Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Introducción a EXO y al Agrupamiento de IA Local
- Visión general del marco EXO y el ecosistema exo-explore.
- Comparación entre inferencia centralizada en la nube e inferencia local distribuida.
- Arquitectura: descubrimiento de dispositivos libp2p, backend MLX, tablero de control y capas de API.
- Requisitos de hardware: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, almacenamiento compartido.
Instalación de EXO en macOS
- Configuración de Xcode, Metal Toolchain y prerequisitos de macOS.
- Instalación de uv, Node.js y el toolchain Rust nightly.
- Instalación del fork fijado de macmon para la monitorización de Apple Silicon.
- Clonar el repositorio y construir el tablero de control con npm.
- Ejecutar EXO desde el código fuente y verificar el tablero de control en localhost:52415.
Instalación de EXO en Linux
- Instalación de dependencias mediante apt o Homebrew en Linux.
- Configuración de uv, Node.js 18+ y Rust nightly.
- Construcción del tablero de control y ejecución de EXO en modo solo CPU.
- Disposición de directorios: rutas del Estándar de Directorio Base XDG para configuración, datos, caché y registros.
Descubrimiento Automático de Dispositivos y Formación de Clústeres
- Comprensión del auto-descubrimiento basado en libp2p en redes locales.
- Configuración de espacios de nombres personalizados con EXO_LIBP2P_NAMESPACE para aislamiento del clúster.
- Verificación de la membresía de los nodos en la vista del clúster del tablero de control.
- Gestión de fallos en el descubrimiento y problemas de segmentación de red.
Habilitación de RDMA sobre Thunderbolt 5
- Arquitectura de RDMA y la afirmación de reducción de latencia del 99 por ciento.
- Habilitación de RDMA en el modo de Recuperación de macOS con rdma_ctl.
- Requisitos de cableado y restricciones de topología de puertos en Mac Studio.
- Coincidencia de versiones de macOS en todos los nodos del clúster.
- Solución de problemas de descubrimiento de RDMA y configuración DHCP.
Despliegue de Modelos de Vanguardia
- Uso del tablero de control para cargar y fragmentar modelos DeepSeek v3.1, Qwen3-235B y la familia Llama.
- Visualización de las ubicaciones de instancias con el endpoint de la API /instance/previews.
- Creación de instancias de modelos con fragmentación por canalización o paralelismo de tensores.
- Configuración de tarjetas de modelos personalizadas desde el hub de HuggingFace.
Monitorización y Solución de Problemas
- Lectura de los registros de EXO y comprensión del rastro distribuido.
- Interpretación de la salud del clúster en la vista del clúster del tablero de control.
- Diagnóstico de fallos de los nodos de trabajo y comportamiento de reconexión.
- Uso de EXO_TRACING_ENABLED para el análisis de cuellos de botella de rendimiento.
Mantenimiento y Actualización del Clúster
- Actualización de los binarios de EXO y procedimientos de reconstrucción del tablero de control.
- Migración de las cachés de modelos y gestión de modelos pre-descargados sobre NFS.
- Eliminación ordenada de nodos y reequilibrio de cargas de trabajo.
Requerimientos
- Conocimiento de los fundamentos de redes (IP, subnetting, firewalls).
- Experiencia con la administración de línea de comandos de macOS o Linux.
- Familiaridad con la gestión de paquetes de Python (pip/uv) y herramientas de Node.js.
Público Objetivo
- Administradores de sistemas.
- Ingenieros de DevOps.
- Arquitectos de infraestructura de IA responsables del despliegue de LLMs in situ.
21 Horas
Formación Corporativa a Medida
Soluciones de formación diseñadas exclusivamente para empresas.
- Contenido personalizado: Adaptamos el temario y los ejercicios prácticos a los objetivos y necesidades reales del proyecto.
- Calendario flexible: Fechas y horarios adaptados a la agenda de su equipo.
- Modalidad: Online (en directo), In-company (en sus oficinas) o Híbrida.
Precio por grupo privado (formación online) desde 4350 € + IVA*
Contáctenos para obtener un presupuesto exacto y conocer nuestras promociones actuales