Contacta con nosotros

Temario del curso

Introducción a EXO y al Agrupamiento de IA Local

  • Visión general del marco EXO y el ecosistema exo-explore.
  • Comparación entre inferencia centralizada en la nube e inferencia local distribuida.
  • Arquitectura: descubrimiento de dispositivos libp2p, backend MLX, tablero de control y capas de API.
  • Requisitos de hardware: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, almacenamiento compartido.

Instalación de EXO en macOS

  • Configuración de Xcode, Metal Toolchain y prerequisitos de macOS.
  • Instalación de uv, Node.js y el toolchain Rust nightly.
  • Instalación del fork fijado de macmon para la monitorización de Apple Silicon.
  • Clonar el repositorio y construir el tablero de control con npm.
  • Ejecutar EXO desde el código fuente y verificar el tablero de control en localhost:52415.

Instalación de EXO en Linux

  • Instalación de dependencias mediante apt o Homebrew en Linux.
  • Configuración de uv, Node.js 18+ y Rust nightly.
  • Construcción del tablero de control y ejecución de EXO en modo solo CPU.
  • Disposición de directorios: rutas del Estándar de Directorio Base XDG para configuración, datos, caché y registros.

Descubrimiento Automático de Dispositivos y Formación de Clústeres

  • Comprensión del auto-descubrimiento basado en libp2p en redes locales.
  • Configuración de espacios de nombres personalizados con EXO_LIBP2P_NAMESPACE para aislamiento del clúster.
  • Verificación de la membresía de los nodos en la vista del clúster del tablero de control.
  • Gestión de fallos en el descubrimiento y problemas de segmentación de red.

Habilitación de RDMA sobre Thunderbolt 5

  • Arquitectura de RDMA y la afirmación de reducción de latencia del 99 por ciento.
  • Habilitación de RDMA en el modo de Recuperación de macOS con rdma_ctl.
  • Requisitos de cableado y restricciones de topología de puertos en Mac Studio.
  • Coincidencia de versiones de macOS en todos los nodos del clúster.
  • Solución de problemas de descubrimiento de RDMA y configuración DHCP.

Despliegue de Modelos de Vanguardia

  • Uso del tablero de control para cargar y fragmentar modelos DeepSeek v3.1, Qwen3-235B y la familia Llama.
  • Visualización de las ubicaciones de instancias con el endpoint de la API /instance/previews.
  • Creación de instancias de modelos con fragmentación por canalización o paralelismo de tensores.
  • Configuración de tarjetas de modelos personalizadas desde el hub de HuggingFace.

Monitorización y Solución de Problemas

  • Lectura de los registros de EXO y comprensión del rastro distribuido.
  • Interpretación de la salud del clúster en la vista del clúster del tablero de control.
  • Diagnóstico de fallos de los nodos de trabajo y comportamiento de reconexión.
  • Uso de EXO_TRACING_ENABLED para el análisis de cuellos de botella de rendimiento.

Mantenimiento y Actualización del Clúster

  • Actualización de los binarios de EXO y procedimientos de reconstrucción del tablero de control.
  • Migración de las cachés de modelos y gestión de modelos pre-descargados sobre NFS.
  • Eliminación ordenada de nodos y reequilibrio de cargas de trabajo.

Requerimientos

  • Conocimiento de los fundamentos de redes (IP, subnetting, firewalls).
  • Experiencia con la administración de línea de comandos de macOS o Linux.
  • Familiaridad con la gestión de paquetes de Python (pip/uv) y herramientas de Node.js.

Público Objetivo

  • Administradores de sistemas.
  • Ingenieros de DevOps.
  • Arquitectos de infraestructura de IA responsables del despliegue de LLMs in situ.
 21 Horas

Formación Corporativa a Medida

Soluciones de formación diseñadas exclusivamente para empresas.

  • Contenido personalizado: Adaptamos el temario y los ejercicios prácticos a los objetivos y necesidades reales del proyecto.
  • Calendario flexible: Fechas y horarios adaptados a la agenda de su equipo.
  • Modalidad: Online (en directo), In-company (en sus oficinas) o Híbrida.
Inversión

Precio por grupo privado (formación online) desde 4350 € + IVA*

Contáctenos para obtener un presupuesto exacto y conocer nuestras promociones actuales

Próximos cursos

Categorías Relacionadas