EXO: Despliegue integral de clústeres de IA locales

Introducción a EXO y al clustering local de IA

• Descripción general del marco EXO y el ecosistema exo-explore
• Diferencias entre la inferencia en entornos cloud centralizados y la inferencia distribuida localmente
• Arquitectura: sistema de descubrimiento de dispositivos libp2p, backend MLX, panel de control y capas API
• Requisitos hardware: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5 y almacenamiento compartido.

Instalación de EXO en macOS

• Configuración previa: Xcode, Metal ToolChain y requisitos del sistema macOS
• Instalación de uv, Node.js y la versión nocturna de Rust.
• Implementación del fork macmon adaptado para monitoreo en dispositivos Apple Silicon.
• Clonado del repositorio e instalación del panel de control mediante npm.
• Ejecución de EXO desde el código fuente y verificación del panel disponible en localhost:52415.

Instalación de EXO en Linux

• Instalación de dependencias mediante apt o Homebrew para Linux.
• Configuración de uv, Node.js 18+ y versión nocturna de Rust.
• Compilación del panel de control y puesta en marcha de EXO exclusivamente en modo CPU.
• Estructura de directorios según convenciones XDG: rutas para configuración, datos, caché e historial de operaciones.

Descubrimiento automático de dispositivos y creación del clúster

• Mecanismo de detección autónoma basado en libp2p dentro de redes locales.
• Definición de espacios lógicos personalizados con EXO_LIBP2P_NAMESPACE para aislar clústeres.
• Confirmación visual de la presencia de nodos en el panel de control del clúster.
• Gestión de problemas derivados de fallas en el descubrimiento y segmentación de redes.

Habilitación de comunicaciones RDMA mediante Thunderbolt 5

• Conceptos técnicos sobre la tecnología RDMA y su promesa de reducir latencias en un 99 por ciento.
• Habilitación del protocolo RDMA durante el modo recuperación de macOS mediante rdma_ctl.
• Exigencias de hardware: tipos específicos de cables y configuraciones de puertos en Mac Studio.
• Sincronización obligatoria entre todos los sistemas nodales respecto a la versión de macOS instalada.
• Detección de fallas en el descubrimiento de RDMA y resolución de configuraciones DHCP incompatibles.

Implementación de modelos avanzados en el clúster

• Aprovechamiento del panel para cargar y distribuir fragmentadamente modelos como DeepSeek v3.1, Qwen3-235B o variantes de Llama.
• Simulación visual de la distribución prevista a través del endpoint /instance/previews.
• Generación dinámica de instancias del modelo combinando técnicas como pipeline sharding o particionamiento por tensores.
• Agregado manual de fichas descriptivas propias para los modelos obtenidos desde HuggingFace.

Supervisión y resolución de incidencias en el clúster

• Lectura detallada de logs generados por EXO con énfasis en rastreo distribuido.
• Interpretación visual del estado general mediante el panel de control.
• Identificación de anomalías en nodos operativos y acciones para reintegración rápida al clúster.
• Aplicación práctica de EXO_TRACING_ENABLED como método analítico para identificar cuellos de botella en el desempeño.

Mantenimiento operativo y actualizaciones del clúster

• Procedimientos habituales: actualización de ejecutables EXO e implementación iterativa de mejoras en el panel.
• Gestión inteligente de cachés de modelos, incluyendo mecanismos NFS para distribución sincronizada.
• Eliminación controlada de nodos superados y rebalanceo dinámico del esfuerzo computacional.