Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Sovereignty en IA y despliegue local de modelos de lenguaje
- Riesgos asociados al uso de modelos en la nube: retención de información, aprendizaje basado en entradas del usuario y sujeción a leyes extranjeras.
- Arquitectura básica de Ollama: servidor de modelos, registro de recursos y API compatible con OpenAI.
- Diferencias frente a herramientas similares como vLLM, llama.cpp y Text Generation Inference.
- Condiciones legales de licencia para modelos Llama, Mistral, Qwen y Gemma.
Instalación e configuración del hardware
- Proceso de instalación de Ollama en Linux con soporte CUDA y ROCm.
- Estrategias para entornos limitados a CPU, incluyendo optimizaciones AVX y AVX2.
- Implementación mediante Docker e integración de volúmenes persistentes.
- Diseño de arquitecturas con múltiples GPU y asignación óptima de memoria VRAM.
Gestión avanzada de modelos
- Descarga directa desde el catálogo Ollama usando comandos como “ollama pull llama3”.
- Incorporación de modelos GGUF obtenidos vía HuggingFace o TheBloke.
- Diferencias entre niveles de cuantización: Q4_K_M, Q5_K_M y Q8_0 según necesidades técnicas.
- Control dinámico sobre múltiples modelos simultáneamente mediante Ollama.
Diseño de archivos Modelfile personalizados
- Sintaxis para crear archivos Modelfile: indicadores “FROM”, ajustes “PARAMETER”, instrucciones “SYSTEM” y plantillas “TEMPLATE”.
- Configuración precisa de parámetros críticos como temperatura, top_p o penalización por repetición.
- Diseño cuidadoso de indicaciones contextuales para conseguir respuestas acordes a perfiles específicos.
- Publicación sencilla de nuevos modelos diseñados en el propio entorno local.
Integración con otras aplicaciones
- Aprovechamiento del endpoint “/v1/chat/completions” para intercambios de datos similares a OpenAI.
- Manejo eficaz de flujos continuos y formato JSON durante transmisiones en tiempo real.
- Conexión natural con librerías como LangChain o LlamaIndex, así como programas desarrollados por la propia organización.
- Protección vía autenticación robusta y limitación de solicitudes gestionadas mediante proxies inversos.
Optimización del rendimiento sistemático
- Diseño adecuado del tamaño de contexto y gestión racional de la memoria caché KV.
- Estrategias para ejecuciones por lotes e instrucciones paralelas sin generar colapsos computacionales.
- Ajuste detallado de hilos procesadores y aprovechamiento correcto de capacidades NUMA.
- Monitorización precisa del consumo de recursos gráficos e índices críticos de carga.
Medidas de seguridad y cumplimiento normativo
- Aislamiento eficaz en red para todos los servidores encargados del modelado.
- Filtrado riguroso de entradas y mecanismos reguladores automatizados de contenidos generados.
- Registro detallado que documenta todas las peticiones enviadas y respuestas obtenidas por sistemas supervisores.
- Control estricto sobre el origen y verificación mediante hashes únicos de cada modelo utilizado.
Requerimientos
- Conocimientos intermedios sobre administración de sistemas Linux y contenedores.
- Comprensión general de los conceptos básicos del aprendizaje automático y los modelos basados en transformadores.
- Dominio básico de las API REST y el formato JSON.
Público objetivo
- Ingenieros y desarrolladores que buscan sustituir las API de modelos en la nube por soluciones locales.
- Organizaciones con restricciones sobre el uso de datos sensibles que impiden recurrir a servicios cloud.
- Entidades gubernamentales y fuerzas de defensa que requieren modelos sin conexión a internet ni riesgos jurisdiccionales.
14 Horas
Formación Corporativa a Medida
Soluciones de formación diseñadas exclusivamente para empresas.
- Contenido personalizado: Adaptamos el temario y los ejercicios prácticos a los objetivos y necesidades reales del proyecto.
- Calendario flexible: Fechas y horarios adaptados a la agenda de su equipo.
- Modalidad: Online (en directo), In-company (en sus oficinas) o Híbrida.
Precio por grupo privado (formación online) desde 2900 € + IVA*
Contáctenos para obtener un presupuesto exacto y conocer nuestras promociones actuales
