Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 14 horas
Temario del curso
Soberanía en IA y Despliegue Local de LLM
- Riesgos de los LLM en la nube: retención de datos, entrenamiento con entradas, jurisdicción extranjera.
- Arquitectura de Ollama: servidor de modelos, registro y API compatible con OpenAI.
- Comparación con vLLM, llama.cpp y Text Generation Inference.
- Licencias de modelos: términos de Llama, Mistral, Qwen y Gemma.
Instalación y Configuración de Hardware
- Instalación de Ollama en Linux con soporte para CUDA y ROCm.
- Alternativa solo con CPU y optimización AVX/AVX2.
- Despliegue con Docker y mapeo de volúmenes persistentes.
- Configuración multi-GPU y estrategias de asignación de VRAM.
Gestión de Modelos
- Obtención de modelos del registro de Ollama: ollama pull llama3.
- Importación de modelos GGUF desde HuggingFace y TheBloke.
- Niveles de cuantización: compensaciones entre Q4_K_M, Q5_K_M y Q8_0.
- Cambio de modelos y límites de carga de modelos concurrentes.
Modelfiles Personalizados
- Sintaxis de Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Ajuste de temperature, top_p y repeat_penalty.
- Ingeniería de prompts de sistema para comportamientos específicos de rol.
- Creación y publicación de modelos personalizados en el registro local.
Integración de API
- Punto de conexión /v1/chat/completions compatible con OpenAI.
- Respuestas en streaming y modo JSON.
- Integración con LangChain, LlamaIndex y aplicaciones personalizadas.
- Autenticación y limitación de tasa mediante proxy inverso.
Optimización de Rendimiento
- Dimensionamiento de la ventana de contexto y gestión de la caché KV.
- Inferencia por lotes y procesamiento de solicitudes paralelas.
- Asignación de hilos de CPU y concientización de NUMA.
- Monitoreo del uso de GPU y la presión de memoria.
Seguridad y Cumplimiento
- Aislamiento de red para los puntos de conexión de servicio de modelos.
- Filtrado de entrada y pipelines de moderación de salida.
- Registro de auditoría de prompts y completaciones.
- Origen del modelo y verificación de hash.
Requerimientos
- Administración intermedia de Linux y contenedores.
- Comprensión de alto nivel del aprendizaje automático y de los modelos de transformadores.
- Conocimiento de APIs REST y JSON.
Público Objetivo
- Ingenieros y desarrolladores de IA que reemplazan APIs de LLM en la nube.
- Organizaciones con restricciones de sensibilidad de datos que impiden el uso de modelos en la nube.
- Equipos de gobierno y defensa que requieren modelos de lenguaje aislados de la red (air-gapped).
Formación Corporativa a Medida
Soluciones de formación diseñadas exclusivamente para empresas.
- Contenido personalizado: Adaptamos el temario y los ejercicios prácticos a los objetivos y necesidades reales del proyecto.
- Calendario flexible: Fechas y horarios adaptados a la agenda de su equipo.
- Modalidad: Online (en directo), In-company (en sus oficinas) o Híbrida.
Precio por grupo privado (formación online) desde 2900 € + IVA*
Contáctenos para obtener un presupuesto exacto y conocer nuestras promociones actuales
