Contacta con nosotros

Temario del curso

Soberanía de IA y despliegue local de LLM

  • Riesgos de los LLM en la nube: retención de datos, entrenamiento con entradas, jurisdicción extranjera.
  • Arquitectura de Ollama: servidor de modelos, registro y API compatible con OpenAI.
  • Comparación con vLLM, llama.cpp y Text Generation Inference.
  • Licencias de modelos: términos de Llama, Mistral, Qwen y Gemma.

Instalación y configuración de hardware

  • Instalación de Ollama en Linux con soporte para CUDA y ROCm.
  • Fallback solo con CPU y optimización AVX/AVX2.
  • Despliegue en Docker y mapeo de volúmenes persistentes.
  • Configuración multirruta GPU y estrategias de asignación de VRAM.

Gestión de modelos

  • Obtención de modelos desde el registro de Ollama: ollama pull llama3.
  • Importación de modelos GGUF desde HuggingFace y TheBloke.
  • Niveles de cuantización: compensaciones entre Q4_K_M, Q5_K_M y Q8_0.
  • Cambio de modelos y límites de carga concurrente de modelos.

Modelfiles personalizados

  • Sintaxis de escritura de Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
  • Ajuste de temperatura, top_p y repeat_penalty.
  • Ingeniería de instrucciones del sistema para comportamientos específicos por rol.
  • Creación y publicación de modelos personalizados en el registro local.

Integración de API

  • Endpoint /v1/chat/completions compatible con OpenAI.
  • Respuestas en streaming y modo JSON.
  • Integración con LangChain, LlamaIndex y aplicaciones personalizadas.
  • Autenticación y limitación de velocidad mediante proxy inverso.

Optimización del rendimiento

  • Tamaño de la ventana de contexto y gestión de caché KV.
  • Inferencia por lotes y manejo de solicitudes paralelas.
  • Asignación de hilos de CPU y conciencia de NUMA.
  • Monitoreo del uso de GPU y presión de memoria.

Seguridad y cumplimiento

  • Aislamiento de red para puntos finales de servicio de modelos.
  • Proceso de filtrado de entradas y moderación de salidas.
  • Registro de auditoría de instrucciones completas y respuestas.
  • Procedencia del modelo y verificación de hash.

Requerimientos

  • Administración intermedia de Linux y contenedores.
  • Comprensión de alto nivel de modelos de aprendizaje automático y transformadores.
  • Familiaridad con API REST y JSON.

Público objetivo

  • Ingenieros de IA y desarrolladores que reemplazan API de LLM en la nube.
  • Organizaciones con sensibilidad de datos que impide el uso de modelos en la nube.
  • Equipos gubernamentales y de defensa que requieren modelos de lenguaje aislados de la red (air-gapped).
 14 Horas

Formación Corporativa a Medida

Soluciones de formación diseñadas exclusivamente para empresas.

  • Contenido personalizado: Adaptamos el temario y los ejercicios prácticos a los objetivos y necesidades reales del proyecto.
  • Calendario flexible: Fechas y horarios adaptados a la agenda de su equipo.
  • Modalidad: Online (en directo), In-company (en sus oficinas) o Híbrida.
Inversión

Precio por grupo privado (formación online) desde 2900 € + IVA*

Contáctenos para obtener un presupuesto exacto y conocer nuestras promociones actuales

Próximos cursos

Categorías Relacionadas