Contacta con nosotros

Temario del curso

Soberanía de IA y Despliegue Local de LLM

  • Riesgos de los LLM en la nube: retención de datos, entrenamiento con entradas, jurisdicción extranjera.
  • Arquitectura de Ollama: servidor de modelos, registro y API compatible con OpenAI.
  • Comparación con vLLM, llama.cpp y Text Generation Inference.
  • Licenciamiento de modelos: términos de Llama, Mistral, Qwen y Gemma.

Instalación y Configuración de Hardware

  • Instalación de Ollama en Linux con soporte CUDA y ROCm.
  • Alternativa solo de CPU y optimización AVX/AVX2.
  • Despliegue en Docker y mapeo de volúmenes persistentes.
  • Configuración multi-GPU y estrategias de asignación de VRAM.

Gestión de Modelos

  • Descarga de modelos desde el registro de Ollama: ollama pull llama3.
  • Importación de modelos GGUF desde HuggingFace y TheBloke.
  • Niveles de cuantificación: compensaciones entre Q4_K_M, Q5_K_M y Q8_0.
  • Cambio de modelos y límites de carga concurrente de modelos.

Modelfiles Personalizados

  • Escritura de sintaxis Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
  • Ajuste de temperatura, top_p y repeat_penalty.
  • Ingeniería de indicaciones del sistema para comportamiento específico por rol.
  • Creación y publicación de modelos personalizados en el registro local.

Integración de API

  • Endpoint /v1/chat/completions compatible con OpenAI.
  • Respuestas en streaming y modo JSON.
  • Integración con LangChain, LlamaIndex y aplicaciones personalizadas.
  • Autenticación y limitación de velocidad con proxy inverso.

Optimización del Rendimiento

  • Tamaño de la ventana de contexto y gestión del caché KV.
  • Inferencia por lotes y manejo de solicitudes paralelas.
  • Asignación de hilos de CPU y conocimiento de NUMA.
  • Monitoreo de utilización de GPU y presión de memoria.

Seguridad y Cumplimiento

  • Aislamiento de red para puntos finales de servicio de modelos.
  • Filtrado de entradas y pipelines de moderación de salidas.
  • Registro de auditoría de indicaciones (prompts) y completados.
  • Proveniencia de modelos y verificación de hashes.

Requerimientos

  • Administración intermedia de Linux y contenedores.
  • Comprensión de modelos de aprendizaje automático y transformadores a alto nivel.
  • Familiaridad con APIs REST y JSON.

Público Objetivo

  • Ingenieros y desarrolladores de IA que reemplazan APIs de LLM en la nube.
  • Organizaciones con sensibilidad de datos que impide el uso de modelos en la nube.
  • Equipos gubernamentales y de defensa que requieren modelos de lenguaje desconectados de internet (air-gapped).
 14 Horas

Formación Corporativa a Medida

Soluciones de formación diseñadas exclusivamente para empresas.

  • Contenido personalizado: Adaptamos el temario y los ejercicios prácticos a los objetivos y necesidades reales del proyecto.
  • Calendario flexible: Fechas y horarios adaptados a la agenda de su equipo.
  • Modalidad: Online (en directo), In-company (en sus oficinas) o Híbrida.
Inversión

Precio por grupo privado (formación online) desde 2900 € + IVA*

Contáctenos para obtener un presupuesto exacto y conocer nuestras promociones actuales

Próximos cursos

Categorías Relacionadas