Desarrollo de aplicaciones con LLM seguras y responsables

Introducción a la arquitectura de los LLM y su superficie de ataque

• Cómo se crean, despliegan y acceden a los modelos mediante API
• Componentes clave en el desarrollo de aplicaciones con LLM (prompts, agentes, memoria, APIs)
• ¿Dónde y cómo surgen los problemas de seguridad en entornos reales?

Inyección de prompts y ataques de evasión de restricciones

• ¿Qué es la inyección de prompts y por qué representa un riesgo importante?
• Ejemplos de inyección directa e indirecta de prompts<\/li>
• Técnicas utilizadas para evadir filtros de seguridad en modelos de lenguaje
• Estrategias de detección y mitigación de estos ataques<\/li>

Fugas de datos y riesgos relacionados con la privacidad

• Exposición accidental de información sensible a través de las respuestas generadas
• Pérdida o divulgación no intencionada de datos personales y el uso indebido de la memoria del modelo<\/li>
• Diseño de prompts seguros desde un punto de vista ético y uso de técnicas como generación aumentada mediante recuperación (RAG)

Filtrado y protección de las respuestas generadas por los LLM

• Uso de Guardrails AI para filtrar, validar y asegurar el contenido producido.
• Definición de restricciones y esquemas para las salidas del modelo.
• Monitoreo y registro de respuestas potencialmente peligrosas.

Aproximaciones basadas en la supervisión humana y flujos de trabajo asociados

• En qué momentos resulta útil incorporar el control humano al proceso.
• Sistemas de aprobación, umbrales de evaluación y gestión de situaciones excepcionales.
• Calibración de la confianza en los resultados y relevancia de la explicabilidad tecnológica.

Patrones recomendados para el diseño seguro de aplicaciones con LLM

• Aplicación del principio del mínimo privilegio y aislamiento mediante entornos controlados en llamadas API.
• Mecanismos de limitación de uso, control de tráfico y detección de intentos maliciosos.
• Implementación robusta mediante herramientas como LangChain y separación clara entre prompts distintos.

Cumplimiento normativo, trazabilidad y buenas prácticas de gobernanza

• Garantizar la posibilidad de auditarse los resultados generados por los modelos.
• Mantenimiento de registros detallados, control de versiones de prompts y trazabilidad sistémica.
• Alineación con políticas internas de seguridad y requisitos legales o regulatorios vigentes.

Conclusión y próximos pasos recomendados