Checklist de preparación para LLM y RAG en producción

Una guía para evaluación, retrieval, confiabilidad, observabilidad, latencia, costo, seguridad y ownership operativo.

Agendar llamada de encaje ↗

Autor: Francisco Perez Romero · 2026-08-07

Guía de decisión

La evidencia antes que la receta.

Define calidad antes de optimizar

Un sistema de IA en producción necesita escenarios representativos y categorías explícitas de falla. Un demo no demuestra el resultado real.

Escenarios basados en patrones autorizados.
Criterios de éxito, abstención y daño.
Responsable y umbrales de regresión.
Separar fallas de retrieval, modelo, tools y workflow.

Traza el sistema completo

RAG y agentes son sistemas distribuidos. Calidad y latencia emergen de datos, índices, retrieval, ranking, prompts, modelos, tools, fallbacks y revisión humana.

Trazas end-to-end.
Latencia y costo por resultado.
Freshness y acceso en la frontera de datos.
Timeouts, reintentos y degradación.

Limita autoridad y falla

El sistema debe saber cuándo no responder o actuar. Los permisos, controles de prompt injection y revisión humana deben corresponder a la consecuencia.

Acceso de mínimo privilegio.
Manejo de contenido no confiable.
Fallback y escalamiento.
Rollback e incident response.

Preguntas frecuentes

¿Cómo sabemos si RAG está listo para producción?

Debe tener evaluación representativa, observabilidad, fallas definidas, acceso acotado, dueños operativos y niveles aceptables de calidad, latencia, confiabilidad y costo.

¿Debemos cambiar de modelo primero?

No automáticamente. La evidencia debe mostrar si la falla está en datos, retrieval, ranking, prompts, modelo, tools o abstención.

Siguiente lectura

Consultoría de infraestructura de IA

Define evaluación, confiabilidad, observabilidad y hardening.

Abrir →

Evidencia de infraestructura

Revisa la experiencia atribuida de Francisco a escala global.

Abrir →