El agente cambió aunque el flujo no cambiara
Un equipo de operaciones mejora una instrucción para que un agente de IA resuelva más solicitudes sin intervención humana. Al día siguiente, el agente elige otra herramienta en casos dudosos, pide menos evidencias y envía más elementos a la cola equivocada. El comportamiento cambió.
Un agente es un sistema compuesto por prompts, versiones de modelos, herramientas, políticas, datos y orquestación. Modificar cualquiera de estos elementos puede alterar la decisión final. Tratar la edición de un prompt como contenido informal dificulta saber qué se publicó, quién lo aprobó y qué versión procesó cada caso. El control operativo comienza cuando todo cambio relevante se convierte en un candidato versionado.
Defina una versión para el comportamiento completo
Cree un registro de liberación que vincule prompt, identificador del modelo, esquemas de herramientas, reglas de enrutamiento, fuente de conocimiento, controles y configuración. La versión debe ser inmutable después de la aprobación. Si cambia un elemento, genere un nuevo candidato en lugar de editar silenciosamente el paquete actual.
Registre el objetivo empresarial, el efecto esperado, el responsable, la clase de riesgo y la evidencia usada para aprobar. Registre también lo que no cambió. Este contexto ayuda a distinguir una modificación intencional de una desviación causada por los datos, un proveedor o un sistema externo.
Clasifique el cambio según el riesgo empresarial
Una corrección ortográfica y una herramienta para aprobar pagos no deben seguir el mismo camino. Clasifique los cambios según la acción, la reversibilidad, los datos y la población expuesta.
Los cambios de bajo riesgo pueden usar controles automáticos. Los de riesgo medio pueden exigir un responsable del dominio y una liberación limitada. Los de alto riesgo requieren aprobación independiente, evaluación estricta, confirmación humana y un plan de recuperación probado. El criterio pertenece al proceso empresarial.
Evalúe el flujo antes de liberar
Construya un conjunto representativo con casos habituales, excepciones conocidas, entradas ambiguas y fallos anteriores. Compare el candidato con la versión estable usando medidas empresariales como enrutamiento correcto, evidencias obligatorias, elección adecuada de herramientas, cumplimiento de políticas y calidad de la escalada. Un único promedio puede ocultar una regresión grave en una categoría rara pero importante.
La orientación de OpenAI para evaluar agentes recomienda usar trazas, evaluadores, conjuntos de datos y ejecuciones de evaluación para analizar flujos completos. Una traza registra llamadas al modelo, herramientas, controles y transferencias, lo que permite observar no solo si el resultado fue aceptable, sino por qué el agente llegó a él.
Mantenga comprobaciones deterministas cuando sea posible y use revisión humana para juicios que dependan del contexto. Guarde el conjunto de evaluación y su resultado con la liberación para reproducir la misma evidencia más adelante.
Libere para una población limitada y compare
Superar las pruebas no ofrece garantía porque las entradas y dependencias de producción varían. Empiece con un segmento definido, como un tipo de solicitud, un equipo interno o un pequeño porcentaje del tráfico elegible. Mantenga la versión estable como control y evite varios candidatos simultáneos que dificulten atribuir los resultados.
Google SRE define el canario como un despliegue parcial y limitado en el tiempo, seguido de una evaluación. Para agentes, la comparación debe combinar señales técnicas con resultados empresariales. Observe errores y latencia, pero también correcciones, transferencias, infracciones de políticas, acciones duplicadas y calidad de finalización.
Defina los criterios de promoción e interrupción antes de liberar. Sin límites, el equipo puede reinterpretar resultados débiles por presión de plazo. Un candidato que supere un límite crítico debe detenerse automáticamente o volver a la versión estable.
Prepare la reversión como capacidad operativa
Revertir significa más que restaurar un prompt. El modelo, las herramientas y la configuración anteriores deben seguir disponibles, y el equipo necesita saber qué ocurrió mientras el candidato estuvo activo. Las acciones ya enviadas a sistemas externos pueden exigir conciliación en vez de una reversión técnica.
Mantenga un interruptor de emergencia, una versión estable, un responsable de guardia y una lista de elementos afectados. Guarde la versión en cada traza y registro posterior. Así se pueden suspender nuevas ejecuciones, identificar la población expuesta y decidir qué revisar, corregir o comunicar.
Ejemplo hipotético: clasificación de facturas
Considere una empresa hipotética de servicios compartidos, que no es un caso de cliente de NM Solutions. Un agente lee facturas, consulta órdenes de compra y dirige excepciones. El equipo quiere un nuevo prompt y modelo para reducir revisiones manuales innecesarias.
El candidato recibe una versión única que incluye prompt, modelo y herramientas. El conjunto de evaluación abarca órdenes ausentes, facturas duplicadas, diferencias fiscales, documentos ilegibles y valores sobre el límite de aprobación. La liberación comienza con facturas de una entidad de bajo riesgo, mientras la versión estable sigue disponible.
El equipo compara enrutamiento correcto, aprobaciones sin respaldo, correcciones manuales y tiempo de proceso. Si las aprobaciones sin respaldo superan el límite definido, se detienen las nuevas ejecuciones. Cada factura procesada lleva el identificador de liberación para conciliar el conjunto afectado. El ejemplo reduce la exposición, pero no demuestra que todo documento futuro será tratado correctamente.
Reconozca los límites y gestione continuamente
Los conjuntos de evaluación pierden actualidad, los revisores humanos pueden discrepar y una población canario quizá no represente picos o eventos raros. Un proveedor de modelos, una base de conocimiento o una herramienta conectada también puede cambiar después de la aprobación. El marco de gestión de riesgos de IA de NIST recomienda pruebas antes del despliegue, supervisión regular en producción y planes documentados de respuesta, recuperación y gestión de cambios.
Revise periódicamente la cobertura de las evaluaciones, desviaciones, intervenciones, incidentes y resultados empresariales. Retire versiones que ya no puedan reproducirse y documente los riesgos residuales aceptados. La revisión humana sigue siendo necesaria cuando las consecuencias son difíciles de revertir o la confianza es insuficiente.
NM Solutions ayuda a las empresas a definir versiones de agentes, criterios de evaluación, controles de liberación, supervisión y recuperación alrededor de la operación real. Un diagnóstico permite encontrar dónde un cambio informal puede llegar a producción sin evidencias, responsable o camino confiable de retorno.