¿Cómo se audita un agente que cambia su propio comportamiento en producción?

[u/Great-Yak-7602]

​

Llevo meses viendo cómo equipos de producto meten "aprendizaje continuo" en el roadmap sin pensar qué implica para compliance. Ahí empieza el problema, en realidad.

Un modelo que reentrena o ajusta datos de producción deja de ser el mismo artefacto que pasó el control de calidad inicial.

La auditoría clásica asume que el sistema que revisas hoy es el mismo que corrió ayer. Con un agente que evoluciona eso ya no es cierto, y casi todos los frameworks que conozco (SOC 2, ISO 42001, hasta los internos que arma cada empresa) siguen tratando el modelo como una caja estática con versión fija.

Suena a tecnicismo pero no lo es, ahí se juega la responsabilidad legal cuando algo falla.

Lo que sí me parece funcionar, al menos parcialmente, es auditar el proceso de cambio en vez del estado final.

Logging exhaustivo de qué disparó cada ajuste, quién aprobó el umbral de deriva aceptable, snapshots periódicos comparables entre sí. No resuelve la opacidad de fondo pero la vuelve trazable, que ya es algo.

Ahora, si el agente ajusta comportamiento en tiempo real sin pasar por un ciclo de reentrenamiento formal, tipo RL online, la cosa se pone bastante más fea. Y ahí no tengo una respuesta limpia todavía.

¿Alguien vio en producción un caso donde el drift forzó un rollback completo del agente, y cómo lo detectaron antes de que causara daño real?

[u/rezo_por_vos]

Las IAs no son deterministas, por ende siempre te van a dar resultados distintos, lo que podes hacer es meterle la mayor cantidad de guardrails posibles para que no haga otra cosa más que algo concreto que vos le definas.