Seguridad & Agentes de IA
GreenGate: Aprobación Humana en el Dispositivo para Agentes de IA
Arquitectura CIBA asíncrona que detiene ejecuciones sensibles del agente hasta recibir confirmación biométrica en el teléfono del usuario.
Premio
Ganador Global DEV Challenge
Tiempo de Validación
< 2s tiempo de emisión
Auditoría de Inyecciones
100% ataques in-band neutralizados
Lecturas del Caso
+4.000 ingenieros
01 · El Desafío de Ingeniería
El dilema de la delegación en agentes autónomos
Cuando un agente de IA interactúa con APIs bancarias, de infraestructura o datos privados, los usuarios suelen interactuar a través de un chat. Si el agente es inducido a error mediante inyecciones de prompt o alucinaciones, puede ejecutar acciones destructivas e irreversibles. Pedir confirmación dentro del mismo chat no es seguro (in-band attack vector) y el sondeo síncrono bloquea los servidores.
Riesgos técnicos y de negocio abordados:
- Ataques de inyección de prompt que manipulan al modelo para autorizar transacciones no deseadas dentro del canal de chat.
- Falta de auditoría criptográfica sobre qué usuario real aprobó qué llamada de herramienta y en qué momento.
- Bloqueo de hilos en backend durante la espera de interacción humana si se diseñan flujos síncronos tradicionales.
02 · Arquitectura & System Design
Flujo Desacoplado con OpenID CIBA y Google Gemini
El agente opera con llamada estricta a herramientas (Strict Tool Calling con Zod). Al detectar una herramienta sensible, suspende la ejecución y dispara un flujo CIBA (Client-Initiated Backchannel Authentication) hacia Auth0. El usuario recibe una push notification fuera de banda en su smartphone, aprueba biométricamente, y un webhook reactiva al agente.
Módulos y responsabilidades del sistema:
Agente Gemini
Motor de razonamiento y orquestación con schemas Zod estrictos y memoria de sesión.
Auth0 CIBA Provider
Servidor de autenticación backchannel que gestiona el handshake entre el agente y el dispositivo móvil.
Módulo de Notificación Push
Canal fuera de banda que presenta el contexto exacto de la operación en pantalla segura.
API de Ejecución con Scopes
Servicios protegidos que rechazan invocaciones del agente si no presentan el token CIBA recién emitido.
Registro de Auditoría PostgreSQL
Almacén inmutable de cada paso, tool call, hash de solicitud y resultado de autorización.
03 · Decisiones Técnicas & Trade-offs
Cada decisión técnica prioriza reducir riesgo operativo y mantener el sistema explicable.
Canal de autorización fuera de banda (CIBA) en lugar de confirmación in-chat
Justificación: Un mensaje dentro del chat puede ser simulado o inducido por prompt injection. La notificación push en el teléfono físico requiere presencia biométrica real.
Trade-off explícito: Introduce latencia humana deliberada de 5 a 30 segundos mientras el usuario confirma en su móvil.
Validación de schemas Zod en dos capas (entrada y salida de tools)
Justificación: Garantiza que el agente no pueda enviar parámetros mutados o tipos incorrectos al backchannel ni a las APIs protegidas.
Trade-off explícito: Mayor verbosidad en la definición de herramientas y rechazo estricto si el modelo omite campos opcionales requeridos por la política de seguridad.
Tokens de un solo uso con ventana de vida corta (60 segundos)
Justificación: Evita ataques de repetición donde un token aprobado previamente para una operación sensible sea reusado por el agente.
Trade-off explícito: Si la API de negocio tarda más de 60 segundos en iniciar la tarea, la transacción debe solicitar re-autorización.
Validación en Producción y Reconocimiento Internacional
GreenGate demostró cómo diseñar sistemas de IA agéntica preparados para entornos bancarios o corporativos donde la autonomía total es inaceptable sin garantías formales de gobernanza y control humano.
Conversación profesional
¿Necesitás integrar agentes de IA con gobernanza real en tu producto?
Podemos diseñar una arquitectura de herramientas seguras, supervisión humana fuera de banda y trazabilidad para que tu equipo adopte IA sin arriesgar datos ni producción.