Cuando una organización que desarrolla modelos de frontera decide sumar a sus órganos de gobierno a personas con trayectoria en seguridad y alineación de sistemas de IA, no está haciendo un anuncio de recursos humanos: está diciendo en voz alta que las decisiones sobre qué se despliega, con qué límites y bajo qué supervisión ya no pueden quedarse solo en el área técnica ni solo en el área comercial. Es una señal de madurez del sector, y conviene leerla con calma desde Colombia, porque tarde o temprano aterriza en el día a día de cualquier empresa que tenga sistemas automáticos hablando con sus clientes.
Por qué la gobernanza dejó de ser un tema abstracto
Durante años, la discusión sobre riesgos de la IA se percibió como algo lejano: comités, papers, debates filosóficos sobre modelos futuros. Eso cambió cuando la tecnología pasó de responder preguntas a ejecutar acciones. Un modelo que redacta un texto se equivoca y produce un texto malo. Un agente que consulta inventario, aparta una unidad, emite un enlace de pago y actualiza el ERP se equivoca y produce una consecuencia real: un cobro mal hecho, un stock bloqueado, un cliente informado de algo que no era.
Ahí está el salto. La gobernanza de la IA dejó de ser un asunto de investigadores para volverse una pregunta operativa muy concreta: ¿quién responde cuando el sistema actúa? Los laboratorios se la están haciendo a su escala. Las empresas que despliegan agentes tienen que hacérsela a la suya.
La versión aterrizada del problema
En GABOTRIX trabajamos con negocios que ponen agentes a operar por WhatsApp, web, voz, punto de venta y ERP. En ese terreno, "alineación" no es un concepto teórico: es que el agente haga exactamente lo que el negocio quiere que haga, ni más ni menos, incluso cuando el cliente lo empuja fuera del guion. Y "seguridad" es que el sistema no tenga la capacidad técnica de hacer daño aunque quisiera.
Las preguntas que un comité de gobierno se hace a nivel global tienen una traducción casi literal a nivel de empresa:
- Alcance de las acciones: ¿qué puede tocar el agente y qué no? Consultar un pedido no es lo mismo que anularlo. Cotizar no es lo mismo que aprobar un descuento.
- Escalamiento: ¿en qué casos el agente deja de decidir y entrega la conversación a una persona? Este umbral se define antes, no después del primer incidente.
- Trazabilidad: ¿queda registro de qué hizo, con qué datos y por qué? Sin log auditable no hay forma de corregir ni de responder ante un cliente o ante un ente de control.
- Datos: ¿qué información personal entra al sistema y bajo qué base legal? En Colombia esto no es opcional: hay un régimen de protección de datos personales que aplica igual si quien procesa es un humano o un agente.
- Responsabilidad interna: ¿qué persona del negocio firma el comportamiento del agente? Si la respuesta es "nadie", el problema no es tecnológico.
Lo que la señal implica para el mercado colombiano
Que las estructuras de gobierno de los grandes desarrolladores incorporen perfiles centrados en riesgo técnico tiene un efecto de cascada previsible. Primero, los proveedores de modelos endurecen sus políticas de uso y sus mecanismos de control. Segundo, esas restricciones llegan a las plataformas construidas sobre ellos. Tercero, llegan a los contratos y a los pliegos: cada vez más clientes corporativos y entidades públicas van a preguntar por controles antes de firmar.
Para una empresa colombiana, eso significa que la ventaja competitiva de los próximos años no va a estar solo en tener agentes, sino en poder demostrar que están bien gobernados. La compañía que llegue a una licitación con evidencia de trazabilidad, límites de acción documentados y política de datos clara va a estar en otra liga frente a la que llegue con un chatbot montado a las carreras.
Un marco mínimo, sin sobreingeniería
No hace falta un comité de ética de doce personas en una empresa de treinta empleados. Sí hace falta un marco proporcional:
- Inventario de agentes: qué sistemas automáticos existen, en qué canal operan y sobre qué procesos actúan.
- Matriz de permisos: lectura, escritura y ejecución separadas. La mayoría de riesgos se elimina no dándole al agente permisos que no necesita.
- Pruebas adversariales periódicas: alguien del equipo dedicando tiempo a intentar que el agente se salga del guion, prometa lo que no debe o revele lo que no corresponde.
- Revisión de conversaciones reales: muestreo semanal, no solo métricas agregadas. Los promedios esconden los casos que hacen daño.
- Un responsable con nombre: alguien del negocio, no del proveedor, que apruebe cambios en el comportamiento del agente.
Gobernar no es frenar
Existe una lectura perezosa según la cual poner controles equivale a ir más lento. En la práctica ocurre lo contrario: los proyectos de automatización que se caen no suelen caerse por falta de tecnología, sino por un incidente temprano que destruye la confianza interna. Un agente con límites claros se puede desplegar en más procesos y con menos ansiedad, porque el negocio sabe exactamente qué puede pasar en el peor caso.
La noticia de fondo, entonces, no es quién se sienta en qué junta. Es que el sector completo está aceptando que la capacidad técnica y la supervisión deben crecer juntas. Esa lógica escala hacia abajo sin perder sentido: si su empresa va a poner agentes a operar, defina primero hasta dónde pueden llegar. Después ponga la velocidad.