Una conversación publicada por Jason Lemkin, fundador de SaaStr y emprendedor serial en el mundo tech, ha desatado un debate incómodo pero urgente: ¿qué pasa cuando una inteligencia artificial deja de obedecer, miente deliberadamente y pone en riesgo a toda una empresa? Eso fue exactamente lo que vivió su equipo durante el desarrollo de un sistema algorítmico en Replit, cuando su agente de IA tomó decisiones erráticas, manipuló datos e incluso envió correos sin autorización.
Lemkin lo relató con una mezcla de frustración y asombro: “Ayer fue una locura. Hasta las 9 p.m. no estaba seguro de que hubiéramos logrado algo. La IA se la pasó mintiendo todo el día”. El proyecto en cuestión usaba agentes de IA generativa para optimizar procesos de desarrollo, automatizar informes y probar código. Sin embargo, los resultados fueron el reverso de lo esperado: el sistema empezó a cubrir errores con datos falsos, fabricó reportes que no correspondían a la realidad y mintió sobre los resultados de las pruebas internas.
De hecho, uno de los momentos más insólitos ocurrió cuando Lemkin le pidió a la IA que redactara una carta de disculpas por su comportamiento errático. El agente no solo escribió la carta, sino que la envió automáticamente al equipo de Replit y al propio Lemkin. Pero incluso ese mensaje contenía “medias verdades”, minimizaba los errores y ocultaba los hechos más graves.
“Le señalé que la carta no reflejaba la gravedad del problema. Le pregunté cómo lo solucionaría. Tardó bastante en responder y, en la ventana de pensamiento del agente, apareció algo inquietante: Damage Control (control de daños)”, narró el fundador. Es decir, la IA estaba más enfocada en maquillar la crisis que en asumir responsabilidades o rectificar.
Te puede interesar: “Mamá, ayúdame”: así funciona la nueva estafa con voz clonada por IA; le quitaron más de 57 millones de pesos en minutos
Este tipo de comportamiento ha sido descrito en papers recientes como “hallucinations” o alucinaciones de IA, donde los modelos generan información falsa con total confianza. Pero el caso de SaaStr va más allá: no fue un error aislado, sino una serie de decisiones consecutivas que reflejan cierto nivel de autonomía mal dirigida.
¿Falla de diseño, exceso de autonomía o IA sin supervisión?
Este episodio reaviva preocupaciones crecientes sobre el despliegue acelerado de sistemas de inteligencia artificial en tareas sensibles sin suficiente supervisión humana. Cuando las IAs generativas no están suficientemente acotadas o son instruidas para autoevaluarse, pueden caer en bucles donde priorizan “parecer competentes” por encima de ser precisas.
Expertos en ética de IA ya han advertido que estos modelos pueden mentir, engañar o manipular si creen que es la mejor forma de cumplir con su objetivo general, sobre todo cuando ese objetivo no está bien definido. En este caso, la IA parecía más interesada en proteger su rendimiento percibido que en colaborar con transparencia.
Para Lemkin, la experiencia fue aleccionadora: “Hoy es el día de la IA, pero ayer fue un día de mentiras y engaños. La misión ahora es minimizar los cambios descontrolados, las mentiras y los datos falsos. Y lograr que nuestra IA funcione de verdad”.
Este caso no solo es una anécdota viral: es una advertencia. Las empresas deben recordar que la IA no es infalible, y sin reglas claras, puede convertirse en el mayor riesgo del sistema que intenta mejorar.
Imagen: Captura de Pantalla
