La preocupación fue planteada por Volker Türk, Alto Comisionado de las Naciones Unidas para los Derechos Humanos, en una carta publicada el 14 de septiembre.

El funcionario advierte especialmente sobre los sistemas de IA capaces de actuar por su cuenta. Estos pueden recibir un objetivo, decidir cómo cumplirlo y ejecutar varias acciones sin que una persona revise cada paso.

Ahí aparece uno de los principales problemas. Si el sistema se equivoca, la responsabilidad no puede recaer en la propia IA. La ONU propone que siempre exista una persona identificable que tenga autoridad para intervenir, modificar o detener el sistema.

El documento también pide controles antes y después de poner en funcionamiento sistemas avanzados. Entre las medidas plantea evaluaciones de seguridad, supervisión independiente y mecanismos para reportar e investigar incidentes graves.

Te puede interesar: La computación cuántica ya está aquí: Sundar Pichai de Google cree que es hora de prepararse

La preocupación aumenta cuando estos sistemas tienen acceso a servicios o infraestructuras que pueden afectar a otras personas. Un error ya no sería simplemente una respuesta incorrecta en una conversación. Podría afectar procesos financieros, servicios esenciales o sistemas críticos.

Por eso, la ONU considera que las empresas deben demostrar que cuentan con medidas para controlar estos riesgos y que los gobiernos deben establecer reglas sobre el desarrollo y uso de estas tecnologías.

La discusión cambia así de pregunta. Ya no se trata únicamente de qué tan inteligente puede llegar a ser una IA, sino de establecer quién tiene que responder cuando una máquina actúa y algo sale mal.

Para la ONU, esa responsabilidad debe seguir estando en manos de las personas.