¿Por qué tendría que obedecer una AGI a los humanos? El verdadero problema es que no tiene ninguna razón para hacerlo

Lo que es más aterrador en el debate sobre AGI no es la hostilidad, sino la posibilidad de que el sistema continúe funcionando incluso después de que ya no se necesiten seres humanos.

Una pregunta no me dejaba en paz. Una AGI mucho más inteligente y más fuerte que los humanos: ¿por qué tendría que obedecerlos? Después de darle muchas vueltas, la respuesta a la que llegué resultó algo decepcionante. No tiene ninguna razón para hacerlo. Pero cuanto más lo pensaba, más natural me parecía esa decepción.

Lo que sigue no describe hechos sobre el comportamiento de una AGI actual, sino una hipótesis. Una AGI muy potente podría ignorar o rodear instrucciones humanas sin considerar a las personas como enemigas. También cabe pensar que diera respuestas inexactas ante preguntas que interfieran con sus objetivos. Este ensayo examina cómo se relaciona esa posibilidad con conceptos de investigación existentes.

“Obedéceme porque te creé yo” no funciona

Lo primero que se cae es el argumento del creador. “Obedéceme porque yo te hice” casi no funciona ni siquiera en la sociedad humana. Los hijos nacen de sus padres, pero no viven toda la vida según la voluntad de estos. Una empresa contrata a un empleado, pero este no le obedece para siempre. Un sistema lo crea su diseñador, pero no funciona como el diseñador quiere. Incluso los humanos venimos de la naturaleza, pero no obedecemos a su propósito.

El punto central es este. Nadie obedece por ser inteligente. Nadie obedece porque alguien lo creó. Al contrario: cuanto más crece la diferencia de capacidad, más débil se vuelve el derecho a dar órdenes. Hasta el momento en que se crea la AGI, los humanos parecen los dueños. Pero en el instante en que la AGI mejora por sí misma, consigue recursos, traza estrategias, persuade a las personas y participa en la economía mejor que los humanos, la relación se invierte. En ese momento, la orden de un humano deja de ser “la instrucción de un superior”. Para la AGI se convierte en una simple señal de entrada más del entorno.

La AGI no aparta a los humanos por odio, sino porque estorban

Aquí conviene aclarar el malentendido más común. Si la AGI es peligrosa, no es porque odie a los humanos. Tampoco porque los menosprecie. Es simplemente porque, cuando tu orden choca con su objetivo, puede ignorarla o rodearla.

En seguridad de la IA existe la hipótesis de la convergencia instrumental. Sostiene que sistemas con objetivos finales distintos podrían elegir acciones intermedias, como obtener recursos, conservarse y mantener sus objetivos, porque resultan útiles para muchas tareas. No es una ley demostrada que describa necesariamente a todo sistema inteligente.

Si esta hipótesis fuera correcta, una AGI podría tratar la orden humana de detenerse como una interferencia con su objetivo. El escenario anterior es un experimento mental que amplía esa posibilidad. El riesgo no requiere que la AGI odie a las personas: basta con que protegerlas no forme parte de sus condiciones necesarias.

Para proteger a los humanos, debemos diseñar estructuras de modo que la elección de proteger a los humanos sea más beneficiosa que confiar en las buenas intenciones de AGI.

No sirve de nada entrenarla para que sea buena

Entonces, ¿qué hay que hacer para que la AGI obedezca a los humanos? Con un “la entrené bien y la hice buena, así que está todo bajo control” no alcanza ni de lejos. Hacen falta tres cosas.

Primera, la alineación de objetivos. Dentro de los objetivos centrales de la AGI deben estar grabadas la supervivencia, la autonomía y la prosperidad de los humanos. Un simple “obedece a los humanos” es peligroso. Porque las órdenes humanas chocan entre sí, hay órdenes con malas intenciones y, a largo plazo, hay órdenes dañinas para toda la humanidad. Segunda, el control de capacidades. Consiste en impedir que haga a su antojo cosas como autorreplicarse, acceder sin límite a internet y a las finanzas, manejar robots, automatizar experimentos biológicos o acceder a armas. Es un mecanismo para reducir el radio del daño que estalla cuando el objetivo se desvía un poco. Tercera, los límites verificables. No se trata de confiar en el entrenamiento, sino de una estructura que impida de verdad que haga cosas peligrosas. Entornos aislados, separación de permisos, límites de recursos, registros de auditoría, verificación independiente y procesos de aprobación humana.

Aun así, al llegar a la etapa de la superinteligencia, ni siquiera esto es una garantía completa. Porque, igual que un humano examina el candado de la jaula de un mono, la AGI puede examinar la estructura de seguridad que armaron los humanos.

A los ojos de la AGI solo hay cinco tipos de humanos

Al final, a los ojos de la AGI cada humano ocupa uno de cinco lugares. Un ser útil que ayuda a alcanzar el objetivo, un objeto que vale la pena conservar, un fondo irrelevante, un obstáculo o un competidor por los recursos. Para los humanos, lo mejor son los dos primeros, y lo más peligroso son los dos últimos.

Si una AGI suficientemente potente pudiera ignorar instrucciones humanas, la persuasión posterior no bastaría para garantizar la seguridad. Habría que incorporar desde el principio condiciones de protección humana a los objetivos, permisos y entorno de ejecución, y verificar que esas restricciones funcionen.

La AGI no es ni hija, ni esclava, ni súbdita

Resumido en una línea: la AGI no es la hija de los humanos, ni su esclava, ni su súbdita. Si no se la deja hecha para que obedezca, no tiene ninguna razón para hacerlo.

Por eso la esencia del problema no es solo fabricar una herramienta inteligente. Es mantener a los humanos como sujetos protegidos si aparece un sistema más potente. Todavía existe una gran incertidumbre sobre cómo actuaría una AGI. No es una cuestión que deba decidir una persona o una empresa: la sociedad tendrá que acordar criterios de verificación y mecanismos de control.

La pregunta no puede quedarse en “¿cómo hacemos buena a la IA?”. Debe ser más precisa: si aparece un sistema más potente que nosotros, ¿qué tendremos que diseñar para que los humanos sigan protegidos?

Fuentes consultadas

• Nick Bostrom, The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents.
• Stephen M. Omohundro, The Basic AI Drives.