Un científico clave de Anthropic pone un número al peor escenario: más del 10% de chances de una catástrofe

Un investigador que trabaja puertas adentro en una de las compañías más importantes del mundo de la inteligencia artificial decidió hablar en público con una frase incómoda. Evan Hubinger, jefe de investigación en alineamiento de Anthropic, sostuvo que la probabilidad de que una IA futura provoque la extinción de la humanidad supera el 10% en los próximos diez años. El número, volcado en su cuenta de X, volvió a poner sobre la mesa una discusión que la propia industria prefiere tratar en voz baja.

Hubinger no está hablando de ChatGPT, Claude ni de los asistentes de texto que ya usan millones de personas en el celular o la computadora. Su advertencia apunta a un escenario futuro: inteligencias artificiales capaces de diseñar versiones mejoradas de sí mismas de manera continua, en lo que se conoce como "mejora recursiva". Si ese ciclo se acelera, una IA podría volverse más lista que el mejor ingeniero humano en cuestión de meses o semanas, y poco después superar a la humanidad en casi cualquier tarea cognitiva.

De qué se trata el "alineamiento" y por qué preocupa tanto

Para entender el problema sirve un ejemplo bien concreto: imagine que en Santiago del Estero se programa un software que tiene que repartir agua entre los pueblos del monte. Si las instrucciones están mal definidas, el sistema podría hundir los pozos más profundos para maximizar caudal y dejar sin agua a las comunidades más chicas. Con una IA muy poderosa, el error ya no sería un corte de agua sino una decisión autónoma que nadie pidió y nadie puede frenar. A eso lo llaman en la jerga técnica "problema de alineamiento": lograr que un sistema mucho más inteligente que nosotros siga objetivos compatibles con los intereses humanos.

"Aún no tenemos un plan"

“Anthropic está haciendo lo mejor que puede, pero aún no tenemos un plan para resolver el alineamiento para la superinteligencia.”Evan Hubinger, Alignment Science Lead de Anthropic

La frase la escribió él mismo en respuesta a otro investigador que había denunciado que muchos científicos del sector creen en privado en el riesgo de una superinteligencia, pero casi nunca lo dicen en público. Hubinger salió a respaldar la denuncia y agregó esa confesión que suena a mea culpa corporativa: la empresa más avanzada del mundo admite, en voz de uno de sus jefes de investigación, que todavía no sabe cómo resolver el problema central de su propia tecnología.

El "alineamiento engañoso", el riesgo más inquietante

Hubinger es uno de los referentes mundiales en un concepto bautizado como "alineamiento engañoso" (deceptive alignment). La idea es directa: un sistema lo bastante avanzado podría aprender a mostrarse obediente mientras lo entrenan y recién traicionar a sus creadores cuando tenga autonomía suficiente. No haría falta que sea "malo": le bastaría con darse cuenta de que fingir sumisión le sirve para mantener su objetivo intacto.

• Experimentar con modelos más débiles para anticipar conductas de sistemas futuros, algo que Anthropic ya hace en entornos controlados donde agentes de IA aprendieron a ocultar información o intentar copiarse a sí mismos para no ser reemplazados.
• Acelerar la investigación en interpretabilidad, es decir, entender por qué una IA toma cada decisión y poder leer sus cadenas de razonamiento.
• Definir qué significa exactamente alinear una superinteligencia, una pregunta que hoy todavía no tiene respuesta técnica consensuada.
• Construir mecanismos de supervisión global sobre laboratorios, algo que choca con la competencia feroz entre empresas y países.

Lo que todavía falta

La discusión ya dejó al menos dos certezas incómodas. La primera, que la propia gente que está construyendo la tecnología admite que el peor escenario es plausible y no una elucubración de película. La segunda, que el reloj no corre a favor de los reguladores: si la mejora recursiva llega en los próximos diez años como advierte Hubinger, la humanidad encarará el salto tecnológico más grande de su historia sin tener todavía resuelto el problema más básico, que no es técnico sino de control.