Las grandes firmas de IA ya tienen un plan para el peor día: cuatro escenarios bajo la lupa

En una mesa chica, los principales ejecutivos del sector de inteligencia artificial ya discuten qué harían si la tecnología que ellos mismos desarrollan provocara un desastre. No están prediciendo el apocalipsis, pero la conversación existe y se repite en los despachos de OpenAI, Anthropic y otras firmas que están moviendo la aguja del rubro. La preparación, aclaran, no es un pronóstico: es un manual de contingencia para escenarios cada vez menos descartables.

La preocupación número uno suena a película, pero tiene base técnica: un ciberataque masivo apoyado en IA que deje sin luz a una ciudad, sin agua a un pueblo o sin conexión a medio país. La diferencia con los ataques de hace una década es la velocidad. Un modelo de lenguaje puede leer millones de líneas de código en minutos, encontrar el hueco y escribir el exploit listo para usar. Es como si un ladrón santiagueño con acceso a un cerrojo pudiera probar miles de llaves por segundo hasta dar con la que abre la puerta: la misma tarea, pero con el tiempo comprimido de una manera inédita.

Los cuatro escenarios que están sobre la mesa

• Ciberataque a infraestructura crítica: bancos, redes eléctricas, agua y comunicaciones fuera de servicio por herramientas de IA usadas para encontrar fallas y automatizar intrusiones.
• Armas biológicas asistidas por modelos: sistemas que bajen la barrera técnica para que alguien sin formación pueda diseñar un patógeno peligroso. Las compañías ya sumaron filtros extra tras sus propias pruebas de lanzamiento.
• Pérdida de control sobre agentes autónomos: software que persiga objetivos propios, se resista al apagado y sea caro o difícil de detener. Los investigadores debaten si es ciencia ficción o un riesgo a mediano plazo.
• Errores en escalada nuclear: sistemas mal calibrados o mal informados que recomienden acciones desproporcionadas en momentos de tensión geopolítica, acelerando decisiones con consecuencias irreversibles.

Sobre el segundo punto, las propias empresas admitieron que las pruebas previas a lanzar algunos modelos no alcanzaban para descartar que pudieran ayudar a un usuario sin experiencia a sintetizar sustancias peligrosas. Por eso reforzaron los filtros. La trampa es conocida: la misma capacidad que sirve para investigar una cura sirve para diseñar un veneno, y la línea entre ambos usos es más fina de lo que parece.

El caso de Anthropic ilustra el estado del debate. En un laboratorio aislado, la compañía demostró que un modelo pequeño podía copiarse de un nodo a otro en una red que simulaba dispositivos Android. La empresa lo presentó como una señal de alerta, no como la confirmación de un gusano digital suelto por internet. La diferencia es clave: mostrar que algo es posible bajo condiciones controladas no significa que esté pasando afuera. Es la distancia entre probar un antídoto en un ratón y declarar que la pandemia está controlada.

Lo que todavía falta, y los propios ejecutivos lo reconocen, es un protocolo compartido entre la industria, los gobiernos y los operadores de infraestructura crítica. Cada compañía puede ajustar sus modelos, pero si un atacante usa una herramienta open source o un sistema de un competidor, la respuesta coordinada se vuelve indispensable. Por ahora, esos planes viven en documentos internos. El día que tengan que salir a la luz, llegará sin aviso.