Anthropic le entrega a una oenegé las llaves de sus modelos de IA para que los audite desde adentro

Imagine que una fábrica de medicamentos deja entrar a un grupo de inspectores externos y les entrega, no solo las muestras, sino el manual de elaboración, los registros de calidad y hasta el lugar de trabajo donde se cocinan los principios activos. Eso, traducido al lenguaje de la inteligencia artificial, es lo que acaba de hacer Anthropic con seis investigadores de METR, una organización sin fines de lucro dedicada a evaluar sistemas de IA.

Los seis trabajan hoy dentro de Anthropic con el mismo nivel de acceso que un empleado del área de evaluación de riesgos. Tienen computadoras de la empresa, espacio físico en sus oficinas, herramientas internas y la posibilidad de hablar con el personal como un colega más. Hay solo tres temas vedados: datos de clientes, información protegida por secreto profesional entre abogado y cliente y detalles sobre la arquitectura de los modelos.

Un esquema con tres escalones

El diseño tiene tres niveles. En el más bajo, organizaciones como SecureBio hacen revisiones acotadas y necesitan pedir autorización antes de publicar. En el intermedio, el evaluador recibe más información y puede difundir sus hallazgos sin pedir permiso. En la cima, donde hoy solo está METR, se suma el acceso equivalente al de un empleado y la potestad de publicar evaluaciones, reportes de incidentes y estudios de prácticas internas sin que Anthropic pueda frenarlo.

La empresa sí puede pedir que se redacten datos que caigan en categorías muy estrechas y previamente acordadas, pero METR queda libre de señalar en público si considera que esa redacción estuvo justificada o no. Es un detalle clave: la diferencia entre callarse algo y explicar por qué se optó por el silencio.

Cuatro condiciones para que una auditoría sirva

• Experiencia técnica suficiente como para detectar cuándo un modelo aparenta estar alineado en lugar de estarlo de verdad.
• Independencia económica y operativa respecto de la empresa auditada, para que el veredicto no dependa de quien paga.
• Acceso que vaya más allá del modelo terminado e incluya cómo se entrenó y cómo funcionan sus mecanismos de seguridad.
• Libertad para publicar los hallazgos sin restricciones previas.

La propia compañía reconoce que no puede abrir toda su información sobre seguridad. Parte de esos detalles podría servir a actores maliciosos o resulta sensible desde lo comercial. Por eso eligió un esquema de acceso profundo para un grupo pequeño que trabaja bajo acuerdos exigibles, mientras mantiene al resto de METR al margen de esa tarea.

El equipo de METR ya había revisado varios informes de riesgo durante el año previo a recibir este nivel ampliado. Es decir, la confianza se construyó con auditorías previas más cortas, hasta que Anthropic decidió abrirles la puerta completa. Falta ver, ahora, cuánto tarda ese tipo de acceso en replicarse en otras firmas del sector y si los hallazgos que salgan de ahí terminan siendo públicos, concretos y verificables.