Anthropic se retracta de una política que podría haber 'saboteado' a investigadores de IA que usan Claude

Anthropic está dando marcha atrás en una política que habría limitado encubiertamente a los competidores de usar su nuevo modelo de IA, Claude Fable 5, para desarrollar otros modelos de IA. La empresa cambió de rumbo después de que el movimiento recibiera un rechazo significativo de la comunidad investigadora de IA.

"Estamos cambiando las medidas de seguridad de Fable 5 para el desarrollo de LLM fronterizos para hacerlas visibles", dijo Anthropic en un comunicado a WIRED. "Tomamos la decisión equivocada y nos disculpamos por no llegar al equilibrio correcto".

Anthropic lanzó Claude Fable 5, una versión de su último modelo de IA con medidas de seguridad adicionales diseñadas para prevenir el mal uso, a principios de esta semana. Algunas de las medidas de seguridad que Anthropic decidió implementar no fueron sorprendentes: la empresa dijo que redireccionaría a los usuarios que hicieran preguntas sobre ciberseguridad, biología o química hacia un modelo de IA menos capaz para reducir las posibilidades de que alguien usara la IA avanzada para llevar a cabo un ciberataque o construir un arma biológica.

Pero para investigadores que intentaban usar Claude Fable 5 para el desarrollo fronterizo de IA, Anthropic delineó un enfoque diferente. La empresa degradaría deliberadamente el desempeño del modelo de manera invisible para el usuario. El movimiento efectivamente sabotearía a investigadores que intentaran usar Claude para entrenar modelos de IA competidores, lo que Anthropic explícitamente prohíbe en sus términos de servicio.

¿Tienes un dato? ¿Eres empleado actual o anterior de Anthropic que quiere hablar sobre lo que está sucediendo? Nos gustaría escucharte. Usando un teléfono o computadora que no sea de trabajo, contacta al reportero de forma segura en Signal en mzeff.88.

Anthropicahora dice que está cambiando de curso, y que las medidas de seguridad de Claude Fable 5 para el desarrollo de IA serán visibles para los usuarios. Si la empresa sospecha que un usuario intenta usar Claude para construir una IA altamente capaz, lo alertará de que está rechazando la solicitud o redireccionando al usuario hacia un modelo menos capaz.

Anthropicrevirtió la política después de recibir un rechazo feroz de la comunidad investigadora de IA. Anthropic ya ha tomado medidas para limitar que los competidores usen Claude para construir modelos de IA de código cerrado y abierto, pero los críticos dicen que degradar silenciosamente el desempeño del modelo para ciertos usuarios fue demasiado lejos. El agente de codificación de Claude se ha convertido en una herramienta favorita entre los desarrolladores, incluidos aquellos que trabajan en proyectos de investigación de IA de código abierto, e investigadores le dijeron a WIRED que la última política de la empresa podría haber llevado a un futuro inquietante en el que solo un puñado de laboratorios de IA líderes pudieran realizar investigación avanzada de IA.

Dean Ball, investigador principal de la Fundación para la Innovación Estadounidense y antiguo asesor de la Casa Blanca sobre IA, escribió en una publicación en X que "degradar el desempeño en investigación de ML sin informar al usuario es sorprendentemente hostil y se ve muy mal". Continuó en otra publicación que la política de "sabotaje secreto" socava la postura general de Anthropic, porque limita a los investigadores de IA de colaborar en seguridad de IA.

"Parecía que Anthropic le estaba diciendo al público, 'No confiamos en que nadie más haga investigación de IA. Somos los únicos que tenemos que hacerlo