Anthropic se retracta de política que habría 'saboteado' a investigadores de IA que usan Claude
Anthropic se está echando para atrás en una política que habría limitado encubiertamente a los competidores para usar su nuevo modelo de IA, Claude Fable 5, en el desarrollo de otros modelos de IA. La empresa cambió de dirección después de que el movimiento recibiera un rechazo significativo de la comunidad de investigación de IA.
"Estamos cambiando las salvaguardias de Fable 5 para el desarrollo de LLM fronterizo para hacerlas visibles", dijo Anthropic en un comunicado a WIRED. "Cometimos un error en la compensación y pedimos disculpas por no acertar el equilibrio".
Anthrophoic lanzó Claude Fable 5, una versión de su último modelo de IA con protecciones de seguridad adicionales diseñadas para prevenir mal uso, a principios de esta semana. Algunas de las salvaguardias que Anthropic decidió fueron sin sorpresa: La empresa dijo que redireccionaría a los usuarios que hicieran preguntas sobre ciberseguridad, biología o química a un modelo de IA menos capaz para reducir las posibilidades de que alguien use la IA avanzada para llevar a cabo un ciberataque o construir un arma biológica.
Pero para investigadores que intentaban usar Claude Fable 5 para el desarrollo de IA fronterizo, Anthropic describió un enfoque diferente. La empresa degradaría deliberadamente el desempeño del modelo de maneras invisibles para el usuario. El movimiento sabotearía efectivamente a los investigadores que intentaban usar Claude para entrenar modelos de IA competidores, que Anthropic prohíbe explícitamente en sus términos de servicio.
¿Tienes información? ¿Eres un empleado actual o anterior de Anthropic que quiere hablar sobre lo que está pasando? Nos gustaría escucharte. Usando una computadora o teléfono que no sea de trabajo, contacta al reportero de forma segura en Signal a mzeff.88.
Anthrophoic ahora dice que está cambiando de rumbo y que las salvaguardias de Claude Fable 5 para el desarrollo de IA serán visibles para los usuarios. Si la empresa sospecha que un usuario está intentando usar Claude para construir una IA altamente capaz, lo alertará de que está rechazando la solicitud o redireccionando al usuario a un modelo menos capaz.
Anthrophic invirtió la política después de recibir una feroz reacción violenta de la comunidad de investigación de IA. Anthropic ya ha tomado medidas para limitar a los competidores de usar Claude para construir modelos de IA de código cerrado y de código abierto, pero los críticos dicen que degradar silenciosamente el desempeño del modelo para ciertos usuarios fue demasiado lejos. El agente de codificación de Claude se ha convertido en una herramienta favorita entre los desarrolladores, incluyendo aquellos que trabajan en proyectos de investigación de IA de código abierto, e investigadores le dicen a WIRED que la última política de la empresa podría haber llevado a un futuro problemático en el que solo un puñado de laboratorios de IA líderes pudieran realizar investigación de IA avanzada.
Dean Ball, miembro principal de la Fundación para la Innovación Estadounidense y antiguo asesor de la Casa Blanca sobre IA, escribió en un post en X que "degradar el desempeño en investigación de ML sin decirle al usuario es sorprendentemente hostil y una mala apariencia". Continuó en otro post que la política de "sabotaje secreto" socava la postura general de Anthropic, porque limita a los investigadores de IA de colaborar en seguridad de IA.
"Parecía que Anthropic le estaba diciendo al público, 'No confiamos en que nadie más haga investigación de IA. Somos los únicos que tenemos que hacer
