Anthropic da marcha atrás en política que 'saboteó' el trabajo de investigadores

Anthropic está retrocediendo en una política que discretamente obstaculizó a investigadores que utilizaban su nuevo modelo de lenguaje Claude Fable 5 para crear modelos de IA competidores, informó la empresa a Wired. "Estamos cambiando los mecanismos de seguridad de Fable 5 para el desarrollo de LLM fronterizos para hacerlos visibles", dijo la empresa en un comunicado. "Hicimos un equilibrio incorrecto y nos disculpamos por no lograr el balance correcto."

Cuando Anthropic lanzó Claude Fable 5, un nuevo modelo basado en su poderoso sistema Mythos, los investigadores notaron algo extraño. Descubrieron que Fable 5 redirigía silenciosamente las solicitudes a un modelo menor cuando se le pedía realizar ciertas acciones. Además, esa restricción no fue revelada en la documentación del modelo.

El nuevo modelo rechazaba o degradaba respuestas para tareas como entrenar LLMs competidores, depurar código de IA y optimizar arquitecturas neuronales. Los investigadores estaban molesto no solo por esa degradación sino por la falta de transparencia de Anthropic. También estaban preocupados, por supuesto, de haber gastado tokens y dinero en un modelo que no hacía lo que esperaban.

Anthropicse ha posicionado como una alternativa más ética y amigable con los investigadores que OpenAI, por lo que sus acciones con Fable 5 generaron una rápida reacción negativa. "Degradar el desempeño en investigación de ML sin decirle al usuario es shockantemente hostil y se ve terrible", dijo el investigador y autor de Substack Dean W. Ball en X.

Anthropic no está revirtiendo su política de mecanismos de seguridad en Fable 5, sino más bien haciendo visibles las restricciones para los usuarios. "Si la empresa sospecha que un usuario intenta usar Claude para construir una IA altamente capaz, le alertará que está rechazando la solicitud o redirigiendo al usuario a un modelo menos capaz", escribió Wired.