Una startup afirma haber superado un obstáculo que frena a los LLMs

Según Subquadratic, ha desarrollado un nuevo tipo de LLM, llamado SubQ, que es más rápido y barato y utiliza mucho menos energía que cualquier otro modelo en el mercado. La empresa también afirma que SubQ puede procesar hasta 12 veces más texto a la vez que la mayoría de los otros modelos, lo que le permite llevar a cabo una variedad de tareas que requieren mucho procesamiento de datos, como analizar cientos de documentos o bases de código enteras.

Además, Subquadratic dice que SubQ hace esto mientras más o menos iguala el rendimiento de los mejores modelos lanzados por Google DeepMind, OpenAI y Anthropic en tareas clave como la programación.

El problema fue que al principio la empresa proporcionó poca evidencia de sus afirmaciones más allá de un puñado de puntajes de pruebas auto-publicadas. Y aún no ha hecho que SubQ esté ampliamente disponible para que las personas lo prueben por sí mismas.

Así que no es sorpresa que las afirmaciones de Subquadratic fueran recibidas con escepticismo. Dan McAteer, un ingeniero de inteligencia artificial, capturó la respuesta general en X: "SubQ es o el mayor avance desde el Transformer... o es AI Theranos."

Un mes después, la empresa ha publicado más información sobre su modelo, incluidos los resultados de pruebas independientes adicionales realizadas por la firma de terceros Appen.

"Esperábamos un escepticismo saludable," dice Alex Whedon, cofundador y director de tecnología de Subquadratic. "En retrospectiva, publicar las métricas de terceros junto con el anuncio inicial habría prevenido gran parte del escepticismo, por lo que estamos tomando el tiempo para asegurarnos de que cualquier resultado futuro esté completamente verificado antes de publicarlo."

Subquadratic pidió a Appen, que evalúa los modelos de otras empresas, que realizara sus pruebas sobre SubQ. Los resultados parecen respaldar muchas de las afirmaciones de Subquadratic. "Eso fue realmente emocionante para mí, validó su arquitectura," dice Jeanine Sinanan-Singh, directora de investigación en IA generativa de Appen.

"Pensé, ‘Wow, esto podría ser un cambio de juego’, porque los modelos luchan con la velocidad y la ineficiencia," añade. "Pero cuando tienes resultados tan sorprendentes, realmente no son tan creíbles cuando lo dices tú mismo."