Una startup afirma que ha superado un obstáculo que frena a los LLMs

Según Subquadratic, ha desarrollado un nuevo tipo de LLM, llamado SubQ, que es más rápido y barato y utiliza mucha menos energía que cualquier otro modelo en el mercado. La empresa también afirma que SubQ puede procesar hasta 12 veces más texto a la vez que la mayoría de los otros modelos, lo que le permite realizar una variedad de tareas que requieren muchos datos, como analizar cientos de documentos o conjuntos de código completos.

Además, dice Subquadratic, SubQ hace esto mientras iguala más o menos el rendimiento de los mejores modelos lanzados por Google DeepMind, OpenAI y Anthropic en tareas clave como la programación.

El problema fue que la empresa al principio proporcionó poca evidencia de sus afirmaciones más allá de un puñado de puntajes de pruebas auto-publicadas. Y aún no ha puesto SubQ a disposición del público para que lo prueben por sí mismos.

Así que no es sorprendente que las afirmaciones de Subquadratic se hayan encontrado con escepticismo. Dan McAteer, un ingeniero de inteligencia artificial, capturó la respuesta general en X: "SubQ es o el mayor avance desde el Transformer ... o es la Theranos de la IA."

Un mes después, la empresa ha publicado más información sobre su modelo, incluidos los resultados de pruebas independientes adicionales realizadas por la firma externa Appen.

"Esperábamos un escepticismo saludable," dice Alex Whedon, cofundador y director de tecnología de Subquadratic. "Con el tiempo, lanzar las evaluaciones de terceros junto con el anuncio inicial habría prevenido mucho del escepticismo, por eso estamos tomando el tiempo para asegurarnos de que los resultados futuros estén completamente verificados antes de publicarlos."

Subquadratic pidió a Appen, que evalúa los modelos de otras empresas, que realizara sus pruebas en SubQ. Los resultados parecen respaldar muchas de las afirmaciones de Subquadratic. "Eso fue realmente emocionante para mí, validó su arquitectura," dice Jeanine Sinanan-Singh, directora de investigación de IA generativa de Appen.

"Yo pensé, 'Wow, esto podría ser un cambio de juego,' porque los modelos luchan con la velocidad y la ineficiencia," agrega. "Pero cuando tienes resultados bastante sorprendentes, realmente no es tan creíble cuando lo dices tú mismo."