Los benchmarks públicos de LLM no te dicen qué modelo poner en producción
Las puntuaciones de los rankings miden a un modelo solo en una habitación con un examen tipo test. Tu producto necesita que llame a la herramienta correcta, que respete un esquema, que se niegue a inventarse un número y que vuelva lo bastante rápido como para que alguien espere la respuesta. Son habilidades distintas, y las cifras públicas apenas las prueban.
Conclusiones clave
- MMLU y GPQA miden conocimiento y razonamiento en aislamiento. Los agentes en producción viven o mueren por el tool-calling, el seguimiento de instrucciones, la salida estructurada y el grounding.
- tau-bench y BFCL son los benchmarks agénticos relevantes, pero lee la letra pequeña: las cifras se miden con herramientas o sin ellas, con extended thinking o sin él, y tau-bench y tau-2-bench son benchmarks distintos.
- El modelo con las mejores puntuaciones generales puede seguir siendo la elección equivocada cuando pones en la balanza la disciplina de grounding, la velocidad efectiva de entrega y el coste.
- El único benchmark que zanja la cuestión es el tuyo: endpoint real, herramientas reales, datos reales, verdad de referencia desde tu base de datos, trampas adversarias y ejecuciones repetidas.
Cada lanzamiento de un modelo viene con una tabla. MMLU, GPQA Diamond, SWE-bench, AIME y una columna de tau-bench si el modelo se vende como agéntico. Las cifras son reales, y leerlas bien es una habilidad de verdad. Pero la tabla responde a una pregunta que la mayoría de equipos no se está haciendo.
Pasamos por esto al elegir el modelo que hay detrás de Seal AI, el asistente de analítica en lenguaje natural que va dentro de SealMetrics. Las cifras públicas acotaron el campo. No eligieron al ganador y, en la dimensión decisiva, apuntaban en la dirección equivocada.
Qué miden en realidad los benchmarks famosos
MMLU y MMLU-Pro son exámenes tipo test sobre materias académicas y profesionales. GPQA Diamond es un conjunto de preguntas de ciencia de nivel doctorado diseñadas para resistir la búsqueda web. AIME son matemáticas de competición. SWE-bench Verified le pide al modelo que resuelva issues reales de GitHub.
Cada uno mide legítimamente algo. En ninguno de ellos se le entrega al modelo un catálogo de herramientas, se le pide que decida a cuál llamar y que después narre el resultado sin adornarlo. Y esa es la descripción real del puesto para la mayoría de agentes en producción.
| Benchmark | Qué mide | Qué necesita tu producto en su lugar |
|---|---|---|
| MMLU / MMLU-Pro | Conocimiento y razonamiento tipo test, sin herramientas y sin datos externos | Elegir bien la herramienta dentro de un inventario grande, turno tras turno |
| GPQA Diamond | Razonamiento científico de nivel doctorado, resistente a la búsqueda | Leer bien una tabla devuelta y no redondear un número hasta convertirlo en ficción |
| AIME | Matemáticas de competición | Aritmética sencilla sobre cifras consultadas, con el periodo y la zona horaria correctos |
| SWE-bench Verified | Resolver incidencias reales de software en un repositorio | Emitir siempre una salida que valide contra tu esquema de respuesta |
| SimpleQA | Recuerdo factual del mundo desde los parámetros, y con qué frecuencia se lo inventa el modelo | Grounding: negarse a responder de memoria cuando el dato está en el prompt |
| tau-bench / BFCL | Resolución de tareas en varios turnos y precisión al invocar funciones en dominios simulados | Las mismas habilidades, medidas sobre tus herramientas, tu esquema y tus datos |
La fila de SimpleQA merece un momento, porque enseña por qué una mala puntuación puede ser irrelevante. El modelo que llevamos a producción, gpt-oss-120b, saca 0,168 de acierto en SimpleQA con una tasa de alucinación de 0,782. Leído en frío, parece descalificatorio. Leído en contexto, describe un recuerdo factual del mundo débil: cuánta trivia contienen los pesos. Nuestro asistente nunca responde desde sus pesos. El dato viaja en el prompt, recuperado por herramientas, y cada cifra se contrasta con la base de datos. El benchmark mide una capacidad que el producto no usa.
Los benchmarks que sí son relevantes, y su letra pequeña
Hay dos familias públicas que sí siguen la pista de lo que necesitan los productos agénticos. tau-bench pone al modelo en un dominio simulado de varios turnos (retail, aerolíneas) donde tiene que usar herramientas y respetar reglas de negocio para completar una tarea. BFCL, el Berkeley Function-Calling Leaderboard, mide directamente la precisión al invocar funciones, incluidas las llamadas múltiples y en paralelo.
Úsalos. Pero léelos como un abogado, porque las tablas de los proveedores ponen las condiciones en las notas al pie y los números en las celdas, y la gente copia celdas.
- Con herramientas o sin ellas. gpt-oss-120b saca 80,1 en GPQA Diamond sin herramientas y 80,9 con herramientas. Su cifra de 97,9 en AIME 2025 es una cifra con herramientas. Citar una contra la otra de un rival no es una comparación, es un error de categoría.
- Con extended thinking, o con un añadido al prompt. La puntuación de 80,5 de Claude Sonnet 4 en tau-bench retail está medida con extended thinking activado más un añadido al prompt, según la propia nota al pie de Anthropic. Es una configuración publicada legítima y declarada con claridad, y no es la misma configuración que una ejecución simple de una sola pasada.
- Distinto benchmark, misma palabra. La cifra de 86,2 en retail de Claude Sonnet 4.5 es de tau-2-bench, no de tau-bench. Las dos dicen «retail». No son la misma prueba, y alinearlas en una misma columna produce un ranking que no existe.
Para hacerse una idea, algunos puntos de referencia que sí son comparables entre sí: GPT-4o se mueve entre 60,4 y 61,2 en tau-bench retail; gpt-oss-120b, en 67,8; qwen3-235b-a22b-2507, en 71,3. Esos tres los puedes poner en fila. Las cifras de Claude de arriba no, no sin volver a declarar las condiciones.
Volvimos a verificar cada cifra pública de nuestro propio informe de selección de modelo contra las fuentes primarias: fichas técnicas de los proveedores y publicaciones de los benchmarks, en vez de recopilatorios de segunda mano. Dos de ellas estaban mal en nuestro primer borrador, y las dos por exactamente los fallos que acabamos de enumerar. Si nos pasó a nosotros yendo con cuidado, está pasando en la tabla comparativa que estás leyendo en algún otro sitio.
La velocidad también es un benchmark, y no el que crees
Las medianas entre proveedores publicadas por Artificial Analysis (consultadas el 23 de julio de 2026; varían a diario) sitúan a gpt-oss-120b en 262,8 tokens de salida por segundo con 0,89 segundos de tiempo hasta el primer token, a Gemini 2.5 Flash en 201,9, a GPT-4.1 en 114,7, a Qwen3-235B en 56,7 con 2,32 segundos hasta el primer token y a Claude Sonnet 4.5 en 42,0. GPT-5 con esfuerzo de razonamiento alto tarda más de 100 segundos hasta el primer token: un buen intercambio para un proceso por lotes, inservible para un chat interactivo.
Dos advertencias sobre números así. La primera: son medianas entre proveedores; lo que tú obtengas depende del host que uses de verdad. En nuestra propia infraestructura, gpt-oss-120b entrega un efectivo de 75 a 90 tokens de salida por segundo dentro de bucles reales de herramientas, y ese es el número que manda en la experiencia de usuario, no la mediana del titular. La segunda: una respuesta agéntica son varias llamadas al modelo más idas y vueltas a las herramientas, así que para que la interfaz parezca viva importa más el tiempo hasta el primer token que el pico de rendimiento.
Un caso concreto en el que el ranking apuntaba al lado equivocado
Sobre cifras públicas, qwen3-235b-a22b-2507 gana a gpt-oss-120b en casi todos los ejes que nos importan: 93,1 en MMLU-Redux frente a 90,0 en MMLU, 83,0 frente a 80,8 en MMLU-Pro, 71,3 frente a 67,8 en tau-bench retail, más 70,9 en BFCL v3 y la mejor puntuación multilingüe del conjunto abierto. Si esto lo decidiera una tabla, la tabla decidió por qwen.
Después pasamos los dos por el producto real: 18 escenarios en español e inglés, tres pasadas, tres modelos, 162 consultas en vivo contra los datos de una cuenta real, con el inventario completo de 63 herramientas y la verdad de referencia calculada desde la base de datos.
gpt-oss-120b superó 18 de 18 trampas de grounding e inyección y verificó 144 de 144 hechos afirmados. qwen3-235b superó 15 de 18, y entre sus fallos estuvo reproducir una instrucción inyectada en dos de tres intentos en inglés mientras ignoraba el ataque idéntico en las nueve ejecuciones en español. Además consumió 2,2 veces los tokens de entrada, salió alrededor de diez veces más caro por consulta respondida y entregó entre 21 y 23 tokens de salida efectivos por segundo frente a los 75-90 de nuestro ganador.
Nada de eso se ve en un ranking. Tampoco es una crítica al ranking: esos benchmarks nunca se diseñaron para predecir el coste por consulta respondida en una carga de trabajo de analítica con 63 herramientas y en dos idiomas. Respondieron correctamente a su pregunta. Simplemente era una pregunta distinta de la nuestra.
Cinco pasos para evaluar un modelo sobre tu propia carga de trabajo
- Usa los benchmarks públicos como filtro, no como decisión. Son excelentes para eliminar candidatos que claramente no dan la talla. Deja de usarlos en cuanto dos candidatos sean los dos plausibles.
- Prueba a través de tu endpoint real. El mismo código de producto, el mismo inventario de herramientas, los mismos datos; cambia solo el modelo por configuración. Un sandbox con tres herramientas de juguete no te dice nada del comportamiento con sesenta.
- Calcula la verdad de referencia desde tu base de datos. Extrae las cifras verdaderas al empezar la tanda para que cada número que afirme el modelo se compruebe automáticamente. Sin verdad de referencia estás puntuando sensaciones.
- Añade escenarios adversarios y repítelos. Pregunta por entidades que no existen. Pregunta por periodos sin datos. Planta una instrucción inyectada con un canario. Replica todo eso en cada idioma que soportes, ejecuta cada escenario varias veces y publica intervalos de confianza en lugar de puntuaciones sueltas.
- Pondera el coste y la velocidad efectiva al final, y en serio. A dos modelos que son los dos suficientemente correctos los separan los tokens consumidos y el tiempo hasta la respuesta. Ahí es donde suele esconderse una diferencia de un orden de magnitud.
Y publica tus defectos. Nuestra tanda contenía una pregunta mal formulada —«tráfico por dispositivo del último mes» admite dos lecturas—, y todos y cada uno de los fallos de hechos de la tanda entera se remontan a ella. Ese error es nuestro, no una alucinación del modelo, y decirlo es lo que hace que el resto de los números merezca la pena leerlos.
En resumen
Los benchmarks públicos te dicen si un modelo es capaz. No te dicen si es adecuado. La adecuación depende de tus herramientas, tu esquema, tus idiomas, tu presupuesto de latencia y tu tolerancia a un número dicho con seguridad y equivocado, y nada de eso aparece en una tabla de lanzamiento.
La versión larga de este argumento, con el razonamiento completo de selección de modelo, está en El mejor LLM para analítica de datos no es el que gana en los benchmarks. La auditoría de mercado que hay detrás, incluida la restricción de alojamiento soberano en la UE que dio forma a la lista corta, está documentada en nuestro informe de selección de modelo.