Wisdom of AI Crowds

¿Puede una multitud de modelos de lenguaje producir estimaciones numéricas más precisas que sus integrantes? · Fireworks AI serverless · generado el 2026-10-06 07:43 UTC · git e5e21775b6

Resumen

Se consultó a 10 modelos de lenguaje de 8 familias, todos servidos por Fireworks AI serverless con el mismo prompt, temperatura 0.7 y un tope común de 400 tokens de salida, sobre 197 preguntas numéricas con ground truth documentado (110 de estimación, 50 de memorización probable, 20 de derivada, 17 de Fermi), más un bloque suplementario de 36 cantidades sobre entidades poco conocidas. La mediana de todos los modelos redujo el |error log10| medio del modelo individual medio en un 97.6 % (IC95 de la diferencia [-0.1245, -0.0744]): un efecto multitud claro. Frente al mejor modelo individual (glm-5p3, seleccionado en train+validación), la mediana cambió el error en un +20.6 %, con un IC bootstrap que incluye el cero (veredicto: APOYO DÉBIL). La multitud con media aritmética fue peor que el modelo medio, porque unas pocas respuestas se desvían varios órdenes de magnitud. Advertencia decisiva: el 66 % de las respuestas coincidió con la referencia a menos de un 0.1 %. Los modelos actuales han memorizado la mayoría de los valores de referencia, así que el principal efecto de la multitud es filtrar alucinaciones. En el bloque long-tail, donde los modelos sí tienen que estimar, la mediana superó al modelo medio en un 66 %, pero no al mejor modelo (minimax-m3).

Pregunta de investigación

¿Puede una multitud de modelos de IA producir estimaciones numéricas más cercanas a la verdad que sus integrantes individuales? La hipótesis central es que los errores de modelos suficientemente diversos se compensan parcialmente. El estudio se diseñó de forma que pudiera rechazar esta hipótesis.

Hipótesis

• H1 La media de varios modelos tiene menor error que el modelo individual promedio. CONFIRMADA
• H2 El consenso puede superar incluso al mejor modelo individual. APOYO DÉBIL
• H3 La mediana es más robusta que la media frente a alucinaciones y valores extremos. CONFIRMADA
• H4 Los ensembles con modelos de familias diferentes funcionan mejor que los de modelos similares. NO CONFIRMADA
• H5 La diversidad de errores es más importante que la calidad individual de cada modelo. NO CONFIRMADA
• H6 Un modelo relativamente malo puede mejorar el ensemble si sus errores están poco correlacionados con los demás. CONFIRMADA
• H7 Existe un punto de rendimientos decrecientes al añadir modelos. CONFIRMADA
• H8 El desacuerdo entre modelos permite estimar la incertidumbre de la respuesta colectiva. CONFIRMADA
• H9 La confianza declarada por los modelos está relacionada (o no) con su precisión real. CONFIRMADA
• H10 Varias respuestas del mismo modelo aportan menos beneficio que respuestas de modelos distintos. NO CONFIRMADA

Metodología

• Inferencia. Chat completions compatible con OpenAI de Fireworks AI (solo serverless, sin deployments). Lista de modelos descubierta en vivo con GET /v1/accounts/fireworks/models?filter=supports_serverless=true y /inference/v1/models; cada candidato superó una comprobación de disponibilidad de 1 token.
• Prompt. Idéntico para todos los modelos (prompts/estimate_v1.txt, sha256 e9adb89386125c51…), salida estructurada con response_format = json_schema {estimate: número, confidence: entero 0-100}; temperatura 0.7; max_tokens 400; sin herramientas ni navegación. El prompt se redactó en inglés, el idioma más neutro para todos los modelos.
• Razonamiento. A todos los modelos se les pide reasoning_effort="none". Excepciones registradas: glm-5p3: low, minimax-m3: low, glm-5p3-flash: low, gpt-oss-120b: low. La API rechaza "none" para GLM-5.3, GLM-5.3 Flash y gpt-oss-120b; MiniMax M3 degenera con "none". Inkling acepta "none" pero sigue razonando internamente.
• Validación. Se rechazan las respuestas no numéricas, NaN, infinitas o con JSON inválido; como máximo un reintento de formato por respuesta; todos los errores se registran.
• Caché y reanudación. Las respuestas se identifican por (experimento, pregunta, modelo, run, versión del prompt, temperatura) en SQLite. Una respuesta pagada nunca se vuelve a pedir (comprobado: repetir el piloto costó $0).
• Presupuesto. Un BudgetManager reserva el coste en el peor caso de cada request antes de enviarla y se detiene antes de MAX_BUDGET_USD; MAX_REQUESTS es una segunda barrera. El plan (preguntas × modelos × runs) se calculó automáticamente con el consumo de tokens medido en el piloto: inicio: 11 modelos × 258 preguntas × 2 runs, réplicas del mismo modelo {'glm-5p3-flash': 8, 'deepseek-v4p1-flash': 8} → est. $3.197 (x1.05 = $3.357); a) runs por modelo → 1 → est. $1.737 (x1.05 = $1.823); b) se descarta el modelo redundante ember-1 (mismos pesos que kimi-k3) → est. $1.409 (x1.05 = $1.479); c) se descarta el subexperimento del mismo modelo para deepseek-v4p1-flash → est. $1.236 (x1.05 = $1.298); c) réplicas del mismo modelo para glm-5p3-flash → 7 → est. $1.226 (x1.05 = $1.288); c) réplicas del mismo modelo para glm-5p3-flash → 6 → est. $1.216 (x1.05 = $1.277); c) réplicas del mismo modelo para glm-5p3-flash → 5 → est. $1.207 (x1.05 = $1.267); c) réplicas del mismo modelo para glm-5p3-flash → 4 → est. $1.197 (x1.05 = $1.257); d) preguntas → 256 → est. $1.188 (x1.05 = $1.247); …; d) preguntas → 194 → est. $0.900 (x1.05 = $0.945).
• Métrica. Principal: |log10(estimación/verdad)| medio (simétrica entre sobre- y subestimación; factor de error = 10^|error log|). También se calculan APE mediano, MAPE, sMAPE, RMSE (relativo y logarítmico), errores con signo y tasa de acierto dentro del 25 %. El MAE y el RMSE en bruto no tienen sentido entre preguntas con unidades distintas, así que se calculan sobre errores relativos. Las estimaciones ≤ 0 reciben el tope (6 órdenes de magnitud).
• Splits. 60/20/20 estratificado por categoría, seed 20261005. TRAIN: pesos aprendidos y stackers. VALIDACIÓN: elección de método y alfa de ridge. TRAIN+VALIDACIÓN: mejor individuo, mejores subconjuntos y diversidad. TEST: evaluado una sola vez al final mediante un TestLock (hash 21d0ec35a48cb294…). Las reglas sin parámetros (media, mediana…) no ajustan nada y se reportan también sobre todas las preguntas.
• Elegibilidad del mejor individuo. El "mejor individuo" debe responder al menos el 90 % de las preguntas de train+validación. {"inkling": 0.6518987341772152} no lo cumplió (agota el tope común de tokens en las preguntas difíciles) y se reporta como análisis de sensibilidad.
• Estadística. Bootstrap pareado (10.000 remuestreos de preguntas) para cada diferencia clave, Wilcoxon de rangos con signo, tests de permutación por cambio de signo, tamaños del efecto (rango-biserial y d de Cohen) y corrección de Holm dentro de cada familia de comparaciones.

Prompt (texto literal enviado a los modelos)

Give your best numerical estimate for the following question.
Do not use external tools, web browsing or search. Answer using only your internal knowledge and reasoning.
Return only a JSON object of the form:
{"estimate": number, "confidence": integer}
"confidence" must be an integer between 0 and 100 indicating how confident you are that your estimate is reasonably close to the true value.
"estimate" must be a plain number (no units, no text, no thousands separators; scientific notation like 3.2e9 is allowed).
Do not include any explanation.

Question: {question}
The answer must be expressed in: {unit}

Dataset y metodología del ground truth

258 preguntas curadas en 12 categorías, cada una con valor numérico de referencia, unidad, URL y nombre de la fuente y etiqueta de calidad (oficial 102, referencia fiable 67, referencia estimada 28; recuento sobre las 197 usadas). No se usó ningún LLM como ground truth: los valores se transcribieron de las fuentes oficiales, técnicas o científicas citadas, y los valores derivados se calculan a partir de hechos documentados (la fórmula está en notes). Se volvió a comprobar en vivo una muestra estratificada de 24 valores el 2026-10-05: 15 coincidieron, 5 se corrigieron (la mayor corrección fue de un 4 %) y 4 fuentes no fueron accesibles (HTTP 403). El presupuesto permitió usar 197 de las 258 preguntas (subconjunto estratificado por categoría con seed). Las preguntas de Fermi usan estimaciones publicadas, están etiquetadas como estimated_reference y se analizan por separado.

Nota: el texto de las preguntas y sus unidades se muestra en todo el informe tal y como se envió a los modelos (en inglés).

Modelos

Modelos de chat serverless descubiertos: 13 (más embeddings/rerankers y routers). Seleccionados: 10 en el estudio principal. Excluidos: GLM 5.2 (aparece en el catálogo, pero devuelve HTTP 404: no está desplegado), Qwen3.8-2.4T-A95B (sin precio serverless publicado; mismos pesos que Qwen 3.8 Max) y Ember-1 (post-entrenamiento de Fireworks sobre Kimi K3, descartado por el planificador por redundante). Los niveles se asignaron a priori por precio y tamaño.

Coste del experimento

Gasto total: $0.9685 de un límite de $1.00 (precios serverless Standard publicados × tokens devueltos por la API; fuente https://docs.fireworks.ai/serverless/pricing). La Batch API de Fireworks cuesta un 50 % menos, pero solo admite modelos con on-demand deployment y no tiene SLA de tiempo (los jobs pueden quedarse horas en cola), así que no se usó: el estudio cabía en el presupuesto con serverless estándar.

Resultados

Rendimiento de los modelos individuales

Sabiduría de la multitud

CONFIRMADA La multitud tiene menos error que el modelo individual medio (efecto multitud).

Mediana de la multitud frente al individuo medio (todas las preguntas): mediana 0.002 frente a individuo medio 0.101 de |error log10| medio (diferencia -0.098, IC95 [-0.125, -0.074], cambio relativo +97.6 %, Wilcoxon p=6.8e-28, p de Holm=1.43e-26, r rango-biserial=-0.96, n=197). Con la media aritmética: NO CONFIRMADA (-70.8 %). En el split TEST bloqueado, el cambio de la mediana es +98.2 % (IC95 de la diferencia [-0.155, -0.046]).

APOYO DÉBIL La multitud supera incluso al mejor modelo individual (glm-5p3, elegido en train+validación).

Mediana de todos los modelos frente al mejor individuo (todas las preguntas): mediana 0.002 frente a glm-5p3 0.003 de |error log10| medio (diferencia -0.001, IC95 [-0.002, +0.001], cambio relativo +20.6 %, Wilcoxon p=0.00236, p de Holm=0.0165, r rango-biserial=-0.48, n=197). [mediana frente a glm-5p3, todas las preguntas → APOYO DÉBIL, +20.6 %] [media frente a glm-5p3, todas las preguntas → REFUTADA, -5573.0 %] [media recortada 20 % frente a glm-5p3, todas las preguntas → REFUTADA, -472.6 %] [media geométrica frente a glm-5p3, todas las preguntas → REFUTADA, -3755.1 %] [mediana frente a glm-5p3, TEST → APOYO DÉBIL, +30.8 %] [ridge frente a glm-5p3, TEST → APOYO DÉBIL, +17.9 %] [mejor subconjunto k=7 frente a glm-5p3, TEST → APOYO DÉBIL, +22.4 %]

Media frente a mediana

CONFIRMADA La mediana es más robusta que la media frente a alucinaciones y valores extremos.

Mediana frente a media: mediana 0.002 frente a media 0.172 de |error log10| medio (diferencia -0.169, IC95 [-0.267, -0.091], cambio relativo +98.6 %, Wilcoxon p=4.56e-25, p de Holm=8.21e-24, r rango-biserial=-0.91, n=197). Media recortada 20 % frente a media: CONFIRMADA (+89.9 %). Mediana frente a recortada 20 %: diferencia -0.015 (IC [-0.039, -0.002]). Quitar las respuestas desviadas más de 100× cambiaría el error de la media en -0.119 y el de la mediana en +0.000.

Tamaño del ensemble

CONFIRMADA Existe un punto de rendimientos decrecientes en el tamaño de la multitud.

Multitud con mediana: a partir de k*=4 modelos, cada modelo adicional aporta menos del 5 % de la mejora total (mejora total de 1 a N modelos: 0.094 de |error log10| medio). Multitud con media geométrica: ninguna mejora (el error esperado cambia en +0.020 al pasar de 1 a N modelos).

Análisis de diversidad

Model Diversity Score. Para una multitud S con log-estimaciones l_i, verdad y y respuesta colectiva l̄ (media en espacio log), la descomposición de ambigüedad (Krogh y Vedelsby, 1995) da exactamente (l̄−y)² = media_i(l_i−y)² − media_i(l_i−l̄)². Promediando sobre preguntas, E_multitud = E_medio − A, con 0 ≤ A ≤ E_medio. Se define DS = 100·A/E_medio ∈ [0, 100]: el porcentaje del error cuadrático del miembro medio que la multitud cancela. Combina la distancia entre estimaciones (A), la complementariedad (la dispersión solo ayuda si los errores caen a ambos lados) y la correlación de errores (con varianzas iguales y correlación ρ por pares, DS = 100(n−1)(1−ρ)/n). DS se mide en train+validación; el error de la multitud, en TEST.

NO CONFIRMADA Los ensembles de familias distintas funcionan mejor que los de modelos similares.

Parejas de modelos: promediar dos modelos de familias distintas eliminó de media un -10.5 % del |error log| medio de sus miembros, frente a un -7.0 % en las parejas de la misma familia (glm-5p3 + glm-5p3-flash, nemotron-3-ultra-nvfp4 + nemotron-lightning-3p5-30b-a3b); diversity score 39.6 frente a 50.1. Solo existen 2 parejas de la misma familia, así que es descriptivo (sin test).

NO CONFIRMADA La diversidad de errores importa más que la calidad individual.

En los 792 subconjuntos de 3 a 6 modelos (diversidad y calidad de los miembros medidas en train+validación; error de la multitud en TEST): efecto estandarizado del error medio de los miembros beta=+0.99 (R² por sí solo 0.99) frente a diversidad beta=+0.00 (R² por sí sola 0.05). Spearman(diversidad, error en TEST) sobre todos los subconjuntos = +0.21.

Correlación de errores

Correlaciones de los errores logarítmicos con signo (log10(estimación/verdad)). El error con signo en bruto no se puede comparar entre unidades distintas. Las 10 parejas con errores menos correlacionados (Spearman):

Calibración de la confianza

CONFIRMADA La confianza declarada está relacionada con la precisión real.

Spearman global(confianza, |error log|) = -0.30 (p=3.3e-40, débil); confianza declarada media 87 frente a una tasa real de acierto (dentro del 25 %) del 94 % → bien calibrado. Por modelo: {'infraconfiado': 7, 'bien calibrado': 2, 'sobreconfiado': 1}; la confianza discrimina significativamente en 9 de 10 modelos.

Desacuerdo como incertidumbre

AI Crowd Agreement Score = 100·exp(−s/log10 2), con s = 1.4826·MAD de las log10-estimaciones (una dispersión robusta medida en órdenes de magnitud): 100 = acuerdo total; 37 = dispersión de un factor 2; ≈ 0 = dispersión de un factor 10 o más. Su utilidad se juzga con estadísticos de rangos, que no dependen de esta transformación.

CONFIRMADA El desacuerdo entre modelos indica la incertidumbre de la respuesta colectiva.

Spearman(Agreement Score, error del consenso) = -0.54 (p=1.3e-16, fuerte). Mediana del |error log| del consenso en el quintil de menor acuerdo 0.001 frente a 0.000 en el de mayor acuerdo. La verdad quedó dentro del rango mín–máx de los modelos en el 98 % de las preguntas.

Modelos débiles pero útiles

CONFIRMADA Un modelo relativamente malo puede mejorar la multitud si sus errores están poco correlacionados.

Modelos de la mitad inferior en precisión individual cuya contribución marginal media es positiva con un IC95 por encima de cero: deepseek-v4p1-flash, glm-5p3-flash, gpt-oss-120b, qwen3p8-max. Modelo más complementario (multitud con mediana): glm-5p3. Spearman(error individual, contribución marginal) = -0.54. Matiz: los modelos de la 'mitad inferior' siguen siendo precisos en términos absolutos; el modelo claramente más débil (nemotron-lightning-3p5-30b-a3b, |error log| medio 0.782) tiene una contribución marginal de -0.0351 (IC95 [-0.0498, -0.0237]).

Fuertes frente a diversos

NO CONFIRMADA 5 modelos diversos superan a 5 modelos fuertes.

Todas las preguntas: Diversos-5 0.003 frente a Fuertes-5 0.002 de |error log10| medio (diferencia +0.001, IC95 [-0.000, +0.001], cambio relativo -23.4 %, Wilcoxon p=0.175, p de Holm=0.349, r rango-biserial=+0.22, n=197). Solo TEST: diferencia +0.001 (IC [-0.001, +0.003]).

Mismo modelo frente a modelos distintos

NO CONFIRMADA Varias respuestas del mismo modelo aportan menos que respuestas de modelos distintos.

Comparación controlada: glm-5p3-flash + 3 otros 0.009 frente a 4x glm-5p3-flash 0.007 de |error log10| medio (diferencia +0.002, IC95 [-0.004, +0.008], cambio relativo -31.9 %, Wilcoxon p=2.91e-05, p de Holm=0.000291, r rango-biserial=+0.42, n=197). Sin controlar (4 modelos distintos al azar frente a 4 ejecuciones): NO CONFIRMADA, -60.3 %. Correlación de errores entre ejecuciones del mismo modelo: Spearman 0.71 frente a 0.28 entre modelos distintos; el 73 % de las preguntas recibió la misma respuesta en las 4 ejecuciones.

Eficiencia en coste

¿Compensa la multitud frente al mejor modelo? Coste, latencia, independencia y estabilidad

Esta sección responde a preguntas planteadas tras la primera versión del informe. Es descriptiva: no ajusta ni selecciona nada con TEST, salvo la comprobación fuera de muestra indicada.

Independencia y tamaño de la multitud. La correlación media entre los errores de dos modelos distintos es 0.28 (dataset principal). Con varianzas parecidas y esa correlación media, el error cuadrático de la media de n miembros respecto al de uno solo es ρ + (1 − ρ)/n: 0.42 con 5 modelos, 0.35 con 10, 0.28 con 100 y 0.28 con 800. Con 800 personas independientes sería 0.0013. A diferencia de los árboles de un random forest (que se descorrelacionan a propósito) o del público de Galton, añadir más LLMs apenas puede mejorar, porque comparten datos de entrenamiento.

¿Cuánto difieren las respuestas? En el dataset principal, los 10 modelos coinciden a menos de un 1 % solo en el 22 % de las preguntas; las respuestas abarcan más de un factor 2 en el 40 % y más de un factor 10 en el 24 % (casi siempre por un único modelo que se dispara). Mediana de 3 valores distintos por pregunta. En el bloque long-tail abarcan más de un factor 2 en el 86 %. Pedir varias respuestas al mismo modelo apenas añade diversidad: glm-5p3-flash dio la misma respuesta en las 4 ejecuciones (temperatura 0.7) en el 73 % de las preguntas.

Coste y latencia. Se evaluaron todas las combinaciones de modelos (regla: mediana). El coste de una multitud es la suma del de sus miembros; su latencia, la de su miembro más lento en cada pregunta (llamadas en paralelo).

Comprobación fuera de muestra. Elegida en train+validación (sin mirar TEST), la mejor multitud más barata que glm-5p3 es deepseek-v4p1-flash + glm-5p3-flash + gpt-oss-120b. En TEST (n=39) tuvo un |error log10| medio de 0.0016 frente a 0.0025 de glm-5p3: un 37 % menos de error, con un IC95 de la diferencia [-0.0024, +0.0000] que incluye el cero (Wilcoxon p=0.26). En el 79 % de las preguntas de TEST empataron. Es decir, rinde igual que el mejor modelo y cuesta un 40 % menos, pero tarda aproximadamente el doble.

principal APOYO DÉBIL / long-tail NO CONFIRMADA Una multitud de modelos baratos rinde como el mejor modelo y cuesta menos.

Dataset principal: ninguna de las 1013 multitudes iguala estrictamente a glm-5p3 costando menos (338 lo igualan, pero todas lo incluyen o, en conjunto, cuestan más que él). La mejor multitud más barata sin él, deepseek-v4p1-flash + glm-5p3-flash + gpt-oss-120b, queda solo un 5.6 % por detrás y cuesta un 40 % menos. Elegida sin mirar TEST (en train+validación), en TEST tuvo 0.0016 frente a 0.0025 de glm-5p3 (un 37 % menos de error, IC95 de la diferencia [-0.0024, +0.0000], Wilcoxon p=0.26, n=39): equivalente, con un 40 % menos de coste, pero más lenta (2.2 s frente a 1.1 s, porque espera al miembro más lento). Bloque long-tail: ninguna multitud sin minimax-m3 lo iguala; la mejor barata (deepseek-v4p1-flash + glm-5p3-flash + nemotron-3-ultra-nvfp4 + nemotron-lightning-3p5-30b-a3b) es un 19 % peor y un 38 % más barata, aunque mejora un 23 % a su mejor miembro.

¿El mejor modelo es siempre el mismo?

HETEROGÉNEO El mejor modelo es siempre el mismo.

Al remuestrear las preguntas, glm-5p3 es el mejor en el 79 % de los casos (kimi-k3 17 %, qwen3p8-max 2 %). Por categorías el mejor cambia: kimi-k3 en 4, glm-5p3 en 3, qwen3p8-max en 2, nemotron-3-ultra-nvfp4 en 1, minimax-m3 en 1, deepseek-v4p1-flash en 1. En el bloque long-tail el mejor fue minimax-m3 (82 % de los remuestreos), que en el principal no destacaba.

Conclusión práctica. Si sabes qué tipo de preguntas vas a hacer y cuál es el mejor modelo para ellas, usarlo solo es lo más sencillo y lo más rápido. Una multitud de 3 modelos baratos puede igualarlo con menos coste en datos conocidos, pero tarda más, y en estimación real no lo alcanza. La mediana de varios modelos es útil sobre todo cuando no sabes cuál es el mejor para un dominio nuevo, y como alarma: si discrepan mucho, la respuesta es poco fiable.

Análisis por categoría

HOMOGÉNEO La sabiduría colectiva puede funcionar en unas categorías y no en otras.

La mediana supera al individuo medio con un IC que excluye el 0 en 12/12 categorías (demografía, economía, energía, objetos cotidianos, Fermi, geografía, naturaleza, física, espacio, deportes, tecnología, transporte); estimación puntual peor que el individuo medio en: ninguna. La mediana supera al mejor individuo en: economía, energía, objetos cotidianos, Fermi, espacio, transporte.

multitud CONFIRMADA / supermultitud APOYO DÉBIL Resultados en las preguntas de estimación+Fermi (foco principal) y solo con referencias exactas.

Estimación+Fermi: frente al individuo medio, mediana 0.003 frente a individuo medio 0.100 de |error log10| medio (diferencia -0.097, IC95 [-0.129, -0.069], cambio relativo +96.9 %, Wilcoxon p=6.73e-20, p de Holm=9.43e-19, r rango-biserial=-0.97, n=127); frente al mejor individuo, mediana 0.003 frente a glm-5p3 0.004 de |error log10| medio (diferencia -0.001, IC95 [-0.002, +0.001], cambio relativo +17.1 %, Wilcoxon p=0.00366, p de Holm=0.0219, r rango-biserial=-0.56, n=127). Solo referencias oficiales+fiables, mediana frente al mejor individuo: APOYO DÉBIL (+15.8 %).

Memorización, preguntas disputadas y bloque long-tail

multitud CONFIRMADA / supermultitud (mediana) APOYO DÉBIL / supermultitud (media geom.) REFUTADA Efectos multitud y supermultitud en las preguntas donde los modelos discrepan (subconjunto definido sin usar la verdad).

114 de 197 preguntas (58 %) están disputadas (las respuestas abarcan más de un factor 1.1). En ellas: mediana frente al individuo medio +98.0 % (IC de la diferencia [-0.210, -0.132]); mediana frente al mejor individuo +21.5 % (IC [-0.003, +0.001]); media geométrica frente al mejor -4390.4 % (IC [+0.142, +0.260]). En conjunto, el 66 % de todas las respuestas quedó a menos de un 0.1 % del valor de referencia (memorización).

multitud CONFIRMADA / supermultitud (mediana) NO CONFIRMADA / supermultitud (media geom.) REFUTADA Resultados en cantidades realmente no memorizadas (bloque suplementario).

36 preguntas sobre entidades poco conocidas × 6 modelos; solo el 23 % de las respuestas quedó a menos de un 1 % de la verdad (estimación real). Mediana frente al individuo medio: mediana 0.094 frente a individuo medio 0.273 de |error log10| medio (diferencia -0.179, IC95 [-0.228, -0.133], cambio relativo +65.6 %, Wilcoxon p=2.91e-11, p de Holm=3.49e-10, r rango-biserial=-1.00, n=36). Mediana frente al mejor individuo preseleccionado en el estudio principal (minimax-m3): -6.6 % (IC [-0.034, +0.051]). Media geométrica frente a ese modelo: -130.2 %; frente al mejor a posteriori (minimax-m3): -130.2 % (IC [+0.057, +0.179]). Spearman acuerdo/error del consenso -0.77 (p=4.5e-08); confianza/error -0.07.

Outliers: los 20 mayores fallos

Los outliers nunca se eliminan en silencio. 29 de 1894 respuestas se desvían más de 100× y 48 más de 10× (por modelo: {"deepseek-v4p1-flash": 2, "glm-5p3": 0, "glm-5p3-flash": 1, "gpt-oss-120b": 1, "inkling": 0, "kimi-k3": 0, "minimax-m3": 0, "nemotron-3-ultra-nvfp4": 0, "nemotron-lightning-3p5-30b-a3b": 43, "qwen3p8-max": 1}).

Significación estadística

Todas las comparaciones están pareadas por pregunta. Diferencia = error(A) − error(B) (negativa = A mejor); IC = bootstrap pareado al 95 %; corrección de Holm dentro de cada familia de comparaciones.

Limitaciones

• La memorización domina el dataset principal. El 66 % de las respuestas quedó a menos de un 0.1 % de la referencia. Las etiquetas "estimación" y "Fermi" se asignaron a priori y resultaron optimistas. El bloque long-tail es una prueba más limpia, pero pequeña (36 preguntas, 6 modelos, sin Kimi K3, Inkling ni Qwen 3.8 Max).
• Modelos distintos no implican independencia estadística: comparten datos de entrenamiento (Wikipedia, Common Crawl), y algunos derivan de bases relacionadas (GLM-5.3 / GLM-5.3 Flash, los dos Nemotron; Ember-1 es un post-entrenamiento de Kimi K3).
• Todos los modelos los sirvió un único proveedor de inferencia (Fireworks AI); la cuantización y el serving pueden influir en las respuestas.
• Ground truth: transcrito de las fuentes por el autor del estudio; se comprobaron en vivo 24. Las referencias de Fermi son estimaciones publicadas con gran incertidumbre; los valores long-tail vienen de Wikidata (curado colectivamente, con referencias).
• Sesgo en la selección de preguntas: las escribió un único autor y favorecen hechos bien documentados.
• Tamaño de muestra: 197 preguntas principales (TEST n=39); las conclusiones en TEST tienen intervalos amplios.
• Inkling no respondió al 35 % de las preguntas dentro del tope común de 400 tokens (razonamiento oculto), lo que también reduce su peso en todas las multitudes.
• En 4 modelos no se pudo desactivar el thinking (se usó el esfuerzo mínimo). La temperatura 0.7 y el serving no determinista limitan la reproducibilidad exacta. Los modelos disponibles y sus precios cambian con el tiempo (se guardó un snapshot del catálogo).
• El coste por modelo se calcula con los precios publicados × los tokens reportados, ignorando los descuentos por input cacheado (es decir, de forma conservadora).

Conclusiones

1. CONFIRMADA H1: Mediana de la multitud frente al individuo medio (todas las preguntas): mediana 0.002 frente a individuo medio 0.101 de |error log10| medio (diferencia -0.098, IC95 [-0.125, -0.074], cambio relativo +97.6 %, Wilcoxon p=6.8e-28, p de Holm=1.43e-26, r rango-biserial=-0.96, n=197).
2. APOYO DÉBIL H2: Mediana de todos los modelos frente al mejor individuo (todas las preguntas): mediana 0.002 frente a glm-5p3 0.003 de |error log10| medio (diferencia -0.001, IC95 [-0.002, +0.001], cambio relativo +20.6 %, Wilcoxon p=0.00236, p de Holm=0.0165, r rango-biserial=-0.48, n=197).
3. CONFIRMADA H3: Mediana frente a media: mediana 0.002 frente a media 0.172 de |error log10| medio (diferencia -0.169, IC95 [-0.267, -0.091], cambio relativo +98.6 %, Wilcoxon p=4.56e-25, p de Holm=8.21e-24, r rango-biserial=-0.91, n=197).
4. NO CONFIRMADA H4: Parejas de modelos: promediar dos modelos de familias distintas eliminó de media un -10.5 % del |error log| medio de sus miembros, frente a un -7.0 % en las parejas de la misma familia (glm-5p3 + glm-5p3-flash, nemotron-3-ultra-nvfp4 + nemotron-lightning-3p5-30b-a3b); diversity score 39.6 frente a 50.1.
5. NO CONFIRMADA H5: En los 792 subconjuntos de 3 a 6 modelos (diversidad y calidad de los miembros medidas en train+validación; error de la multitud en TEST): efecto estandarizado del error medio de los miembros beta=+0.99 (R² por sí solo 0.99) frente a diversidad beta=+0.00 (R² por sí sola 0.05).
6. CONFIRMADA H6: Modelos de la mitad inferior en precisión individual cuya contribución marginal media es positiva con un IC95 por encima de cero: deepseek-v4p1-flash, glm-5p3-flash, gpt-oss-120b, qwen3p8-max.
7. CONFIRMADA H7: Multitud con mediana: a partir de k*=4 modelos, cada modelo adicional aporta menos del 5 % de la mejora total (mejora total de 1 a N modelos: 0.094 de |error log10| medio).
8. CONFIRMADA H8: Spearman(Agreement Score, error del consenso) = -0.54 (p=1.3e-16, fuerte).
9. CONFIRMADA H9: Spearman global(confianza, |error log|) = -0.30 (p=3.3e-40, débil); confianza declarada media 87 frente a una tasa real de acierto (dentro del 25 %) del 94 % → bien calibrado.
10. NO CONFIRMADA H10: Comparación controlada: glm-5p3-flash + 3 otros 0.009 frente a 4x glm-5p3-flash 0.007 de |error log10| medio (diferencia +0.002, IC95 [-0.004, +0.008], cambio relativo -31.9 %, Wilcoxon p=2.91e-05, p de Holm=0.000291, r rango-biserial=+0.42, n=197).
11. NO CONFIRMADA GRUPOS: Todas las preguntas: Diversos-5 0.003 frente a Fuertes-5 0.002 de |error log10| medio (diferencia +0.001, IC95 [-0.000, +0.001], cambio relativo -23.4 %, Wilcoxon p=0.175, p de Holm=0.349, r rango-biserial=+0.22, n=197).
12. HOMOGÉNEO CATEGORÍAS: La mediana supera al individuo medio con un IC que excluye el 0 en 12/12 categorías (demografía, economía, energía, objetos cotidianos, Fermi, geografía, naturaleza, física, espacio, deportes, tecnología, transporte); estimación puntual peor que el individuo medio en: ninguna.
13. multitud CONFIRMADA / supermultitud APOYO DÉBIL FOCO: Estimación+Fermi: frente al individuo medio, mediana 0.003 frente a individuo medio 0.100 de |error log10| medio (diferencia -0.097, IC95 [-0.129, -0.069], cambio relativo +96.9 %, Wilcoxon p=6.73e-20, p de Holm=9.43e-19, r rango-biserial=-0.97, n=127); frente al mejor individuo, mediana 0.003 frente a glm-5p3 0.004 de |error log10| medio (diferencia -0.001, IC95 [-0.002, +0.001], cambio relativo +17.1 %, Wilcoxon p=0.00366, p de Holm=0.0219, r rango-biserial=-0.56, n=127).
14. multitud CONFIRMADA / supermultitud (mediana) APOYO DÉBIL / supermultitud (media geom.) REFUTADA DISPUTADAS: 114 de 197 preguntas (58 %) están disputadas (las respuestas abarcan más de un factor 1.1).
15. multitud CONFIRMADA / supermultitud (mediana) NO CONFIRMADA / supermultitud (media geom.) REFUTADA LONG-TAIL: 36 preguntas sobre entidades poco conocidas × 6 modelos; solo el 23 % de las respuestas quedó a menos de un 1 % de la verdad (estimación real).
16. principal APOYO DÉBIL / long-tail NO CONFIRMADA COSTE: Dataset principal: ninguna de las 1013 multitudes iguala estrictamente a glm-5p3 costando menos (338 lo igualan, pero todas lo incluyen o, en conjunto, cuestan más que él).
17. HETEROGÉNEO ESTABILIDAD: Al remuestrear las preguntas, glm-5p3 es el mejor en el 79 % de los casos (kimi-k3 17 %, qwen3p8-max 2 %).

Hallazgo más interesante (seleccionado por una regla de conclusions.py): La regla de agregación importa más que la multitud: la media aritmética de 10 modelos fue un 71 % peor que el modelo individual medio, mientras que la mediana fue un 98 % mejor y quedó aproximadamente a la par del mejor modelo (glm-5p3; +21 %, ver H2 para el IC). En cantidades realmente no memorizadas, la mediana siguió superando al modelo medio en un 66 %, pero no al mejor (minimax-m3: -5 %).