Prism Arena no es una tabla de posiciones

Prism Arena no se limita a pedir una explicación de una escena 3D. Entrega a cada contendiente el mismo paquete de tareas en lenguaje natural y exige un artefacto JSON SceneSpec v1. Ese artefacto debe pasar la validación, ejecutarse en el runtime compartido, renderizarse en fotogramas inspeccionables y someterse a una revisión ciega con rúbrica. Por tanto, el objeto medido no es solo la respuesta. También incluye el canal de entrega, el validador, la regla de selección de ejecuciones registradas, el renderizador, la ruta de captura y el panel de jueces.

El corpus completo es explícito: once modelos por diez tareas por dos ejecuciones registradas produjeron 220 ejecuciones. Una ejecución podía reintentar una invocación OMP fallida; ese reintento interno no se conservó, así que la confiabilidad se mide por ejecución registrada y no por llamada al proveedor. La exportación registra 203 ejecuciones válidas y 17 inválidas. Cuatro jueces calificaron la ejecución seleccionada de cada una de las 110 celdas modelo-tarea, lo que produjo 440 juicios. Las 110 celdas están completamente evaluadas. Esos conteos establecen cobertura. No convierten el orden resultante en una afirmación sobre todas las tareas que un modelo podría realizar.

La distinción importa porque el arnés falló de maneras que parecían comportamiento del modelo. Una ruta de proveedor podía contestar una prueba mínima y rechazar la tarea real. Un modelo que usaba herramientas podía entregar el artefacto correcto en un archivo mientras el canal de respuesta contenía solo un resumen. Un proceso de captura podía mostrar una escena plausible de la ejecución equivocada. Ninguna de esas fallas vive dentro de los pesos del modelo, pero cada una puede cambiar una puntuación si el benchmark no trata el sistema circundante como parte del instrumento.

SceneSpec v1 es el contrato común. Antes de que una entrega llegue a un juez, el esquema revisa geometría, materiales, luces, una línea de tiempo ordenada de dos a ocho fases y la aritmética de intervalos que mantiene cada acción dentro de su fase. Si una respuesta describe la escena correcta pero omite un campo obligatorio, la intención no subsana la omisión. El artefacto es inválido. En este benchmark, la validez es un requisito de entrada, no una dimensión calificada.

Después, cada artefacto válido entra al mismo runtime de React Three Fiber, con Anime.js como único sistema de movimiento. Esa ruta compartida elimina una fuente importante de variación: los contendientes no aportan su propio renderizador, shaders, motor de física ni biblioteca de animación. La comparación pregunta qué puede expresar cada modelo mediante el mismo lenguaje restringido de escenas y qué produce ese lenguaje cuando lo ejecuta el mismo código.

El runtime compartido también limita lo que puede concluirse. Prism Arena mide competencia espacial, material y temporal constructiva dentro de SceneSpec y este renderizador. No mide desarrollo 3D sin restricciones. La puntuación principal es la media del panel sobre diez tareas, cada una calificada sobre veinte. El selector envía al panel la primera ejecución registrada válida de cada celda; si ninguna de las dos valida, envía la primera inválida en vez de asignar un cero automático. En la única celda con dos ejecuciones inválidas, los cuatro jueces dieron cero al artefacto seleccionado. La tasa de validez por ejecución registrada conserva la información de confiabilidad que la selección del mejor de dos por validez ocultaría.

El primer factor de confusión apareció en el canal. Cuando había una herramienta de escritura disponible, los modelos agénticos guardaron el SceneSpec solicitado en un archivo y devolvieron un resumen en prosa. Un analizador que solo veía la respuesta marcaba entonces la ejecución como malformada. El artefacto solicitado existía, pero el arnés había buscado en el lugar equivocado. Penalizar esa conducta habría medido compatibilidad con un canal de retorno, no construcción de escenas.

La corrección fue aplicar un canal uniforme: todos los contendientes corrieron con tools, skills y rules deshabilitados. Esa elección no revela el máximo rendimiento agéntico de un modelo. Aísla la capacidad que este corpus quería comparar: producir el SceneSpec completo en la respuesta que consume el validador. Otro benchmark podría permitir archivos y herramientas, pero tendría que recolectar y validar esos artefactos para cada contendiente bajo el mismo contrato.

El acceso al proveedor creó una segunda falla de canal. Una ruta pasó una prueba de una sola línea y después devolvió `Model not found` en cada generación real. La prueba útil envió la tarea real y validó el contrato real. Las fallas de transporte se clasificaron entonces como fallas reintentables del proveedor, no como ceros publicados del modelo. La salud de la ruta, el acceso a herramientas, las instrucciones de sistema y la recolección del artefacto son variables experimentales aunque parezcan infraestructura.

Los jueces normalmente reciben el SceneSpec y dos fotogramas renderizados por contendiente. En una versión temprana del flujo, la captura seguía la arena interactiva, que mostraba la ejecución más reciente, mientras los jueces seleccionaban la primera ejecución válida o, si ninguna validaba, la primera inválida. Las reglas eran razonables por separado e incompatibles en conjunto. Captura y puntuación discreparon en 100 de 110 celdas modelo-tarea.

Nada se rompió. Los fotogramas parecían legítimos porque procedían de entregas reales, pero no siempre mostraban el artefacto bajo revisión. Cada componente funcionaba por separado mientras el sistema combinado perdía la identidad del artefacto. Una captura no sirve como evidencia si no conserva la procedencia hasta la ejecución exacta seleccionada para puntuar.

Ahora la captura y el juicio derivan la ejecución de una sola regla compartida de selección. La URL de la arena fija la ejecución seleccionada, y su identificador se guarda con el fotograma capturado para impedir la reutilización silenciosa de evidencia obsoleta. Los fotogramas son todo o nada dentro de un lote de evaluación: si a cualquier contendiente le falta el conjunto completo de fotogramas configurados, el lote pasa a evaluación solo con JSON en vez de dar evidencia visual a unos y a otros no.

El panel reúne cuatro jueces que también son modelos contendientes y abarca tres familias. Los nombres de los contendientes permanecen ocultos. Tres jueces reciben una configuración explícita de esfuerzo de razonamiento alto; Gemini 3.6 Flash lleva el esfuerzo en el nombre de la ruta y no acepta un parámetro independiente. La diversidad de familias amplía la referencia leave-one-out, pero no elimina la autopreferencia. El cegamiento tampoco crea una verdad independiente ni condiciones de evaluación perfectamente igualadas.

La advertencia más clara vino de la redundancia de jueces. En un subconjunto de 59 ejecuciones seleccionadas, los dos jueces de la misma familia tenían una correlación residual de 0.502, comparada con 0.114 para un control entre familias. Esa brecha de 4.4× parecía una razón para eliminar a uno de ellos. En el corpus completo de 110 ejecuciones seleccionadas, la misma comparación fue 0.559 contra 0.520: una diferencia de 0.039 que no justificaba eliminar un juez. El panel se mantuvo en cuatro. El resultado parcial servía para monitorear, no para rediseñar el experimento.

La autopreferencia necesita el mismo control. Los promedios brutos por familia sugerían que los dos jueces de Anthropic puntuaban a los contendientes de Anthropic 0.9 y 0.7 puntos por encima de los demás, pero esa comparación mezcla el comportamiento del juez con la calidad del contendiente. Los residuales del juez sobre su propio modelo fueron −0.37 para Claude Opus 5, −1.10 para GPT-5.6 Sol, +0.50 para Claude Fable 5 y −0.43 para Gemini 3.6 Flash. Variaron entre −1.10 y +0.50 y cambiaron de signo entre jueces. Estos residuales sobre el modelo propio son más estrechos que una comparación por familia, así que no demuestran que la autopreferencia esté ausente. Demuestran que los promedios brutos por familia no bastan.

La referencia residual está formada por otros jueces que tampoco son neutrales por familia. El corpus solo tiene dos ejecuciones registradas por celda, el panel no tiene un conjunto de calibración humana y el esfuerzo no puede configurarse de forma idéntica entre proveedores. Por eso estos límites acompañan las puntuaciones.

El orden del corpus completo es más defendible que el intermedio porque las 110 celdas modelo-tarea esperadas tienen ejecuciones registradas y las 110 están completamente evaluadas bajo una sola versión de arnés y una sola versión de juez. Aun así es provisional. Las diez tareas son una muestra limitada de síntesis de escenas y movimiento bajo restricciones, y dos ejecuciones registradas por celda son demasiado pocas para obtener intervalos de confianza sobre el orden. No afirmamos significancia estadística.

Una puntuación principal resume una oración más larga: bajo este canal limitado a la respuesta, los artefactos seleccionados del modelo en estas diez tareas SceneSpec fueron renderizados por este runtime de React Three Fiber y Anime.js y puntuados por estos cuatro jueces con esta rúbrica en julio de 2026. Si se elimina alguna condición, el número empieza a describir otro experimento.

Este resultado acotado permite elegir artefactos para inspección, ver qué tareas separan modelos, detectar fallas de esquema que merecen una política de reintentos y localizar desacuerdos entre jueces para revisión humana. No establece que un modelo sea universalmente mejor en código, razonamiento espacial, diseño o trabajo agéntico. La siguiente versión debería elevar las ejecuciones registradas de dos a por lo menos cinco, reportar confiabilidad por dimensión de la rúbrica, agregar un estudio estratificado con evaluadores humanos y modelar la variación entre tareas, ejecuciones y jueces en lugar de publicar un orden estricto cuando se solape la incertidumbre.