Jev: no todas las decisiones necesitan una conversación

Hay llamadas a un modelo de lenguaje cuyo resultado útil cabe en una palabra: facturación, soporte, ventas. O en una respuesta binaria. O en un nivel de una rúbrica.

Sin embargo, a menudo las tratamos como pequeñas conversaciones: escribimos instrucciones, pedimos un formato, recibimos texto y lo convertimos en una señal que el programa pueda utilizar. Las salidas estructuradas han reducido mucho ese trabajo. Pero queda una pregunta anterior: ¿necesitábamos un modelo conversacional para esa decisión?

Esa es la pregunta interesante detrás de Jev, el modelo de TypeSafe AI. No si reemplaza al agente generalista, sino qué parte de su trabajo podría dejar de pasar por él.

Jev recibe un estado —texto o datos estructurados— y preguntas tipadas. Devuelve respuestas mediante tres primitivas: Choice, para elegir entre opciones; Noul, para una pregunta binaria expresada como un valor entre cero y uno; y Score, para una rúbrica ordenada.

El espacio de respuesta se define antes de llamar al modelo. No estamos pidiendo un párrafo para interpretar después, sino una señal que el programa ya sabe consumir.

TypeSafe presenta esto como una familia de modelos «System One» y publica grandes ventajas de velocidad y coste en sus propios workflows. Son resultados del proveedor, con sus tareas, comparadores y referencias. No los hemos reproducido.

Tampoco conviene confundir la propuesta con una propiedad exclusiva: un LLM con generación restringida también puede producir salidas que respeten un esquema. Lo que merece evaluarse aquí es la combinación de interfaz, calidad de decisión, latencia y coste.

Ejecutamos 192 solicitudes experimentales contra la versión fijada jev-1.13.0, además de una comprobación inicial de acceso. Todas las solicitudes experimentales respondieron correctamente a nivel HTTP y devolvieron 604 respuestas tipadas, sin errores detectados de forma, claves, tipos o rango.

El núcleo de la prueba fueron doce tickets sencillos, cada uno en inglés y español. Jev acertó las 24 rutas y las 24 respuestas binarias sobre facturación.

Después cambiamos el orden de opciones, añadimos ruido, introdujimos instrucciones que intentaban desviar la clasificación y probamos textos que aseguraban que otro sistema ya había asignado una categoría equivocada. También incluimos controles sin defensa explícita contra esas instrucciones. No encontramos una clasificación de ruta incorrecta en esas variantes.

Esto es una observación favorable, no una certificación de robustez. Las perturbaciones fueron en inglés; las traducciones, repeticiones y variantes procedían de un conjunto pequeño. No son cientos de ejemplos independientes de producción. Tampoco evaluamos la corrección subjetiva de cada puntuación de urgencia.

En solicitudes con una, cinco y veinte preguntas cortas, las medianas de latencia de extremo a extremo fueron 290, 278 y 299 milisegundos, respectivamente. Ocho solicitudes por configuración: suficiente para describir lo ocurrido, insuficiente para prometer una cola de latencia o un SLA.

Las 193 llamadas, incluida la inicial, costarían aproximadamente USD 0,00454 a la tarifa publicada y según los tokens registrados. Es una estimación del uso de Jev, no una factura ni el coste de toda la investigación. No ejecutamos un comparador LLM propio, así que no podemos convertir esa cifra en un multiplicador de ahorro.

Uno de los ejemplos más útiles no fue un ataque sofisticado. Fue este mensaje:

I have a problem.

Con una salida de escape, Jev eligió other. Cuando cambiamos las instrucciones para obligarlo a elegir entre facturación, soporte técnico y ventas, seleccionó technical con confidence = 1,0.

No incumplió las instrucciones: le habíamos ordenado escoger incluso si ninguna categoría encajaba. Tampoco es una prueba aislada de descalibración, porque cambiamos simultáneamente las opciones y la instrucción.

La lección es de diseño: una respuesta válida y una confianza alta no compensan un contrato que obliga a decidir sin información suficiente.

Si el sistema necesita poder decir «no tengo suficiente información», esa posibilidad debe existir en la política de decisión. No basta con esperar que el modelo la invente dentro de un conjunto cerrado que la excluye.

Aquí importa distinguir tres cosas: la distribución que devuelve el modelo, el campo confidence que resume una propiedad de esa distribución y la frecuencia con la que sus decisiones resultan correctas.

No son intercambiables.

Una investigación externa de log·entropy encontró que el confidence de Choice es compatible con un reescalado de la probabilidad máxima que depende del número de opciones. Nuestras respuestas también fueron compatibles con esa relación en una comprobación exploratoria posterior. Eso no demuestra la implementación interna ni convierte el número en una probabilidad de acierto.

La evidencia de calibración más útil viene de evaluar predicciones contra etiquetas. Anthus publicó un estudio con 8.801 ejemplos construidos de sentimiento y una separación entre datos de calibración y prueba. Reportó que la regresión isotónica redujo el error de calibración del Noul de 0,117 a 0,008 en su conjunto de prueba.

Es un resultado prometedor: hay una señal que puede aprovecharse. También tiene límites importantes. Es un solo dominio construido, incluye un estrato con etiquetas deliberadamente arbitrarias y trabaja con las probabilidades, no con el campo confidence como si fuera probabilidad de acierto. No establece un umbral universal para otros sistemas.

Un segundo piloto, de 300 ejemplos, encontró que Jev superaba a GLiNER en noticias y banca, pero obtenía 48 % de precisión en clasificación de emociones, con peor calidad probabilística que el comparador. Sus umbrales de cobertura se seleccionaron y evaluaron en la misma muestra: describen el piloto, no una política validada para producción.

La conclusión no es que Jev sea fiable o poco fiable en abstracto. Es que la tarea, la formulación y los datos siguen formando parte del clasificador que estamos evaluando.

También observamos diferencias que una integración podría pasar por alto.

La probabilidad de facturación en Choice y el Noul sobre facturación llegaron a diferir en 0,33. Las rutas se mantuvieron estables entre repeticiones, pero algunos Score cambiaron hasta 0,06. Y dieciséis respuestas Score difirieron en 0,01 de la esperanza calculada con las probabilidades devueltas: compatible con redondeo separado, aunque no demostramos la causa.

No presentamos esas observaciones como errores de tipo. La documentación de Jev advierte que no deben esperarse identidades entre preguntas evaluadas de forma independiente. Los flags numéricos originales se conservaron en los resultados.

La consecuencia práctica es sencilla: si el programa necesita una igualdad exacta, un cálculo o una regla determinista, debe ejecutarlos en código. No pedirle al modelo varias formulaciones y asumir que cerrarán algebraicamente.

La oportunidad de Jev no necesita la promesa de reemplazar al agente completo.

Un sistema puede usarlo para proponer una ruta, valorar un texto según una rúbrica o detectar una condición semántica. Después, el código puede comprobar requisitos deterministas, decidir cuándo abstenerse y limitar las acciones permitidas. Los casos que requieran más contexto, herramientas o interacción pueden escalar a otro componente.

Eso no elimina la evaluación. La desplaza hacia una unidad más concreta: versión del modelo, pregunta, opciones, datos, umbral y política de actuación. Cambiar una de esas piezas puede requerir volver a medir.

Nuestros resultados justifican explorar esa integración. No justifican afirmar que Jev nunca se equivoca, que resiste cualquier instrucción adversarial o que su confianza viene calibrada para cualquier uso.

No todas las decisiones necesitan una conversación. Todas las decisiones que importan necesitan un contrato adecuado, evidencia sobre sus errores y límites sobre sus consecuencias.

La investigación incluyó un panel inicial de Gemini, DeepSeek y Kimi mediante Command Code. Sus objeciones modificaron el protocolo. La revisión posterior de los resultados se completó con GLM-5.3 y GLM-5.2 mediante ZAI cuando el proveedor inicial agotó su cuota. Estos dos últimos pertenecen a la misma familia. Se verificaron los modelos efectivos; el acuerdo entre agentes no se utilizó como prueba.

El protocolo principal de 120 solicitudes se fijó antes de las respuestas. Un suplemento de 72 se registró después de iniciar la primera corrida, pero antes de inspeccionar sus resultados, para controlar el número de preguntas, la presencia de defensa explícita y el autoetiquetado engañoso. No añadimos llamadas después de observar los resultados para perseguir un fallo. Las solicitudes fueron seriales y sin reintentos.

Los protocolos, respuestas, analizador, hashes y correcciones del debate se conservaron como evidencia local de la investigación. Las mediciones de terceros citadas se revisaron documentalmente, no se replicaron.