Un solo modelo no alcanza
Medimos a seis lectores de IA contra la firma de una persona sobre las señales públicas del laboratorio. Este es el primer informe.
Cómo se midió
Datos al 11 de noviembre de 2026.
Cada señal pública del laboratorio la leen seis modelos distintos, con el mismo texto y la misma pregunta: ¿la cita textual de la fuente respalda el hecho? Pueden responder Respalda, No respalda o No alcanza para decidir. Después, una persona firma su propia lectura.
Al momento del informe, 111 señales tienen lecturas del panel y 71 tienen además la firma de una persona. Esas 71 son casos donde el panel se dividió, no una muestra al azar de las noticias.
El porcentaje crudo de coincidencia engaña. Un script que dijera siempre Respalda coincidiría con la persona el 49,3 % de las veces sin leer nada. Por eso miramos además cuánto coincide cada lector cuando la persona sí decidió, y cuánto coincide una vez descontado el azar.
Dudar mucho no es leer mejor
Los tres lectores comerciales (Claude Haiku, Claude Sonnet y Muse Ember) responden que no alcanza para decidir entre el 77 % y el 79 % de las veces. Cuando la persona sí tomó partido, coinciden con ella solo entre el 15 % y el 17 %.
Llama 3.1 8B hace lo opuesto: responde Respalda en el 98 % de las lecturas. Su coincidencia cruda parece buena porque la persona también dijo Respalda en muchas señales, no porque lea mejor.
Decir siempre que sí no es entender el texto
Un lector que responde Respalda a casi todo coincide con la persona cada vez que la persona también dijo Respalda, y eso no es leer bien. Llama 3.1 8B responde Respalda en el 98 % de las lecturas. Descontando el azar, CLM-8B es el lector que más coincide con la persona (0,35) y Llama 3.1 8B queda en 0,01.
Ningún lector coincide del todo con la persona. Por eso el laboratorio no confía en uno solo: cada lector se mide contra una persona, con el mismo texto y la misma pregunta, y recién después se decide para qué sirve.
Qué lector mide mejor en cada tipo de señal
Son pocas señales firmadas por categoría. Se lee como una orientación, no como una asignación definitiva.
| Tipos de señal | Señales firmadas | Lector con mejor desempeño |
|---|---|---|
| Litigios, Conflictos laborales, Cadena de suministro y geopolítica, Daño ambiental y ESG, Cambio regulatorio | 68 | CLM-8B |
Sin muestra suficiente todavía: Crisis de reputación, Boicot de consumidores.
Límites de esta medición
- Las señales firmadas por una persona son casi todas casos donde el panel se dividió. No son una muestra al azar de las noticias.
- Uno de los lectores de pesos abiertos se ajustó mirando estas mismas firmas. Su cifra es optimista y no se compara de igual a igual con la de los demás.
- Con pocas señales por categoría, el mejor lector de cada una puede cambiar al sumar casos.
Qué significa esto
Delegar la lectura de señales en una sola IA es operar a ciegas. Con un solo modelo no hay con qué comparar: no se sabe cuántas veces duda ni en qué casos se equivoca. REVsign mide a cada lector contra una persona y deja a la vista cada lectura, para que cada señal la lea el modelo que mejor la mide.