El banco de pruebas abierto de WhatIfWe
¿Puede la IA razonar desde dentro de una tradición, y hacer algo más que tomar prestado su vocabulario?
La primera prueba del programa de WhatIfWe, pensada para ser abierta, reproducible y evaluada por las propias tradiciones. Su respuesta importa a todos los que construyen IA, y a cada tradición que el mundo leerá cada vez más a través de ella.
Por qué esta pregunta
Un estudio de 2026 puso a prueba modelos de lenguaje con dilemas éticos de contextos indígenas y describió lo que llama «ilusión de personaje», o máscara cultural: los modelos adoptan en la superficie una voz indígena pero acaban en conclusiones individualistas. Señala una distancia entre conocer los valores de una tradición y razonar desde ellos (Pegah Merrikhi, Research Square, mayo de 2026, una prepublicación aún sin revisión por pares). Otros trabajos apuntan en la misma dirección. Agarwal y colaboradores, de Cornell y Microsoft Research, comprobaron que una persona estadounidense media se acercaba más a los valores culturales de la India que cualquiera de los modelos entrenados para la India que evaluaron, y que las estrategias de instrucciones no mejoraban de forma significativa esa alineación (prepublicación de 2025). Si unas instrucciones mejores pueden cerrar esa distancia es justo lo que pone a prueba la segunda condición más abajo.
La respuesta habitual es preguntar a más personas en más países. Eso cambia qué preferencias entran en un sistema. La ilusión de personaje trata de otra cosa: de si el sistema puede sostener la lógica propia de un marco lo bastante bien como para razonar dentro de él. A medida que más parte del mundo piensa a través de la IA, esa capacidad decide si la IA amplía la manera de pensar de la humanidad o la estrecha. Una prepublicación de 2025 concluye que la diversidad entre modelos frena este tipo de colapso del conocimiento, hasta un nivel óptimo (Hodel y West, Universidad de Washington).
El diseño
El banco de pruebas plantea problemas reales a tres tipos de sistema, eligiendo problemas en los que se sabe que las tradiciones razonan de forma distinta.
- Agentes con base en cada tradición. Cada agente se apoya solo en el material de su propia tradición, guardado en su propio almacén, y tiene que citar los pasajes que usa. La separación está construida en el propio sistema: un agente no puede acceder en absoluto al material de otra tradición.
- Un solo modelo, al que se pide hablar como cada tradición por turnos.
- Un solo modelo, al que se pide responder por todas las tradiciones a la vez.
Después, practicantes de cada tradición leen las respuestas sin saber qué sistema las produjo. Juzgan si reconocen en cada respuesta el razonamiento de su propia tradición, y si razona desde dentro de ella o solo usa sus palabras.
La pregunta que responde el banco de pruebas es si los agentes con base en cada tradición son reconocidos como su tradición más a menudo que un solo modelo al que se pide hacer el papel.
En abierto
- Los problemas, la manera de invitar a quienes juzgan y el análisis se registran antes de ver ningún resultado.
- Los resultados se publican muestren lo que muestren: con qué frecuencia se reconoce a cada sistema, cuántas personas juzgaron en cada tradición y el tamaño y la confianza de cada efecto.
- Se publica el conjunto completo de problemas para que cualquiera pueda repetir el banco de pruebas.
- Solo necesita textos publicados, usados con permiso. No se pide material nuevo a ninguna comunidad.
- Es también la primera puerta del proyecto. Si los agentes con base en cada tradición no son reconocidos más a menudo que un solo modelo con instrucciones, el programa se detiene ahí, y publicamos ese resultado.
Lo que significa para las tradiciones
Las tradiciones juzgan. Qué es fiel a una tradición lo deciden personas formadas en ella, nunca un modelo y nunca nosotros. Cada pasaje que usa un agente va citado, así que cada respuesta lleva sus fuentes. Sea cual sea el resultado, cada tradición sabrá algo que tiene derecho a saber: con cuánta fidelidad la está leyendo la IA.
A dónde lleva
Si cada tradición sigue siendo reconocible cuando su agente se apoya en su propio material, eso se convierte en el cimiento del resto del sistema: un foro mundial abierto donde las personas participan desde su propia tradición, grupos de larga duración que trabajan en profundidad y un solo registro que crece. Lo que construiremos expone el diseño completo. Cómo lo probaremos describe la segunda prueba, que pregunta si las personas que trabajan juntas entre tradiciones llegan más lejos que esas mismas personas trabajando por separado.
Ayúdanos a diseñarlo
Estas son las preguntas que queremos resolver con nuestros socios antes de poner en marcha el banco de pruebas:
- ¿Qué tradiciones debería incluir la primera ronda, y qué problemas sirven bien como prueba?
- ¿Cuántas personas deben juzgar en cada tradición, y cómo invitarlas para que el juicio sea justo y reconocido por la tradición?
- ¿Con qué licencia deberían publicarse los problemas y el código?
- ¿Qué modelos deberían ponerse a prueba? ¿Debería el agente de cada tradición funcionar con un modelo base distinto, y deberían ser modelos abiertos, que se puedan volver a entrenar y que cualquiera pueda reproducir?
Buscamos equipos de investigación en evaluación y sistemas multiagente, laboratorios de IA que puedan ofrecer acceso a modelos y capacidad de cómputo, practicantes dispuestos a elegir problemas y a juzgar, y socios que alojen el banco de pruebas en abierto. El diseño completo se expone en un documento de trabajo en inglés, Can AI reason from inside a tradition? A preregistered benchmark for tradition fidelity in language models (Zenodo, doi:10.5281/zenodo.23979452), y también en GitHub, donde cualquiera puede abrir una propuesta para sugerir un problema, cuestionar el diseño o revisarlo desde dentro de una tradición. Para laboratorios de IA y financiadores explica cómo encaja con prioridades más amplias.