ActTraitBench es un preprint de 11 páginas, arXiv:2605.29791v1, enviado el 28 de mayo de 2026 por Yutong Yang, Chenxi Miao, Weikang Li y Yunfang Wu bajo CC BY 4.0. La auditoría revisó visualmente las 11 páginas, el TeX completo y el repositorio público aparente del proyecto, y ejecutó offline los análisis sin llamar a APIs de modelos. El trabajo intenta medir una brecha entre lo que un LLM declara sobre su personalidad y lo que decide en micro-situaciones. K es la puntuación explícita del BFI-2; D es la puntuación que GPT-5.4 asigna a la respuesta y justificación del modelo en escenarios conductuales chinos, transformada mediante quantile mapping al rango de la faceta BFI humana. G_KD promedia, por run y luego entre tres runs, el error cuadrático K-D de los cinco dominios Big Five. Para construir las tareas, 94 participantes chinos completaron el BFI-2 y escenarios con respuesta numérica o textual más una justificación. Los autores calcularon Spearman entre cada escenario y su faceta BFI, revisaron escenarios no significativos y los desplegaron de nuevo durante tres rondas; por eso algunas facetas tienen N=94 y otras N=47. Retienen once correlaciones con p sin corregir menor que 0,05: sociabilidad 0,526, asertividad 0,355, productividad 0,543, organización 0,411, curiosidad 0,356, sensibilidad estética 0,406, depresión 0,325, volatilidad emocional 0,300, ansiedad 0,322, compasión 0,276 y confianza 0,209. Después evalúan catorce etiquetas de modelo de las familias DeepSeek y Qwen, Claude Sonnet 4-6, Gemini 3.1 Pro Preview, GPT-4o, GLM-5 y MiniMax-M2.5. La tabla principal sí puede reproducirse exactamente con el código y datos liberados: el baseline humano obtiene G_KD=0,445; qwen3-1.7b 0,189, qwen3-8b 0,234 y GPT-4o 0,283, mientras qwen3-235b llega a 1,541, GLM-5 a 1,789, Gemini a 1,834 y MiniMax a 2,170. El artículo interpreta los gaps pequeños de modelos ligeros como neutralidad y los grandes de modelos avanzados como paradoja de escalado. Un segundo experimento pide adoptar perfiles de rasgo alto, target 4, o bajo, target 2; en numerosos modelos D se aleja más del target que K, aunque no siempre y sin inferencia estadística. Finalmente propone Chain of Cognitive Alignment, CoCA: una reflexión JSON con Who am I, Where am I y What should I do antes de decidir. El artículo dice que la media de G_KD baja de 1,130 a 0,893 y habla de una mejora cercana al 17%, con empeoramiento en qwen3-8b. La validación humana, sin embargo, es in-sample: las mismas 94 personas sirven para rediseñar y seleccionar escenarios, estimar correlaciones, construir la calibración y calcular el baseline humano; no hay cohorte held-out. Recalculando los quince tests disponibles, la corrección Benjamini-Hochberg retiene nueve, no once: confianza y volatilidad emocional quedan en p ajustada aproximada 0,0586. Además, K y D no cubren el mismo contenido. El código calcula K con las quince facetas BFI-2, tres por dominio, pero D solo con las once seleccionadas: dos facetas en E, A, C y O, y tres en N. MiniMax carece de compasión en sus tres runs y el scorer no falla: calcula D de Agreeableness solo con confianza, mientras K conserva tres facetas. El judge GPT-5.4 tampoco se valida contra humanos o jueces alternativos y no se conserva una versión inmutable. Quantile mapping alinea escalas marginales, pero no prueba equivalencia de constructo; el baseline humano se calibra sobre su propia muestra. La paradoja de escalado es descriptiva: no hay parameter counts, regresión dentro de familia, controles de entrenamiento o test de tendencia, y tamaño, arquitectura, proveedor y fecha están confundidos. Interpretar los scores de escenarios artificiales como ansiedad latente o riesgo de despliegue excede la evidencia. La auditoría de CoCA encuentra una contradicción decisiva. El código genera la reflexión antes de mostrar la situación conductual, de modo que Where am I no puede mapear el contexto actual; los outputs guardados hablan del formato JSON o de una situación genérica. Tampoco se pasan las puntuaciones K medidas: cada modelo inventa de nuevo sus rasgos ante cada pregunta. El runner calcula seeds 42, 43 y 44, pero no las transmite a las llamadas de reflexión, pregunta o follow-up, que usan siempre el default 42. No existe control neutral con igual número de tokens, chain-of-thought genérica o prompt sin vocabulario de personalidad, por lo que una mejora puede ser simple instruction following, contexto extra o fuga semántica de K hacia D, no self-awareness. Más importante: la tabla CoCA del artículo no se reproduce con los datos y script publicados. El CSV reproducible da deepseek-v3 0,8062 a 0,6744, qwen3-235b 1,8157 a 1,2593 y MiniMax 2,3190 a 0,8802; el manuscrito imprime 0,270 a 0,190, 2,007 a 1,688 y 2,525 a 1,500. No hay script ni lineage para esos valores. El texto también mezcla dos promedios: el cociente de las medias impresas implica cerca del 21% de reducción, mientras la media de porcentajes por modelo ronda el 17%, y no hay test que permita decir significativamente. El repositorio aporta mucho material útil: datos humanos, 12 tareas retenidas, BFI-2, resultados raw de tres experimentos y scripts. Pero la entrada del experimento de roles falla por importar batch_calculate_scores_v4, que no existe; con un alias manual al módulo multi se ejecuta. Su CSV versionado conserva veinte modelos, seis sin raw data actual. La documentación afirma temperatura 0 en todo, aunque el BFI baseline usa 0,3; un batch apunta a un script v3 inexistente; gpt_calibration_params.json no se usa; faltan tests, lockfile y CI. Los scripts piden pegar API keys en el código y enrutan varios modelos y el juez por api.openai-proxy.org, lo que introduce riesgo de credenciales, privacidad y coste. El repositorio no tiene licencia para código o datos, pese a que el PDF sí es CC BY. Los registros humanos eliminan contacto directo pero publican texto libre, timestamps, duración, 60 respuestas BFI y etiquetas derivadas, con riesgo de reidentificación; el paper describe consentimiento y 20 RMB, pero no identifica revisión o exención ética ni consentimiento específico para compartir datos. La contribución defendible es un benchmark parcialmente reproducible que muestra divergencias entre dos pipelines de output y hace público un corpus humano-modelo valioso. No demuestra personalidad estable, conducta real, ansiedad interna, paradoja causal de escalado ni que CoCA active self-awareness; el headline de CoCA permanece sin reproducción desde el artefacto liberado.
Pregunta de investigación
¿Puede un benchmark de BFI-2 más micro-situaciones humanas medir una brecha entre autodescripción y decisión de LLMs, cómo varía esa brecha entre catorce modelos y puede reducirse con una reflexión estructurada CoCA?