ActTraitBench: Quantifying the Knowledge-Decision Gap in Large Language Models via Human-Grounded Behavioral Validation

ActTraitBench is an eleven-page CC BY 4.0 arXiv preprint that compares explicit BFI-2 self-reports, K, with GPT-5.4-scored answers to Chinese micro-situational tasks, D. Ninety-four Chinese participants supplied the human development data; adaptive replacement leaves some facets at N=47. Eleven scenarios were retained after iterative inspection of uncorrected Spearman correlations. Fourteen model labels are evaluated across three runs, and G_KD is the mean squared K-D discrepancy across the Big Five. The released baseline data and code exactly reproduce the main table, including human G_KD 0.445 and model values from 0.189 to 2.170. The artifact is nevertheless not an independent validation: scenario revision, selection, calibration and human-baseline evaluation reuse the same sample. Benjamini-Hochberg correction across the fifteen available facet tests retains nine rather than eleven. K averages all fifteen BFI-2 facets, while D averages only eleven selected facets, so the two paths do not cover identical content. Missing facets are silently averaged away; MiniMax Agreeableness D uses trust alone because compassion is absent. GPT-5.4 judgment lacks human or alternate-judge validation, and quantile mapping aligns marginal scales without establishing construct equivalence. Claims of a scaling paradox, latent anxiety and deployment risk are descriptive post-hoc interpretations of heterogeneous model and artificial-scenario scores. The most serious problem concerns CoCA. The public code generates Who am I, Where am I and What should I do reflection before the model sees the current situation, does not pass measured K, and fails to propagate run seeds 43 and 44 to behavioral calls. It also lacks neutral token-matched controls. The saved outputs confirm generic reflection about JSON formatting rather than situation mapping. The released comparison script reproduces its committed CSV but not the paper's CoCA table: several model values differ substantially and no lineage is provided. The paper combines a roughly twenty-one-percent ratio of reported means with a roughly seventeen-percent mean of per-model percentages and calls the drop significant without an inferential test. The role-analysis entry point is broken by a missing module import, its committed CSV contains six models without current raw data, documentation disagrees with code about temperature, and the repository has no tests, lockfile, CI, or code/data license. Inference scripts invite users to paste keys into source and use a third-party proxy. Human records omit direct contact fields but release free text, exact timestamps, duration and complete questionnaire profiles without a stated ethics-board identifier or data-sharing consent text. The defensible contribution is a useful, partially reproducible human-model corpus and a baseline output-discrepancy pipeline. It does not establish persistent personality, real behavior, a causal scaling law, internal anxiety, or CoCA-induced self-awareness, and its headline CoCA result is not reproducible from the released artifact.

The human scenario-development details further constrain interpretation. Facet correlations retained by the authors include sociability .526, assertiveness .355, productivity .543, organization .411, curiosity .356, aesthetic sensitivity .406, depression .325, emotional volatility .300, anxiety .322, compassion .276, and trust .209. These are selected after up to three rounds of inspecting and replacing scenarios on the same 94-person sample; some facets use only 47 participants. Recalculation across the fifteen available tests leaves nine rather than eleven after Benjamini-Hochberg correction, with trust and emotional volatility at adjusted p approximately .0586. The role experiment assigns high target 4 or low target 2 and often finds behavioral D farther from the target than explicit K, but provides no inferential analysis. K also averages all fifteen BFI-2 facets while D covers only the eleven selected tasks, two facets in four domains and three in Neuroticism, so G_KD compares pipelines with unequal construct coverage. When a facet is missing, the scorer silently averages what remains; MiniMax Agreeableness D uses trust alone in all three runs.

The released artifact permits a sharper reproducibility boundary. It contains human data, twelve retained task files, BFI-2 materials, raw outputs for three experiments, and scoring scripts, but the role-analysis entry point imports a nonexistent batch_calculate_scores_v4 module and runs only after a manual alias. The versioned results table has twenty model labels although current raw data exist for fourteen. Documentation says temperature zero throughout, while the BFI baseline uses .3; another batch file points to an absent v3 script, and gpt_calibration_params.json is unused. More importantly, committed CoCA data do not reproduce the manuscript table: the artifact gives DeepSeek-v3 .8062→.6744, Qwen3-235B 1.8157→1.2593, and MiniMax 2.3190→.8802, whereas the paper prints .270→.190, 2.007→1.688, and 2.525→1.500. The code generates reflection before presenting the current situation, does not supply measured K, and calculates seeds 42–44 without forwarding 43 or 44 to model calls. Human records release free text, exact timestamps, duration, all 60 BFI responses, and derived labels without a stated ethics-board identifier or specific data-sharing consent. Participants reportedly received 20 RMB. These details strengthen the value of the public corpus while preventing the paper's self-awareness, scaling-paradox, and deployment-risk interpretations from being treated as established results.

ActTraitBench es un preprint de 11 páginas, arXiv:2605.29791v1, enviado el 28 de mayo de 2026 por Yutong Yang, Chenxi Miao, Weikang Li y Yunfang Wu bajo CC BY 4.0. La auditoría revisó visualmente las 11 páginas, el TeX completo y el repositorio público aparente del proyecto, y ejecutó offline los análisis sin llamar a APIs de modelos. El trabajo intenta medir una brecha entre lo que un LLM declara sobre su personalidad y lo que decide en micro-situaciones. K es la puntuación explícita del BFI-2; D es la puntuación que GPT-5.4 asigna a la respuesta y justificación del modelo en escenarios conductuales chinos, transformada mediante quantile mapping al rango de la faceta BFI humana. G_KD promedia, por run y luego entre tres runs, el error cuadrático K-D de los cinco dominios Big Five. Para construir las tareas, 94 participantes chinos completaron el BFI-2 y escenarios con respuesta numérica o textual más una justificación. Los autores calcularon Spearman entre cada escenario y su faceta BFI, revisaron escenarios no significativos y los desplegaron de nuevo durante tres rondas; por eso algunas facetas tienen N=94 y otras N=47. Retienen once correlaciones con p sin corregir menor que 0,05: sociabilidad 0,526, asertividad 0,355, productividad 0,543, organización 0,411, curiosidad 0,356, sensibilidad estética 0,406, depresión 0,325, volatilidad emocional 0,300, ansiedad 0,322, compasión 0,276 y confianza 0,209. Después evalúan catorce etiquetas de modelo de las familias DeepSeek y Qwen, Claude Sonnet 4-6, Gemini 3.1 Pro Preview, GPT-4o, GLM-5 y MiniMax-M2.5. La tabla principal sí puede reproducirse exactamente con el código y datos liberados: el baseline humano obtiene G_KD=0,445; qwen3-1.7b 0,189, qwen3-8b 0,234 y GPT-4o 0,283, mientras qwen3-235b llega a 1,541, GLM-5 a 1,789, Gemini a 1,834 y MiniMax a 2,170. El artículo interpreta los gaps pequeños de modelos ligeros como neutralidad y los grandes de modelos avanzados como paradoja de escalado. Un segundo experimento pide adoptar perfiles de rasgo alto, target 4, o bajo, target 2; en numerosos modelos D se aleja más del target que K, aunque no siempre y sin inferencia estadística. Finalmente propone Chain of Cognitive Alignment, CoCA: una reflexión JSON con Who am I, Where am I y What should I do antes de decidir. El artículo dice que la media de G_KD baja de 1,130 a 0,893 y habla de una mejora cercana al 17%, con empeoramiento en qwen3-8b. La validación humana, sin embargo, es in-sample: las mismas 94 personas sirven para rediseñar y seleccionar escenarios, estimar correlaciones, construir la calibración y calcular el baseline humano; no hay cohorte held-out. Recalculando los quince tests disponibles, la corrección Benjamini-Hochberg retiene nueve, no once: confianza y volatilidad emocional quedan en p ajustada aproximada 0,0586. Además, K y D no cubren el mismo contenido. El código calcula K con las quince facetas BFI-2, tres por dominio, pero D solo con las once seleccionadas: dos facetas en E, A, C y O, y tres en N. MiniMax carece de compasión en sus tres runs y el scorer no falla: calcula D de Agreeableness solo con confianza, mientras K conserva tres facetas. El judge GPT-5.4 tampoco se valida contra humanos o jueces alternativos y no se conserva una versión inmutable. Quantile mapping alinea escalas marginales, pero no prueba equivalencia de constructo; el baseline humano se calibra sobre su propia muestra. La paradoja de escalado es descriptiva: no hay parameter counts, regresión dentro de familia, controles de entrenamiento o test de tendencia, y tamaño, arquitectura, proveedor y fecha están confundidos. Interpretar los scores de escenarios artificiales como ansiedad latente o riesgo de despliegue excede la evidencia. La auditoría de CoCA encuentra una contradicción decisiva. El código genera la reflexión antes de mostrar la situación conductual, de modo que Where am I no puede mapear el contexto actual; los outputs guardados hablan del formato JSON o de una situación genérica. Tampoco se pasan las puntuaciones K medidas: cada modelo inventa de nuevo sus rasgos ante cada pregunta. El runner calcula seeds 42, 43 y 44, pero no las transmite a las llamadas de reflexión, pregunta o follow-up, que usan siempre el default 42. No existe control neutral con igual número de tokens, chain-of-thought genérica o prompt sin vocabulario de personalidad, por lo que una mejora puede ser simple instruction following, contexto extra o fuga semántica de K hacia D, no self-awareness. Más importante: la tabla CoCA del artículo no se reproduce con los datos y script publicados. El CSV reproducible da deepseek-v3 0,8062 a 0,6744, qwen3-235b 1,8157 a 1,2593 y MiniMax 2,3190 a 0,8802; el manuscrito imprime 0,270 a 0,190, 2,007 a 1,688 y 2,525 a 1,500. No hay script ni lineage para esos valores. El texto también mezcla dos promedios: el cociente de las medias impresas implica cerca del 21% de reducción, mientras la media de porcentajes por modelo ronda el 17%, y no hay test que permita decir significativamente. El repositorio aporta mucho material útil: datos humanos, 12 tareas retenidas, BFI-2, resultados raw de tres experimentos y scripts. Pero la entrada del experimento de roles falla por importar batch_calculate_scores_v4, que no existe; con un alias manual al módulo multi se ejecuta. Su CSV versionado conserva veinte modelos, seis sin raw data actual. La documentación afirma temperatura 0 en todo, aunque el BFI baseline usa 0,3; un batch apunta a un script v3 inexistente; gpt_calibration_params.json no se usa; faltan tests, lockfile y CI. Los scripts piden pegar API keys en el código y enrutan varios modelos y el juez por api.openai-proxy.org, lo que introduce riesgo de credenciales, privacidad y coste. El repositorio no tiene licencia para código o datos, pese a que el PDF sí es CC BY. Los registros humanos eliminan contacto directo pero publican texto libre, timestamps, duración, 60 respuestas BFI y etiquetas derivadas, con riesgo de reidentificación; el paper describe consentimiento y 20 RMB, pero no identifica revisión o exención ética ni consentimiento específico para compartir datos. La contribución defendible es un benchmark parcialmente reproducible que muestra divergencias entre dos pipelines de output y hace público un corpus humano-modelo valioso. No demuestra personalidad estable, conducta real, ansiedad interna, paradoja causal de escalado ni que CoCA active self-awareness; el headline de CoCA permanece sin reproducción desde el artefacto liberado.