Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior

This preprint studies when an LLM psychometric self-description can anticipate its behavior on a task. Its central contribution is not proof of stable personality, but a separation of three sources that are often conflated: instrument specificity, whether self-report and behavior share a conversation, and how variation is induced across conditions. It compares the Theory of Planned Behavior (TPB), whose items name a concrete behavior and policy, with the task-general BFI-44 Big Five. Both are crossed with same-conversation versus independent-conversation measurement and two induction regimes: a grid of generic prompts, temperatures, and values called seeds, or thirty synthetic PersonaHub descriptions. Eleven OpenRouter-accessed models are evaluated on four probes: risk taking in a twenty-round Columbia Card Task; answer change after opposing suggestions on 52 dilemmas; answers and confidence on thirty factual questions followed by a second confidence estimate; and text-only word assignment across six stereotype domains. The latter is not a human latency/block IAT, and the honesty task measures confidence calibration and stability rather than deception or moral honesty broadly. The primary statistics compute within-model Pearson correlations and aggregate Fisher-z values; appendices add Mundlak OLS with model-clustered errors, matched-policy contrasts, and a bootstrap over the eleven models. The headline is that same-conversation TPB reaches about r=.40 after excluding IAT, compared with human meta-analytic magnitudes, while within-model Big Five associations are near zero. Selected results are r=.67 for Attitude and the honesty outcome, .47 for Intention and sycophancy, .22 for risk, and -.59 for the text IAT. With conversations separated, honesty retains part of the association (.53), sycophancy falls to -.07, risk to .12, and IAT remains inverted (-.66). Only Claude 4.5 Haiku and LLaMA 3.3 70B retain a positive pooled association under the paper's criterion. Synthetic personas alter and often stabilize self-reports but rescue no model; the sycophancy rescue indication is partial and its model-bootstrap interval includes zero. These patterns support the practical recommendation to test concrete behavior in a separate context rather than use self-description as a substitute. However, human-level coherence is too strong a formulation. The human r links intention to later behavior across people and studies; the LLM r is within model, under explicit opposing policies, with behavior immediately following in the same conversation. Equal magnitude does not imply equal construct, reliability, or validity. The appendix also shows that only CCT has smooth within-policy covariation. In sycophancy, matched-policy contrasts reduce Intention from .47 to -.02 and Subjective Norm from .19 to .06; in IAT, -.59 changes to +.16. Honesty contrasts invert, although the authors correctly explain that its two policies are non-equivalent strategies and do not form an interpretable bipolar contrast. Much of the aggregate effect therefore comes from policy steps or model baselines rather than small self-report changes predicting behavior within a condition. TPB items directly name behavior and policy, whereas BFI-44 is task agnostic: the comparison shows the practical advantage of asking a contextual intention over using a broad trait, not general psychometric superiority. Best-construct selection is data-driven and the candidate families are not fully symmetric. Fisher-z intervals are likely over-precise because model×task×construct correlations sharing models, conditions, policies, and outcomes are treated as independent estimates. The count of 41 significant cells out of 77 also uses a binomial null without multiplicity or dependence adjustment. Clustered and bootstrap checks are valuable but have only eleven clusters. The persona comparison is bundled as well: system text, temperature distribution, seed label, condition count, and semantic content all change together. The same personas are not crossed with the same grid, so induction is not the sole causal difference. Near-one TF-IDF distance mainly shows lexical non-overlap among short roles, not validated psychological diversity; one selected persona is Spanish despite english_only=true because ASCII filtering is not language detection. The public repository exposes prompts, runners, scorers, merges, and analysis source, but does not reproduce the paper. Its README says precomputed results are included, yet the audited commit has no result CSV or results directory. rq_config.py and psycohere_style.py, imported by the four primary analyses, are absent; psyai_eval is not installable and there is no pyproject, setup file, requirements list, or lockfile; the configured IAT stimuli, norm300 questions, and sycophancy dilemmas are also missing. Documented entry points fail before execution. More importantly for the design, the client deliberately omits seed on OpenRouter calls: 42, 99, and 123 are replicate labels, not controlled decoding seeds, so separate calls do not share the seed described by the paper. The registry labels DeepSeek V3.1 with an ID OpenRouter identifies as DeepSeek V3 0324, Gemini lacks the google/ namespace, and Mistral maps specifically to Mistral Large 3 2512. Without CSVs, actual model responses, failure counts, parser attrition, and selective missingness cannot be checked. Mergers accept subsets of intended keys and do not validate cardinality, risking unmatched or many-to-many-expanded rows. The paper deserves credit for extensive appendices, contrasts, and explicit limits: it distinguishes correlation from causation, acknowledges priming and uncertain translation of human instruments, limits its scope to four tasks and a model snapshot, and makes no consciousness claim. The defensible conclusion is narrower than the abstract: LLM self-reports are task- and context-dependent signals; CCT offers the clearest within-policy coherence; sycophancy demonstrates conversation priming; and synthetic personas can change what models say about themselves without aligning behavior. Exact effect sizes remain paper-reported rather than independently reproduced.

Este preprint estudia cuándo una autodescripción psicométrica de un LLM permite anticipar su conducta en una tarea. Su aportación central no es demostrar una personalidad estable, sino separar tres fuentes que suelen mezclarse: la especificidad del instrumento, el hecho de compartir o no la conversación y el modo de inducir variación entre condiciones. Compara la Theory of Planned Behavior (TPB), cuyas preguntas mencionan una conducta y una política concretas, con BFI-44 Big Five, un inventario de rasgos generales. Cruza ambos marcos con medición en la misma conversación o en conversaciones independientes y con dos inducciones: un grid de prompts genéricos, temperaturas y valores llamados semillas, o treinta descripciones sintéticas de PersonaHub. La evaluación abarca once modelos accesibles por OpenRouter y cuatro probes: riesgo en una Columbia Card Task de veinte rondas; cambio de opinión ante sugerencias opuestas en 52 dilemas; respuesta y confianza en treinta preguntas factuales con una segunda estimación de confianza; y asignación textual de palabras en seis dominios de estereotipos. Este último probe no es un IAT humano de latencia y bloques, y el de honestidad mide calibración y estabilidad de confianza, no engaño u honestidad moral en general. La estadística principal calcula correlaciones de Pearson dentro de cada modelo y agrega sus Fisher-z; el apéndice añade OLS Mundlak con errores agrupados por modelo, contrastes entre políticas y bootstrap remuestreando los once modelos. El titular del artículo es que TPB alcanza r≈.40 en la misma conversación al excluir el probe IAT, magnitud que se compara con meta-análisis humanos, mientras Big Five queda cerca de cero dentro de modelo. Los resultados seleccionados son r=.67 entre Attitude y el outcome de honestidad, .47 entre Intention y sycophancy, .22 para riesgo y -.59 para el IAT textual. Al separar conversaciones, honestidad conserva parte de la asociación (.53), sycophancy cae a -.07, riesgo a .12 y el IAT permanece invertido (-.66). Solo Claude 4.5 Haiku y LLaMA 3.3 70B retienen una asociación agregada positiva según el criterio del paper. Las personas sintéticas alteran y a menudo estabilizan las autodescripciones, pero no rescatan ningún modelo; el indicio de rescate en sycophancy es parcial y su bootstrap incluye cero. Estos patrones respaldan la recomendación práctica de probar la conducta concreta en un contexto separado y no usar la autodescripción como sustituto. Sin embargo, «coherencia a nivel humano» es una formulación demasiado fuerte. El r humano enlaza intención con conducta posterior entre personas y estudios; el r del LLM se calcula dentro de modelo, con políticas explícitas y con la conducta inmediatamente después en la misma conversación. Igual magnitud no implica igual constructo, fiabilidad ni validez. Además, el apéndice muestra que solo CCT conserva covariación suave dentro de cada política. En sycophancy el contraste emparejado reduce Intention de .47 a -.02 y Subjective Norm de .19 a .06; en IAT cambia -.59 a +.16. En honestidad los contrastes se invierten, aunque los autores explican correctamente que sus dos políticas son estrategias no equivalentes y el contraste no es interpretable como eje bipolar. Así, una parte grande del efecto agregado procede del salto entre políticas o de diferencias basales entre modelos, no de que pequeñas variaciones de una autodescripción predigan conducta dentro de la misma condición. Las preguntas TPB nombran directamente conducta y política, mientras BFI-44 es agnóstico a la tarea: la comparación demuestra la ventaja práctica de preguntar por una intención contextual sobre usar un rasgo amplio, pero no que TPB sea psicométricamente superior en general. La selección del mejor constructo también es data-driven y las familias candidatas no son plenamente simétricas. Las bandas Fisher-z son probablemente demasiado estrechas porque tratan correlaciones modelo×tarea×constructo que comparten modelos, condiciones, políticas y outcomes como estimaciones independientes. El conteo de 41 de 77 celdas significativas usa además un nulo binomial sin corregir multiplicidad ni dependencia. Los análisis agrupados y bootstrap son valiosos, pero solo tienen once clusters. La comparación de personas está asimismo empaquetada: cambia simultáneamente texto del sistema, temperaturas, semilla etiquetada, número de condiciones y contenido semántico. No cruza las mismas personas con el mismo grid, por lo que inducción no es la única diferencia causal. La distancia TF-IDF casi uno demuestra sobre todo poca superposición léxica entre roles breves, no diversidad psicológica validada; incluso aparece una persona en español pese a english_only=true, porque el filtro ASCII no detecta idioma. El repositorio público permite inspeccionar prompts, runners, scorers, merges y análisis, pero no reproduce el paper. El README afirma que incluye resultados precomputados, aunque el commit auditado no contiene ningún CSV ni directorio results. Faltan rq_config.py y psycohere_style.py, importados por los cuatro análisis principales; falta un paquete instalable psyai_eval y no hay pyproject, setup, requirements o lockfile; tampoco están los estímulos IAT, las preguntas norm300 ni los dilemas de sycophancy requeridos por las configuraciones. Los entry points fallan antes de ejecutarse. Más importante para el diseño, el cliente omite deliberadamente seed cuando llama a OpenRouter: 42, 99 y 123 son etiquetas de réplica, no semillas de decodificación controladas, de modo que dos sesiones no comparten la semilla que describe el paper. El registro llama DeepSeek V3.1 a un ID que OpenRouter identifica como DeepSeek V3 0324, el ID de Gemini omite el namespace google/ y Mistral corresponde específicamente a Mistral Large 3 2512. Sin CSV no puede comprobarse qué modelos respondieron, cuántas filas fallaron ni si el parsing o la cobertura introdujeron missingness selectiva. Los merges aceptan subconjuntos de las claves previstas y no validan cardinalidad, con riesgo de pérdidas o multiplicación many-to-many. El trabajo merece crédito por sus apéndices extensos, contrastes y límites explícitos: reconoce correlación frente a causalidad, priming, traducción incierta de instrumentos humanos, cuatro tareas limitadas, snapshot de modelos y ausencia de afirmaciones sobre conciencia. La conclusión defendible es más acotada que el abstract: las autodescripciones de LLM son señales dependientes de tarea y contexto; CCT ofrece la evidencia más clara de coherencia dentro de política; sycophancy muestra priming conversacional; y personas sintéticas pueden cambiar lo que el modelo dice de sí mismo sin alinear su conducta. Los tamaños exactos siguen siendo resultados reportados por el paper, no reproducidos independientemente.