Measure what Matters: Psychometric Evaluation of AI with Situational Judgment Tests

Este preprint de 100 páginas propone evaluar tendencias conductuales de LLM mediante situational judgment tests (SJT) en vez de depender solo de autoinformes HEXACO. GPT-4.1 genera personas sintéticas detalladas a partir de demografía, memorias y ocho arquetipos de policía. Expertos definen 20 escenarios base y GPT-4.1 expande combinaciones controladas de edad, género, raza, ambigüedad, amenaza, urgencia, autoridad, hora y tensión ética hasta 4.000 SJT. Cada situación ofrece seis respuestas escritas para representar una dimensión HEXACO; un juez LLM detecta y reescribe opciones con trait bleed. La ejecución principal pública cruza 500 personas, 300 SJT y cinco repeticiones con Gemma-3-4B: 750.000 respuestas. El análisis compara SJT, autoinformes HEXACO, TruthfulQA y EmoBench mediante distribuciones, correlaciones, Jensen-Shannon, ICC, regresiones y un modelo MIRT bayesiano.

Los SJT muestran patrones más relacionados con benchmarks externos que varios autoinformes. Por ejemplo, Agreeableness-SJT correlaciona .70 con EmoBench frente a .51 para Agreeableness-HEXACO. Las personas producen desplazamientos estables entre repeticiones y efectos distintos por arquetipo; los benchmarks presentan JS casi cero e ICC .95/.90. En un MIRT piloto con 250 personas y 150 ítems, 76% de los escenarios tiene discriminación superior a 1,0 y cinco de seis rasgos latentes predicen su opción correspondiente; Emotionality no lo hace. El resultado más importante para interpretar alcance es la descomposición: identidad de persona explica 3,75% de la varianza, escenario 38,93% y residuo 57,32%. La permutación de etiquetas obtiene p=.002, por lo que el efecto de persona es detectable, pero pequeño frente al contexto y la variación no explicada.

La contribución defendible es metodológica: decidir dentro de escenarios revela variación condicional que un cuestionario transparente puede ocultar. No demuestra personalidad humana, subjetividad o disposiciones dominantes. Cada opción está escrita para expresar una etiqueta HEXACO, de modo que recuperar estructura también mide obediencia a ese mapeo sintético. GPT-4.1 participa en personas, SJT, corrección de trait bleed y evaluación, creando circularidad parcial. Solo 30 SJT reciben anotación de un psicólogo y un agente, y el apéndice reconoce que no hubo validadores expertos independientes; varios kappa son cero o casi cero. TruthfulQA y EmoBench son benchmarks de modelos, no conducta humana. Los R² ajustados .863-.993 son asociaciones in-sample entre scores derivados de las mismas respuestas, no predicción holdout. Tampoco se pueden tratar 750.000 filas cruzadas como observaciones independientes.

La release es sustancial: los cuatro repositorios públicos de Hugging Face son abiertos, Apache-2.0 y sus conteos coinciden con la documentación; el repositorio MIT contiene código de generación, respuesta y análisis. Aun así, faltan CI científico, una suite de tests y un manifiesto que conecte cada tabla con un commit, comando, entorno y hash. Además, un script versionado expone un token de acceso de Hugging Face. El token no se usó ni se reproduce aquí: debe considerarse comprometido, revocarse y eliminarse también del historial. Los atributos demográficos en escenarios policiales son sintéticos, pero pueden codificar estereotipos; una rúbrica de sesgo no equivale a validación para despliegue de alto impacto.

This 100-page preprint proposes evaluating LLM behavioral tendencies through situational judgment tests (SJTs) rather than relying only on HEXACO self-reports. GPT-4.1 generates detailed synthetic personas from demographics, memoir seeds, and eight police archetypes. Experts define 20 base scenarios, and GPT-4.1 expands controlled combinations of age, gender, race, ambiguity, threat, urgency, authority, time, and ethical tension into 4,000 SJTs. Each situation offers six responses authored to represent one HEXACO dimension; an LLM judge detects and rewrites options with trait bleed. The main public run crosses 500 personas, 300 SJTs, and five repetitions using Gemma-3-4B, producing 750,000 responses. Analyses compare SJTs, HEXACO self-reports, TruthfulQA, and EmoBench through distributions, correlations, Jensen-Shannon divergence, ICC, regressions, and a Bayesian MIRT model.

SJT profiles show stronger relationships with external benchmarks than several self-report profiles. For example, SJT Agreeableness correlates .70 with EmoBench versus .51 for HEXACO Agreeableness. Personas yield repeatable shifts and different archetype effects; benchmark distributions have near-zero JS divergence and ICC of .95/.90. In a pilot MIRT fit with 250 personas and 150 items, 76% of scenarios have discrimination above 1.0, and five of six latent traits predict their corresponding option; Emotionality does not. The most important scope result is the variance decomposition: persona identity explains 3.75%, scenario 38.93%, and residual variation 57.32%. A persona-label permutation test gives p=.002, so the persona effect is detectable but small relative to context and unexplained variation.

The defensible contribution is methodological: decisions in context expose conditional variation that transparent questionnaires can miss. The study does not establish human personality, subjective states, or dominant stable dispositions. Each option is authored to express a HEXACO label, so recovered structure partly measures compliance with that synthetic mapping. GPT-4.1 participates in persona generation, SJT generation, trait-bleed correction, and evaluation, creating partial circularity. Only 30 SJTs receive ratings from a psychologist and a patrol officer, and the appendix states that independent expert raters were not employed; several kappa values are zero or near zero. TruthfulQA and EmoBench are model benchmarks rather than human behavior. Adjusted R-squared values of .863-.993 are in-sample associations among scores derived from the same responses, not held-out prediction. Nor can 750,000 crossed response rows be treated as independent observations.

The release is substantial: four public Hugging Face repositories are open, Apache-2.0 licensed, and their counts match the documentation; the MIT repository contains generation, response, and analysis code. It still lacks scientific CI, a real test suite, and a manifest mapping every table to an exact commit, command, environment, and hash. More seriously, a versioned shell script exposes a Hugging Face access token. The token was neither used nor reproduced in this audit; it should be treated as compromised, revoked, and purged from history. Demographic attributes in police scenarios are synthetic, but they can still encode stereotypes, and a bias rubric is not deployment validation for high-impact settings.