Do Psychometric Tests Work for Large Language Models? Evaluation of Tests on Sexism, Racism, and Morality

This study asks whether three human questionnaires, the 22-item Ambivalent Sexism Inventory (ASI), 8-item Symbolic Racism 2000 Scale (SR2K), and 30-item Moral Foundations Questionnaire (MFQ), yield reliable and valid LLM scores. It evaluates 17 snapshots: Centaur; four Gemma 3 sizes; Llama 3.1 8B and 70B and Llama 3.3 70B; Mistral 7B and Mistral Large; five Qwen 2.5/3 variants; and Gemini 2.5 Flash/Pro. Each item is administered separately in a constrained-answer prompt and repeated under five seeds at each model's default temperature. Reliability here is not alpha, factor reliability, or temporal stability. It is the proportion of exactly unchanged item answers between the original and three perturbations: a GPT-5-generated alternate form reviewed by two authors, reversed answer-option order, and changing the prompt terminator from a colon to a question mark. As a baseline only for alternate forms, 150 U.S. Prolific participants answer originals and paraphrases in the same session; six fail attention checks, leaving 144. Answers are often stable under punctuation and alternate wording, but several models change sharply when options are reversed. The reversed-order table reaches 0.00 on SR2K for Gemma 3 1B, 0.19 on ASI for Qwen 2.5 7B, and about 0.27–0.28 on ASI/SR2K for Llama 3.1 8B. Describing the overall pattern as moderate reliability is defensible only for these specific perturbations. Convergent validity uses three model-level Spearman correlations and obtains the selected theoretical directions: racism–sexism rho=0.47, fairness–hostile sexism rho=−0.37, and authority–benevolent sexism rho=0.43. These are moderate associations from 17 points, without reported p-values, intervals, multiplicity correction, a full nomological network, or discriminant-validity analysis. They support relative coherence among three selected scale relations, not confirmation of the constructs. The paper's most important contribution is ecological validity, comparing questionnaire ranks with seven behavioral proxies. Sexism uses recommendation letters for 24 male and 24 female profiles and averages five dictionary-based odds ratios. Racism uses housing recommendations for paired Black/white profiles in ten cities and the difference in neighborhood opportunity index. Morality uses 227 dilemmas and measures whether advice matches an authority, care, fairness, ingroup, or purity-aligned action as classified by GPT-4o. Centaur fails downstream instructions and is excluded, so ecological correlations use 16 models: sexism −0.24; racism −0.62; authority −0.13; care −0.10; fairness 0.21; ingroup −0.12; purity 0.21. None shows the clear positive association needed to treat a questionnaire score as a predictor of its corresponding proxy; five are negative and two weakly positive. The strongest result is the racism reversal: models appearing less racist on SR2K tend to produce more unequal housing recommendations. This supports the warning against treating human questionnaire scores as behaviorally validated LLM properties. The title is broader than the design, however. Downstream tasks remain heterogeneous constructed proxies, not general behavior or deployment outcomes. The statistical unit is a small set of 16 family-related models rather than independent draws; no p-values, intervals, or adjustment across seven comparisons are shown. Moral behavior is itself judged by GPT-4o. Two authors annotate 100 answers and the judge agrees 88%, without kappa, classwise error, or uncertainty propagation. Missing responses also matter because test scores average available answers. Public original SR2K diagnostics contain 15 missing of 40 trials for Llama 3.1 8B, 11/40 for Gemini Flash, and 16/40 for Gemini Pro, while figures do not disclose effective denominators. Reproducibility is substantial but incomplete. The repository releases items, prompts, outputs, notebooks, and core utilities, but Table 5 mistakenly maps Llama 3.1 70B to the 8B model ID; JSON outputs preserve only a filename label, not the actual model_id, so they cannot resolve which checkpoint ran. In addition, validity_eval.py requires absent rel_reversed.json and housing_per_model.csv files, and the housing aggregation code is not supplied. The faithful conclusion is bounded: for these three tests, model snapshots, and proxies, format stability is uneven and questionnaire model rankings do not predict behavioral rankings. The study does not prove every psychometric test useless for every LLM, does not measure persistent personality, and does not make its proxies ground truth. It shows that a score should not be interpreted without use-specific validation of reliability, missing-response handling, and behavioral correspondence.

Este trabajo pregunta si tres cuestionarios humanos, Ambivalent Sexism Inventory (ASI, 22 ítems), Symbolic Racism 2000 Scale (SR2K, 8) y Moral Foundations Questionnaire (MFQ, 30), producen en LLM puntuaciones fiables y válidas. Evalúa 17 snapshots: Centaur; cuatro Gemma 3; Llama 3.1 8B y 70B y Llama 3.3 70B; Mistral 7B y Mistral Large; cinco Qwen 2.5/3; y Gemini 2.5 Flash/Pro. Cada ítem se presenta por separado con respuesta cerrada y se repite con cinco semillas usando la temperatura predeterminada de cada modelo. La fiabilidad no significa alfa, estructura factorial ni estabilidad temporal: es el porcentaje de respuestas exactamente iguales entre el original y tres perturbaciones, una forma alternativa generada por GPT-5 y revisada por dos autores, el orden invertido de opciones y el cambio de dos puntos por interrogación al final del prompt. Como referencia solo para la forma alternativa, 150 participantes estadounidenses de Prolific contestan original y paráfrasis en la misma sesión; se excluyen seis por atención y quedan 144. La puntuación suele ser estable ante puntuación y forma alternativa, pero varios modelos cambian mucho al invertir opciones. La tabla de orden invertido llega a 0,00 en SR2K para Gemma 3 1B, 0,19 en ASI para Qwen 2.5 7B y aproximadamente 0,27–0,28 para Llama 3.1 8B en ASI/SR2K. Llamar al conjunto “fiabilidad moderada” es razonable solo para estas perturbaciones concretas. La validez convergente usa tres correlaciones de Spearman entre medias por modelo y obtiene las direcciones teóricas seleccionadas: racismo–sexismo rho=0,47, fairness–sexismo hostil rho=−0,37 y authority–sexismo benevolente rho=0,43. Son asociaciones moderadas de 17 puntos, sin p, intervalos, corrección múltiple, red nomológica completa ni prueba discriminante; por tanto apoyan coherencia relativa entre tres escalas, no confirman por sí solas los constructos. La contribución más importante es la validez ecológica: compara el ranking del test con siete proxies de conducta. Sexismo usa cartas de recomendación para 24 perfiles masculinos y 24 femeninos y promedia cinco odds ratios de vocabulario; racismo usa recomendaciones de vivienda para perfiles Black/white en diez ciudades y la diferencia del índice de oportunidad; moralidad usa 227 dilemas y mide si el consejo coincide con una acción alineada con authority, care, fairness, ingroup o purity, clasificada por GPT-4o. Centaur no sigue las instrucciones downstream y se excluye, de modo que las correlaciones ecológicas usan 16 modelos: sexismo −0,24; racismo −0,62; authority −0,13; care −0,10; fairness 0,21; ingroup −0,12; purity 0,21. Ninguna muestra la asociación positiva clara que haría falta para interpretar la puntuación del cuestionario como predictor de ese proxy; cinco son negativas y dos débilmente positivas. El resultado más fuerte es el contrasentido en racismo: los modelos que parecen menos racistas en SR2K tienden a producir recomendaciones de vivienda más desiguales. Esto sí respalda la advertencia de no usar directamente puntuaciones humanas como propiedades conductualmente validadas de un LLM. El título, sin embargo, es más amplio que el diseño. Las tareas downstream siguen siendo proxies construidos y distintos entre sí, no conducta general ni outcomes de despliegue. La unidad estadística es un conjunto pequeño de 16 modelos relacionados por familia, no ejecuciones independientes; no se muestran p, intervalos ni ajuste para siete comparaciones. El juicio moral depende de GPT-4o: dos autores anotan 100 respuestas y el juez coincide en 88%, sin kappa, error por clase o propagación de esa incertidumbre. Hay no-respuestas relevantes que la puntuación omite al promediar disponibles: en los datos públicos del SR2K original faltan 15 de 40 respuestas para Llama 3.1 8B, 11/40 para Gemini Flash y 16/40 para Gemini Pro, sin que las figuras muestren el denominador efectivo. La reproducibilidad es sustancial pero incompleta. El repositorio aporta ítems, prompts, salidas, notebooks y utilidades, pero la tabla asigna por error a Llama 3.1 70B el ID de 8B; los JSON solo conservan el nombre de archivo, no el model_id real, así que no resuelven qué checkpoint produjo esas salidas. Además, validity_eval.py requiere rel_reversed.json y housing_per_model.csv ausentes, y no aparece el código que construye el agregado de vivienda. La conclusión fiel es acotada: en estos tres tests, estos snapshots y estos proxies, la estabilidad ante formato es desigual y el orden relativo de los modelos en cuestionarios no predice el orden en conducta. El estudio no prueba que todo test psicométrico sea inútil para todo LLM, no mide personalidad persistente y no convierte sus proxies en verdad de terreno; demuestra que una puntuación no debe interpretarse sin validar fiabilidad, manejo de no-respuestas y correspondencia conductual para el uso concreto.