Psychometric Item Validation Using Virtual Respondents with Trait-Response Mediators

This work proposes using LLMs as virtual respondents to prioritize psychometric items before costly human validation. Its central idea is the trait-response mediator: a characteristic, belief, situation, or value that can make the same trait level yield different item responses. GPT-4.1 generates free mediators, mediators based on the five CAPS categories, item-conditioned mediators, and mediators derived from World Values Survey questions; observed human demographic profiles form another baseline. GPT-4.1-mini simulates 500 respondents per condition, answers each item under two option orders, and enables candidate ranking by Spearman correlation with the intended trait score on official items. The study covers the Big Five, ten Schwartz values, and 24 VIA strengths. Initial items come from GPT-4o, GPT-4o-mini, Llama-3.1-8B, and Llama-3.3-70B; comparisons include random selection, an LLM judge, no mediator, official scales, and an oracle defined from human responses.

Human reference data come from 339 Prolific participants, 307 of whom pass duplicate and impossible-item attention checks. Because four questionnaires are administered separately, each validation matrix contains only 75, 76, 80, or 76 people. Free mediators reach CV=.632, the 99.3rd percentile, NDCG=.568, DV=.294, and alpha=.904 on Big Five; on VIA they reach CV=.586, the 88.5th percentile, NDCG=.657, DV=.296, and alpha=.803. CAPS is strongest on Schwartz CV at .347 and the 87.1st percentile, with less consistent results and significance comparisons. Overall, mediator conditions outperform random and no-mediator selection, the complete prompt usually wins the ablations, and increasing virtual respondents toward 500 improves CV and ICR. Three graduate students also judge sampled mediators plausible, although this review does not cover the full bank.

The defensible conclusion is that simulation can act as a candidate-screening heuristic around an existing construct and scale. It does not replace independent psychometric validation. The human criterion still contains only 75-80 people per survey, while selection and evaluation reuse the same response matrices. Convergent validity is mainly correlation with official-item scores; the study does not establish factor structure, measurement invariance, criterion validity, test-retest stability, or replication in a new sample. Five hundred simulated respondents do not create five hundred independent human observations. Mediators are useful prompt variables rather than evidence of human cognitive processes or causal mediation, and the paper explicitly acknowledges that LLMs do not perfectly reproduce human responses or psychology.

The MIT release is extensive: code, prompts, responses, rankings, and microdata make the pipeline inspectable, but dependencies are not pinned, there are no scientific tests or reproduction CI, no one-command end-to-end run, and regeneration depends on mutable model services. The audit also finds a serious privacy problem. Four CSV files named anonymized retain participant identifier, gender, age, country, occupation, income, education, social class, and religion; the joint eight-field profile is unique for 100% of rows in every survey. Although the paper reports IRB approval, the release does not provide consent language, a linkage-risk assessment, or a rationale for publishing such granular microdata. Aggregate results would preserve most reproducibility with substantially lower risk.

Este trabajo propone usar LLM como respondedores virtuales para priorizar ítems psicométricos antes de una validación humana costosa. Su idea central son los mediadores: características, creencias, situaciones o valores que hacen que una misma puntuación de rasgo produzca respuestas distintas. GPT-4.1 genera mediadores libres, basados en las cinco categorías CAPS, condicionados por el ítem o derivados de preguntas del World Values Survey; perfiles demográficos reales forman otro baseline. GPT-4.1-mini simula 500 respondedores por condición, contesta cada ítem con dos órdenes de opciones y permite ordenar candidatos por su correlación de Spearman con la puntuación del rasgo en ítems oficiales. El estudio cubre Big Five, los diez valores de Schwartz y las 24 fortalezas VIA. Los ítems iniciales proceden de GPT-4o, GPT-4o-mini, Llama-3.1-8B y Llama-3.3-70B; se comparan selección aleatoria, juez LLM, ausencia de mediador, escalas oficiales y un oráculo definido con respuestas humanas.

La referencia humana procede de 339 participantes de Prolific, de los que 307 superan controles de duplicados y preguntas imposibles. Como los cuatro cuestionarios se administran por separado, cada matriz de validación contiene solo 75, 76, 80 y 76 personas. La estrategia de mediadores libres obtiene en Big Five CV=.632, percentil 99,3, NDCG=.568, DV=.294 y alfa=.904; en VIA obtiene CV=.586, percentil 88,5, NDCG=.657, DV=.296 y alfa=.803. Para Schwartz, CAPS es mejor en CV, .347 y percentil 87,1, con resultados y significación menos consistentes. En conjunto, los mediadores superan la selección aleatoria y la ausencia de mediador, la configuración completa suele ganar en las ablaciones y aumentar los respondedores hasta 500 mejora CV e ICR. Tres estudiantes de posgrado también consideran plausibles muestras de mediadores, aunque esa revisión no cubre todo el banco.

La conclusión válida es que la simulación puede servir como filtro de candidatos alrededor de un constructo y una escala ya existentes. No sustituye la validación psicométrica independiente. El criterio humano sigue limitado a 75-80 personas por encuesta y la selección y la evaluación reutilizan las mismas matrices de respuesta. La validez convergente es principalmente correlación con puntuaciones de ítems oficiales; no se demuestra estructura factorial, invariancia, validez de criterio, estabilidad test-retest o generalización a otra muestra. Las 500 simulaciones no crean 500 observaciones humanas independientes. Los mediadores son variables de prompt útiles, no pruebas de procesos cognitivos humanos ni de mediación causal, y el propio artículo reconoce que los LLM no reproducen perfectamente respuestas o psicología humanas.

La release MIT es amplia: código, prompts, respuestas, rankings y microdatos permiten inspeccionar el pipeline, pero no hay dependencias fijadas, tests científicos, CI de reproducción ni un comando end-to-end, y regenerar exige modelos y APIs no inmutables. La auditoría detecta además un problema serio de privacidad. Los cuatro CSV llamados anonymized conservan identificador, género, edad, país, ocupación, ingresos, educación, clase social y religión; la combinación de esos ocho campos es única para el 100% de las filas de cada encuesta. Aunque el paper informa de IRB, la release no aporta consentimiento, evaluación de riesgo de enlace ni justificación para publicar microdatos tan granulares. Los resultados agregados sostendrían la mayor parte de la reproducibilidad con mucho menor riesgo.