Automatic Item Generation for Personality Situational Judgment Tests with Large Language Models

Automatic Item Generation for Personality Situational Judgment Tests with Large Language Models asks whether an LLM can assist in building situational judgment tests (SJTs) that measure personality in people. It does not measure the model's personality, identity, or consciousness; its subject is automated generation of Chinese psychometric items. The program contains three studies. In Study 1, seven psychology doctoral students rate 21 translated human items and seven-item groups generated under four temperatures, three prompt variants, and two time points. Outcomes are situation necessity through CVR/CVI, option rationality, scoring rationality, and overall quality. Temperature 1.0 and 1.1 tie at CVI 0.714, with 1.0 obtaining stronger ranks for necessity and options. Prompt v2 reaches the highest CVI, 0.755, but Prompt v1 has higher mean overall quality, 6.57 versus 6.00, and v1-to-v2 gains are not significant. Selecting v2/1.0 is therefore an exploratory decision based on seven items per condition and the same seven judges, not confirmed optimization in an independent sample. The temporal comparison also does not establish stability: failure to detect differences between two seven-item groups generated ten days apart is neither an equivalence test nor regeneration of the same items. Study 2 generates 200 items through the consumer ChatGPT instant interface dated 6 November 2025 and labelled ChatGPT-5: five facets, five conversations/rounds, and eight items per cell. Overall CVI is 0.707; facet CVIs are 0.707 for self-consciousness, 0.657 gregariousness, 0.843 openness to ideas, 0.600 compliance, and 0.729 self-discipline. No mean round effect is detected, but this is not equivalent to reproducibility. Fifty of 200 items fall below CVR 0.71, 59 score below 6/7 overall quality, and 32 have mean scoring rationality below 3.5/4. Some failures are substantive: A_1_5 has CVR -1, scoring rationality 1.86, and quality 0/7; E_4_5 also has CVR -1 and quality 0/7. The paper appropriately concludes that expert screening remains necessary. Its cross-model claim is weaker: seven GPT-4 items from one facet are descriptively compared with 200 ChatGPT-5 items from five facets, different dates, and different interfaces, without a matched model contrast. The supplement also reveals that Studies 1 and 3 did not call OpenAI directly. They used `ai.shanxl.com`, a third-party gateway claiming to expose `gpt-4-1106-preview`. No code, provider receipt, request IDs, or logs verify the backend or effective parameters. Study 2 likewise lacks an immutable ChatGPT-5 backend ID, system prompt, seed, or conversation export. Study 3 creates a separate 40-item GPT-4 form, eight items for one selected facet from each Big Five domain, and administers it with corresponding NEO-PI-R facets. There are 443 valid cases, 130 with criteria, and 80 with a two-week retest. Open data reproduce the results: alpha 0.75/0.84/0.70/0.57/0.61, retest 0.58/0.77/0.41/0.52/0.65, and matched NEO convergence 0.68/0.67/0.48/0.36/0.44 for N/E/O/A/C. Evidence is therefore reasonable for self-consciousness, gregariousness, and partly openness, but compliance and self-discipline have low consistency, openness retest is 0.41, and compliance converges at only 0.36. WLSMV CFA reports RMSEA 0.03, CFI/TLI 0.95, and SRMR 0.11; the last is weak. Comparing mean inter-factor correlations, 0.385 for the LLM-SJT versus 0.494 for NEO, does not by itself establish discriminant validity: LLM compliance correlates 0.39 with NEO gregariousness and openness, above its 0.36 matched compliance correlation. Of 35 LLM-SJT criterion correlations, eight have unadjusted p<0.05 and only four survive a simple Bonferroni threshold; the paper does not pre-specify a multiplicity correction. The OSF release is a meaningful contribution: CC BY 4.0, the complete 310-item bank, prompts, supplement, `.sav` data, `.spv` outputs, and CFA inputs. All five datasets have no missing cells, IDs are unique, the 130 criterion and 80 retest IDs link to the 443 cases, and the audit reproduces CVR, means, sums, alphas, correlations, and ANOVA. No exact duplicate stems or option sets were found. Yet the manuscript says analysis scripts are public while OSF actually provides `.spv` viewers rather than SPSS syntax, plus two Mplus `.inp` files without `.out`; the exact pipeline is not executable end to end. Generation, timing, token, and cost logs are also absent. The claim of producing 100 items for $0.02-$1.00 and within minutes is an estimate, not a measurement of the gateway workflow used. Every generated item puts high-trait responses in A/B and low-trait responses in C/D, creating a transparent positional key that is not tested against coaching, faking, or social desirability. The work covers five selected facets rather than the complete Big Five, and cultural appropriateness is limited to Chinese judges and participants without cross-cultural invariance. The faithful conclusion is that the study offers valuable feasibility evidence, open data with good internal integrity, and partial psychometric success. It does not establish a universal, reproducible, or uniformly valid generator, and it does not establish synthetic personality. Verifiable model provenance, executable scripts, logs, equivalence testing, randomized response positions, independent replication, expert screening, and broader cultural validation are still needed.

Automatic Item Generation for Personality Situational Judgment Tests with Large Language Models estudia si un LLM puede ayudar a construir pruebas de juicio situacional (SJT) para medir personalidad en personas. No mide personalidad, identidad ni consciencia del modelo: su objeto es la generación automática de ítems psicométricos en chino. El programa contiene tres estudios. En el primero, siete doctorandos en psicología valoran 21 ítems humanos traducidos y grupos de siete ítems generados bajo cuatro temperaturas, tres variantes de prompt y dos momentos. Los indicadores son necesidad de la situación mediante CVR/CVI, racionalidad de opciones, racionalidad de puntuación y calidad global. Temperatura 1,0 y 1,1 empatan en CVI, 0,714; 1,0 obtiene mejores rangos en necesidad y opciones. Prompt v2 logra el CVI más alto, 0,755, pero Prompt v1 tiene mejor calidad global media, 6,57 frente a 6,00, y las mejoras v1→v2 no son significativas. La selección de v2/1,0 es por tanto una decisión exploratoria sobre siete ítems por condición y los mismos siete jueces, no una optimización confirmada en una muestra independiente. La comparación temporal tampoco demuestra estabilidad: que dos grupos de siete ítems generados con diez días de separación no difieran significativamente no es una prueba de equivalencia ni de reproducción de los mismos ítems. El segundo estudio genera 200 ítems con la interfaz web de ChatGPT en modo instant del 6 de noviembre de 2025, denominada ChatGPT-5: cinco facetas, cinco conversaciones/rondas y ocho ítems por celda. Su CVI global es 0,707; por faceta es 0,707 en autoconciencia, 0,657 en gregarismo, 0,843 en apertura a ideas, 0,600 en complacencia y 0,729 en autodisciplina. No se detecta efecto medio de ronda, pero eso no equivale a reproducibilidad. Cincuenta de 200 ítems quedan bajo el umbral CVR 0,71 y 59 reciben menos de 6/7 en calidad. Treinta y dos tienen racionalidad de puntuación media menor de 3,5/4. Algunos fallos son sustantivos: A_1_5 obtiene CVR -1, puntuación 1,86 y calidad 0/7; E_4_5 también CVR -1 y calidad 0/7. El propio paper concluye correctamente que el filtrado experto sigue siendo necesario. La afirmación de generalización entre modelos es más débil: compara descriptivamente siete ítems GPT-4 de una sola faceta con 200 ítems ChatGPT-5 de cinco facetas, fechas e interfaces distintas, sin un contraste emparejado de modelo. Además, el suplemento revela que los estudios 1 y 3 no llamaron directamente a OpenAI: usaron `ai.shanxl.com`, una pasarela de terceros que afirmaba exponer `gpt-4-1106-preview`. No hay código, recibos, request IDs ni logs que verifiquen el backend o sus parámetros. En Study 2 tampoco se publica un identificador inmutable del backend de ChatGPT-5, system prompt, seed o exportación de conversaciones. El tercer estudio crea otros 40 ítems GPT-4, ocho por una única faceta de cada dominio Big Five, y los administra junto con facetas NEO-PI-R. Hay 443 casos válidos, 130 con criterios y 80 con retest de dos semanas. Los datos abiertos reproducen los resultados: alpha 0,75/0,84/0,70/0,57/0,61, retest 0,58/0,77/0,41/0,52/0,65 y convergencia con NEO 0,68/0,67/0,48/0,36/0,44 para N/E/O/A/C. Por tanto hay evidencia razonable para autoconciencia, gregarismo y en parte apertura, pero complacencia y autodisciplina tienen consistencia baja, apertura tiene retest 0,41 y complacencia converge solo 0,36. El CFA WLSMV informa RMSEA 0,03, CFI/TLI 0,95 y SRMR 0,11; este último es débil. La comparación de correlaciones interfactoriales medias, 0,385 en LLM-SJT frente a 0,494 en NEO, no establece por sí sola validez discriminante: la complacencia LLM correlaciona 0,39 con gregarismo y apertura NEO, más que 0,36 con complacencia NEO. De 35 correlaciones LLM-SJT con criterios, ocho tienen p<0,05 sin corregir y solo cuatro sobreviven un Bonferroni simple; el paper no preespecifica ajuste por multiplicidad. Los archivos OSF constituyen una aportación importante: licencia CC-BY-4.0, banco completo de 310 ítems, prompts, suplemento, datos `.sav`, salidas `.spv` e inputs CFA. Las cinco bases no tienen valores ausentes, los IDs son únicos, los 130 criterios y 80 retests enlazan con los 443 casos, y la auditoría reproduce CVR, medias, sumas, alphas, correlaciones y ANOVA. No hay duplicados exactos de stems u opciones. Pero el manuscrito dice publicar analysis scripts y en realidad ofrece viewers `.spv`, no sintaxis SPSS, además de dos `.inp` Mplus sin `.out`; la pipeline exacta no es ejecutable de extremo a extremo. Tampoco hay logs de generación, tiempos, tokens o costes. La afirmación de generar 100 ítems por 0,02-1,00 dólares y en pocos minutos es una estimación, no una medición de la pasarela usada. Todos los ítems generados colocan las respuestas de rasgo alto en A/B y bajo en C/D, una clave posicional transparente no evaluada frente a coaching, faking o deseabilidad social. El trabajo cubre cinco facetas, no todas las dimensiones/facetas Big Five, y la adecuación cultural se limita a jueces y participantes chinos, sin invariancia intercultural. La conclusión fiel es que el estudio ofrece evidencia de factibilidad valiosa, datos abiertos de buena integridad y éxito psicométrico parcial. No prueba un generador universal, reproducible o uniformemente válido, ni personalidad sintética; requiere procedencia verificable del modelo, scripts ejecutables, logs, tests de equivalencia, posiciones de respuesta aleatorizadas, replicación independiente, cribado experto y validación cultural más amplia.