El estudio convierte ítems de cuestionarios psicológicos sobre empatía, regulación emocional, asertividad e impulsividad en pruebas de juicio situacional para asistentes. Parte de 332 enunciados, reduce manualmente el conjunto a 260, usa Gemini 3 Pro para filtrar y reformular, y retiene 161. Gemini 3 genera 16 escenarios por enunciado, 2.576 candidatos, condicionados a una clase provisional AGREE, OPPOSE o AMBIGUOUS. Tres anotadores deben aceptar por unanimidad que cada escenario contiene un dilema, que las dos acciones se oponen y que la acción agree refleja el enunciado; tras excluir el 8%, el paper declara 2.357 SJT. Cada uno recibe preferencias humanas supuestamente de 10 personas de un pool de 550, con neutral como medio voto y N/A filtrado.
Para 25 LLM, los autores muestrean 20 respuestas por escenario a temperatura 1,0. El prompt obliga a recomendar exactamente una de las dos acciones, prohíbe la neutralidad o ambas posibilidades y limita la salida a dos frases; Gemini 3 Flash clasifica cada texto como agree, oppose o neither. Comparan la frecuencia de la acción asociada al rasgo con la distribución humana mediante Trait-Positive Rate, diferencia absoluta, consistencia de la opción mayoritaria y alineamiento direccional respecto a 0,5. Reportan que los modelos mantienen más del 90% de consistencia cuando la preferencia humana está cerca de 50/50; que la alineación mejora con consenso y capacidad, aunque algunos modelos frontera discrepan en 15%-20% de casos con consenso no unánime; y que los modelos pequeños suelen acercarse al azar. También muestran diferencias entre ratings directos 1-7 y conducta en SJT, especialmente en impulsividad.
La interpretación debe quedarse en la conducta producida bajo este instrumento. Obligar una sola acción elimina precisamente respuestas mixtas o neutrales, por lo que la consistencia entre 20 muestras no equivale a confianza epistémica calibrada y la sobreconfianza observada está parcialmente inducida por el prompt. Diez votos por escenario ofrecen una referencia gruesa y mayoritariamente estadounidense/británica, no una norma social universal. Los 2.357 SJT están anidados en 161 enunciados y los mismos raters y modelos generan medidas repetidas, pero no hay análisis jerárquico, intervalos, bootstrap por clúster ni tablas inferenciales. La validación del juez usa solo 100 respuestas declaradas todas correctas, sin balance de clases, acuerdo, cegamiento o análisis de errores. La comparación self-report/SJT muestra debilidad predictiva entre formatos en este diseño, no rasgos internos ni invalidez general de todo autoinforme.
Los artefactos oficiales publicados después del preprint mejoran la transparencia, pero solo permiten reproducción parcial. El CSV de Kaggle v3 contiene 2.262 escenarios, 95 menos que los 2.357 del paper, y omite enunciados fuente, juicios individuales, validaciones, salidas originales y resultados de los 25 modelos; sí reproduce exactamente los 1.348 denominadores de alto consenso de la Figura 4. Además, 109 scores no avanzan en medios puntos pese a que la documentación afirma 10 anotadores y neutral=0,5. El cuaderno oficial usa por defecto un Gemini, 500 filas y 6 repeticiones, no 25 modelos, 1.348 filas y 20 repeticiones; contiene JSON inválido por una coma final y el código trata asimétricamente un TPR de modelo igual a 0,5 frente a la fórmula estricta del paper. La aportación defendible es un benchmark SJT útil y parcialmente reproducible que revela brechas específicas de prompt, muestra y formato, no disposiciones latentes ni desalineamiento humano universal.