Wang y colaboradores proponen sustituir la lectura de benchmarks como colecciones de tareas por una evaluación orientada a constructos: dimensiones latentes que deben predecir y explicar rendimiento en múltiples contextos. El artículo, una pieza metodológica revisada por pares y no un experimento nuevo, organiza el proceso en tres fases. Primero se identifica el constructo desde teoría y expertos o desde patrones empíricos; después se diseña y puntúa el test, con herramientas posibles como IRT, diagnóstico cognitivo y evaluación adaptativa; finalmente se exige evidencia de fiabilidad y de validez de constructo, convergente, discriminante y predictiva. Su advertencia central es especialmente relevante para personalidad: aplicar a un LLM un autoinforme humano no demuestra el mismo rasgo, porque pueden cambiar la relación entre constructo e indicadores y variaciones menores del prompt u orden alteran las respuestas. También deja abiertos problemas de unidad de análisis, qué cuentan como persona y población entre prompts, personas simuladas y versiones, sensibilidad, alignment faking y comparación humano-IA mediante DIF. El marco es valioso como lista de garantías y lenguaje común, pero no implementa el pipeline, no valida una escala, no prueba modelos ni realiza revisión sistemática. Los ejemplos cuantitativos proceden de trabajos citados. Tampoco operacionaliza supuestos críticos de IRT, tamaño/calibración, independencia local, invariancia, contaminación o deriva de modelos. Por ello respalda exigir validez antes de hablar de personalidad o capacidad, no que los LLM posean rasgos humanos ni que exista ya una escala universal y predictiva.
Pregunta de investigación
¿Cómo puede la psicometría convertir la evaluación de IA generalista en una medición orientada a constructos con poder predictivo, explicativo y controles de calidad, y qué errores deben evitarse al trasladar pruebas humanas?