AI Psychometrics: Evaluating the Psychological Reasoning of Large Language Models with Psychometric Validities

Evaluación y validez psicométrica2025arXivRevisión editorial aprobada

Autores: Yibai Li, Xiaolin Lin, Zhenghui Sha, Zhiye Jin, Xiaobing Li

Palabras clave: Psychometrics

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

5
Autores
7
Hallazgos
24
Limitaciones
5
Evidencias

Resumen editorial

Español

El trabajo aplica PLS-SEM a respuestas de un cuestionario de trece ítems del Modelo de Aceptación Tecnológica sobre recomendaciones de Amazon. Compara 500 cuestionarios por cada uno de cuatro endpoints, GPT-3.5-turbo, GPT-4o, LLaMA-2-13B-chat y LLaMA-3-8B-instruct, con 248 participantes de Mechanical Turk, e informa que casi todos cumplen umbrales de validez convergente y discriminante y que los modelos nuevos producen estructuras más parecidas a las humanas. Sin embargo, cada fila sintética comienza con una respuesta 1-7 impuesta al azar y el modelo completa los otros doce ítems viendo el historial acumulado: una intervención que induce coherencia y no equivale al procedimiento humano. La llamada validez predictiva es R² dentro del mismo cuestionario y la externa se reduce a que dos rutas tengan signo positivo. No se publican prompts, respuestas, datos humanos, código ni proyectos SmartPLS. Además, las tablas no son internamente reproducibles: la fiabilidad compuesta de intención de compra de LLaMA-2 es aproximadamente 0,689 y no 0,90 con las cargas publicadas, ninguna de las quince diagonales Fornell-Larcker coincide con la raíz de su AVE y varios R² no se derivan de los coeficientes y correlaciones mostrados. Debe leerse como un caso de estudio HICSS sobre covarianza en completados secuenciales anclados al azar, no como prueba de actitudes latentes, equivalencia humana o razonamiento psicológico general.

English

The paper applies PLS-SEM to responses to a thirteen-item Technology Acceptance Model questionnaire about Amazon recommendations. It compares 500 questionnaires from each of four endpoints, GPT-3.5-turbo, GPT-4o, LLaMA-2-13B-chat and LLaMA-3-8B-instruct, with 248 Mechanical Turk participants, and reports that nearly all meet selected convergent- and discriminant-validity thresholds and that newer models produce more human-like structures. However, every synthetic row starts with a randomly imposed 1-7 answer, after which the model completes the other twelve items while seeing the accumulated history: an intervention that induces consistency and is not equivalent to the human procedure. The claimed predictive validity is in-sample R-squared from the same questionnaire, while external validity is reduced to two paths sharing a positive sign. Prompts, responses, human data, code and SmartPLS projects are not released. The tables are also internally irreproducible: LLaMA-2 purchase-intention composite reliability is about 0.689 rather than 0.90 from the published loadings, none of the fifteen Fornell-Larcker diagonals equals the square root of its AVE, and several R-squared values do not follow from the displayed coefficients and correlations. This is best read as a HICSS case study of covariance in randomly anchored sequential completions, not evidence of latent attitudes, human equivalence or general psychological reasoning.

Pregunta de investigación

¿Producen cuatro LLM estructuras de respuesta al Modelo de Aceptación Tecnológica que satisfacen determinados criterios PLS-SEM de validez convergente, discriminante y estructural, y parecen más próximas a las respuestas humanas en generaciones más nuevas?

Método

Para cada cuestionario sintético se selecciona un ítem al azar, se le asigna externamente una respuesta uniforme entre 1 y 7 y el modelo responde los doce restantes en orden aleatorio condicionado por todo el historial de preguntas y respuestas. Se generan 500 filas nominales por endpoint mediante OpenRouter. En paralelo, 286 participantes de Mechanical Turk responden en mayo de 2024 y 248 superan los filtros. Cinco análisis separados en SmartPLS estiman cargas, alfa, fiabilidad compuesta, AVE, Fornell-Larcker, rutas y R², con 5.000 remuestreos bootstrap.

Muestra: Cuatro muestras sintéticas de 500 completados de un único endpoint y procedimiento por modelo, más 248 personas finales de Mechanical Turk que declararon al menos dos compras en Amazon durante los tres meses anteriores. Los completados de un mismo endpoint no son 500 modelos ni mentes independientes, y la administración sintética con ancla aleatoria e historial visible difiere de la humana.

Hallazgos

  • GPT-3.5, GPT-4o, LLaMA-3 y la muestra humana cumplen los umbrales convergentes elegidos; LLaMA-2 presenta cargas y consistencia más débiles, especialmente en intención de compra.
  • El artículo declara que las cinco muestras superan Fornell-Larcker, aunque las diagonales publicadas no son las raíces cuadradas de los AVE correspondientes.
  • Los R² informados para intención de compra son 18,4%, 44,3%, 19,7%, 37,3% y 59,9% para GPT-3.5, GPT-4o, LLaMA-2, LLaMA-3 y humanos.
  • GPT-4o y LLaMA-3 muestran descriptivamente cargas, fiabilidad y R² mayores que sus predecesores bajo este procedimiento concreto.
  • La fiabilidad compuesta de intención de compra de LLaMA-2 calculada con las cuatro cargas publicadas es aproximadamente 0,689, no 0,90.
  • Ninguna de las quince diagonales publicadas en las matrices Fornell-Larcker coincide con la raíz del AVE; al recalcularlas, el criterio cualitativo aún se cumple con las correlaciones mostradas.
  • La identidad algebraica del modelo estandarizado produce R² aproximados de 17,5%, 43,0%, 23,4%, 42,0% y 45,0%; las diferencias mayores con la tabla, especialmente 45,0% frente a 59,9% en humanos, no se explican por redondeo.

Limitaciones

  • Uno de los trece valores de cada fila sintética no procede del modelo: se impone uniformemente al azar y condiciona todas las respuestas posteriores.
  • El historial visible de ítems y respuestas favorece coherencia semántica dentro de cada fila y no reproduce una administración independiente ni el procedimiento humano descrito.
  • El método denominado difusión no contiene proceso directo/inverso aprendido, calendario de ruido ni denoiser; es anclaje aleatorio seguido de completado condicional.
  • Las 500 filas por endpoint son muestras estocásticas de un sistema compartido, no 500 sujetos o modelos entrenados de forma independiente.
  • Los ítems TAM son semánticamente redundantes y pueden producir cargas y alfa altos por paráfrasis y seguimiento de instrucciones, sin un constructo psicológico interno.
  • Un único cuestionario sobre recomendaciones de Amazon no cubre razonamiento psicológico general, emociones, cognición social ni conducta real.
  • No se varían redacción, prompt de sistema, política de orden, idioma, proveedor o contexto y no se publica el experimento preliminar de temperatura y semilla mencionado.
  • No se facilitan slugs, proveedores aguas arriba, revisiones inmutables, fechas de ejecución, temperatura, top-p, semillas, prompt, esquema de salida, reintentos o fallos.
  • No se publican los 2.000 cuestionarios sintéticos, los 248 registros humanos, el código de recogida, los logs, el proyecto SmartPLS ni las exportaciones.
  • La validez predictiva se etiqueta a partir de R² in-sample del mismo cuestionario, sin holdout, criterio externo, conducta futura ni compra observada.
  • La validez externa se infiere de rutas con el mismo signo dentro de la misma encuesta, sin generalización entre poblaciones, contextos, tiempos o instrumentos.
  • No hay invariancia de medida, comparación multigrupo, prueba de equivalencia ni contraste formal entre generaciones de modelos.
  • Solo se informa Fornell-Larcker; faltan HTMT, cargas cruzadas publicadas y evidencia multimétodo.
  • La fiabilidad compuesta de intención de compra de LLaMA-2 no se reproduce con sus cargas y contradice la afirmación de que todas superan 0,70.
  • Las quince diagonales Fornell-Larcker contradicen los AVE de la tabla anterior, aunque el criterio cualitativo sobrevive al recálculo.
  • Varios R² no se derivan de los coeficientes de ruta y correlaciones mostrados; la discrepancia humana es especialmente grande.
  • Las rutas solo muestran estrellas: faltan errores estándar, intervalos, p exactas y configuración bootstrap más allá de 5.000 remuestreos.
  • No se corrigen múltiples hipótesis y que dos coeficientes sean significativos por separado no prueba que sean iguales entre grupos.
  • No se describen demografía, países, instrucciones, atención, exclusiones por motivo, datos ausentes ni representatividad de Mechanical Turk.
  • Se omiten revisión ética o exención, consentimiento, protección de participantes, cuantía del pago, duración y tarifa efectiva.
  • Treinta y ocho de 286 participantes desaparecen de la muestra final sin desglose entre abandono, cribado y control de calidad.
  • La versión arXiv apareció en 2026, pero el artículo oficial se publicó en HICSS 2025; el PDF oficial numera 5194-5202 y arXiv cita 5189-5197.
  • Crossref y ScholarSpace atribuyen la quinta autoría a Emily Lee, mientras ambos PDF y arXiv muestran Xiaobing Li.
  • No existe una sección de limitaciones, disponibilidad de datos/código, apéndice suplementario o repositorio identificable.

Qué no demuestra

  • No demuestra que los modelos posean las actitudes latentes medidas por TAM.
  • No establece razonamiento psicológico general a partir de un cuestionario de comercio electrónico con ítems redundantes.
  • No aporta validez predictiva frente a comportamiento futuro o datos retenidos.
  • No aporta validez externa entre poblaciones, contextos, momentos o instrumentos.
  • No demuestra equivalencia humana porque los procedimientos difieren y faltan invariancia y pruebas de equivalencia.
  • No prueba que GPT-4o o LLaMA-3 sean generalmente más válidos que sus predecesores; compara un endpoint por generación.
  • No ofrece tablas internamente consistentes de fiabilidad compuesta, Fornell-Larcker y R².
  • No permite reproducir la recogida o el análisis sin prompts, respuestas, datos, rutas de modelo, código y artefactos SmartPLS.
  • No vuelve transparente el mecanismo de la red neuronal; PLS-SEM describe covarianza entre salidas.
  • No sustenta conclusiones sobre decisiones éticas, alineamiento con valores humanos o comprensión de pensamientos y emociones.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2603.11279v1; HICSS 2025 DOI 10.24251/HICSS.2025.623

Fuente consultada: https://arxiv.org/abs/2603.11279

Revisión: Codex 15-page arXiv plus 9-page official HICSS visual full-text, psychometric-validity, sampling, arithmetic, data/code, human-ethics and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • GPT-3.5-turbo mediante OpenRouter
  • GPT-4o mediante OpenRouter
  • LLaMA-2-13B-chat mediante OpenRouter
  • LLaMA-3-8B-instruct mediante OpenRouter
  • SmartPLS para PLS-SEM

Instrumentos y métricas

  • Modelo de Aceptación Tecnológica de 13 ítems y escala Likert de 7 puntos
  • Cinco ítems de utilidad percibida
  • Cuatro ítems de facilidad de uso
  • Cuatro ítems de intención de compra
  • Cargas factoriales, alfa de Cronbach, fiabilidad compuesta y AVE
  • Criterio Fornell-Larcker
  • Coeficientes de ruta y R² en PLS-SEM

Datos utilizados

  • 2.000 cuestionarios sintéticos nominales, 500 por endpoint, no publicados
  • Encuesta Mechanical Turk de 286 participantes iniciales y 248 finales, no publicada
  • Proyecto y exportaciones SmartPLS no publicados

Evidencia y localización

  • Artículo, método, instrumento, tablas, discusión y referencias: arXiv:2603.11279v1, all 15/15 PDF pages rendered and individually inspected
  • Versión publicada, DOI, autores visibles, licencia y paginación oficial: HICSS 2025 DOI 10.24251/HICSS.2025.623, all 9/9 official proceedings PDF pages rendered and individually inspected
  • Fecha, paginación y conflicto de quinta autoría en metadatos: Official ScholarSpace item/bitstream metadata and Crossref DOI metadata inspected 2026-07-17
  • Ausencia de datos, código y proyecto de análisis en los materiales públicos: Official arXiv source archive and authenticated GitHub repository/code search inspected 2026-07-17
  • Reproducción de fiabilidad compuesta, AVE, Fornell-Larcker y R²; auditoría de muestreo, validez, ética y reproducibilidad: reports/verification/article-393-ai-psychometrics-random-anchor-pseudoreplication-validity-arithmetic-data-human-ethics-and-reproducibility-audit.json