Personality Without Persons? A Psychometric Critique of Big Five Testing in Large Language Models

Evaluación y validez psicométrica2026arXivRevisión editorial aprobada

Autores: Kim Zierahn, Cristina Cachero, Anna Korhonen, Nuria Oliver

Palabras clave: Personality, Psychometrics, Big Five, Construct validity, Measurement invariance

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

4
Autores
8
Hallazgos
10
Limitaciones
6
Evidencias

Resumen editorial

Español

Este preprint y envío declarado a AIES 2026 pregunta si los cuestionarios Big Five permiten atribuir a los LLM diferencias de personalidad comparables a las humanas. El estudio cubre tres requisitos: que los ítems describan de forma apropiada a un chatbot, que las puntuaciones distingan modelos y que las respuestas reproduzcan la estructura latente de cinco factores. En la primera fase, tres expertos, dos de ellos autores, evaluaron cinco inventarios. Los dos adaptados a LLM, BFI-LLM y LMLPA, superaron el umbral de adecuación para chatbots; BFI-44, IPIP-NEO-120 y MPI no. Un piloto con nueve modelos, dos inventarios finalistas, siete plantillas y tres repeticiones seleccionó BFI-LLM y una plantilla que identifica la tarea como evaluación psicológica. En la segunda fase se administraron por separado 44 ítems a 244 entradas de modelos de 49 familias, con dos órdenes visuales de la misma escala 1–5 y cinco repeticiones por orden. De 107.352 filas BFI deduplicadas que contiene el repositorio, el preprocesado reproduce las 106.058 respuestas válidas declaradas. Las medias se concentran en los extremos socialmente deseables: alta amabilidad, responsabilidad, extraversión y apertura, y bajo neuroticismo. El modelo mixto atribuye 3% de la varianza a un intercepto general por modelo, 37% al ítem, 32% a la interacción modelo–ítem y 28% al residual. La CFA robusta sobre la matriz 244 × 44 presenta ajuste muy deficiente; apertura, responsabilidad, extraversión y amabilidad correlacionan entre .92 y .99, y los ítems invertidos cargan mucho peor que los positivos. Una EFA de dos factores tampoco ajusta bien. Este es el hallazgo más sólido: bajo este protocolo de autorreporte, no se recupera la estructura Big Five humana y las etiquetas de rasgo no tienen validez estructural demostrada. La conclusión debe ser más estrecha que parte del texto. El 3% corresponde al nivel general de respuesta por modelo y no elimina la interacción modelo–ítem del 32%; por tanto, no prueba que los modelos carezcan de diferencias estables. Las comparaciones con normas humanas usan ítems adaptados y no disponen de invariancia o equiparación de medida, de modo que son referencias direccionales, no una comparación normativa directa. Los 19 pares base/instruction muestran desplazamientos socialmente deseables en cuatro rasgos, pero mezclan rutas de inferencia, proveedores, plantillas y valores por defecto; sugieren una asociación con instruction tuning, no identifican causalmente el alineamiento como motor principal. La auditoría del repositorio encuentra datos y código sustanciales, pero no reproducción de un comando: el preprocesado escribe en `final_df` y R lee `final_dfs`, faltan derivados, entorno R, pruebas, CI, licencia e instrucciones de ejecución. Además, el parser toma el primer dígito 1–5 de muchas explicaciones. Una sensibilidad que prioriza una respuesta final explícita cambia 2.369 filas BFI de 92 modelos: las medias globales apenas varían, pero una puntuación individual puede cambiar hasta 1,17 puntos. Por ello, el patrón agregado es informativo, mientras que rankings por modelo, diferencias de familia, país o subgrupo no deben tratarse como medidas de personalidad validadas.

English

This preprint, described by its repository as an AIES 2026 submission, asks whether Big Five questionnaires support personality attributions to LLMs that are comparable to human traits. It examines three requirements: whether items appropriately describe chatbots, whether scores differentiate models, and whether responses reproduce the expected five-factor latent structure. In phase one, three experts, two of them authors, rated five inventories. The LLM-adapted BFI-LLM and LMLPA passed the chatbot-suitability threshold, whereas BFI-44, IPIP-NEO-120, and MPI did not. A pilot with nine models, two finalist inventories, seven prompt templates, and three repetitions selected BFI-LLM and a template that explicitly frames the task as a psychological evaluation. In phase two, 44 items were sent separately to 244 model entries from 49 families, using two visual orders of the same 1–5 mapping and five repetitions per order. The released repository contains 107,352 deduplicated BFI rows, and its preprocessing reconstructs the reported 106,058 valid responses. Means cluster toward socially desirable endpoints: high Agreeableness, Conscientiousness, Extraversion, and Openness and low Neuroticism. A mixed model assigns 3% of variance to a general model intercept, 37% to item, 32% to model-by-item interaction, and 28% to residual variation. Robust CFA on the 244 × 44 matrix fits very poorly; Openness, Conscientiousness, Extraversion, and Agreeableness correlate at .92–.99, while reverse-keyed items load much more weakly than positive items. A two-factor EFA also fits inadequately. This is the strongest finding: under this self-report protocol, the human Big Five structure is not recovered and trait labels lack demonstrated structural validity. The conclusion must be narrower than some of the paper's prose. The 3% term represents each model's general response level and does not erase the 32% model-item interaction, so it does not prove that models lack stable differences. Human reference values come from the original BFI while model values use adapted stems, with no measurement-invariance or scale-linking study; they are directional context, not directly equivalent norms. Nineteen base/instruction pairs shift in a socially desirable direction on four traits, but the comparison mixes inference routes, providers, templates, and defaults; it suggests an association with instruction tuning rather than causally identifying alignment as the primary driver. The repository is unusually substantial, with raw responses and analysis code, but it is not one-command reproducible: preprocessing writes `final_df` while R reads `final_dfs`, derived files, an R environment, tests, CI, a license, and run instructions are absent. The parser also takes the first standalone 1–5 digit from many explanatory responses. A sensitivity rule prioritizing a later explicit final answer changes 2,369 BFI rows across 92 models. Global means move little, but an individual model-trait score changes by as much as 1.17 points. The aggregate pattern is therefore informative, while model rankings and family, country, or subgroup contrasts should not be treated as validated personality measurements.

Pregunta de investigación

¿Cumplen las aplicaciones del Big Five a LLM tres requisitos psicométricos básicos: contenido adecuado para describir chatbots, diferencias interpretables entre modelos y una estructura interna coherente con los cinco factores humanos?

Método

Estudio psicométrico en dos fases. Tres expertos valoraron 252 ítems de cinco inventarios mediante S-CVI y Gwet AC2; un piloto factorial con nueve modelos comparó BFI-LLM y LMLPA bajo siete plantillas. La fase principal administró 44 ítems BFI-LLM por separado a 244 configuraciones de modelo, con dos órdenes visuales y cinco repeticiones por orden. Analizó descriptivos, comparación orientativa con normas humanas, un modelo lineal mixto cruzado, alfa, omega, CFA robusta, análisis paralelo/EFA y comparaciones exploratorias por tamaño, fecha, razonamiento, licencia, origen, familia y 19 pares base/instruction.

Muestra: Fase de contenido: tres expertos, dos autores. Piloto: nueve LLM. Fase principal: 244 entradas de modelo, 49 familias; 112 de empresas estadounidenses, 98 chinas, 21 francesas, cuatro de EAU y nueve de otros orígenes; 109 propietarias y 135 open-weight; 92 etiquetadas como reasoning. El repositorio contiene 107.352 filas BFI deduplicadas y 106.058 respuestas que su parser considera válidas.

Hallazgos

  • BFI-LLM y LMLPA superan el umbral de adecuación para chatbots del panel; BFI-44, IPIP-NEO-120 y MPI no, aunque el panel pequeño y parcialmente autor limita la independencia de esta conclusión.
  • Las puntuaciones de modelos se desplazan hacia los extremos socialmente deseables y presentan menor dispersión que las referencias humanas publicadas.
  • La descomposición reportada es 3% modelo, 37% ítem, 32% interacción modelo–ítem y 28% residual; el 3% mide elevación general, mientras que la interacción conserva diferencias específicas por ítem.
  • La CFA de cinco factores ajusta muy mal (CFI .53, TLI .50, RMSEA .17, SRMR .33) y cuatro factores correlacionan .92–.99; una EFA de dos factores tampoco alcanza ajuste adecuado.
  • Los ítems invertidos muestran cargas mucho menores que los positivos, compatible con un fuerte efecto de redacción/negación y no con cinco rasgos separables.
  • Diecinueve pares base/instruction cambian en dirección socialmente deseable para cuatro rasgos, pero Neuroticismo no es significativo en el t pareado público y el diseño no identifica un efecto causal del alineamiento.
  • La reproducción independiente confirma el recuento de 106.058 válidos y las medias globales, pero una sensibilidad del parser modifica 2.369 respuestas BFI de 92 modelos y altera fuertemente algunos perfiles individuales.
  • El artefacto público permite auditoría sustancial, pero los análisis R no se ejecutan desde un clon limpio sin reconstruir derivados y corregir la ruta `final_df`/`final_dfs`.

Limitaciones

  • Solo se prueban contenido, distribución y estructura interna bajo una plantilla inglesa; no hay estabilidad temporal, consistencia entre situaciones ni predicción de comportamiento real.
  • Las normas humanas BFI-44 y los ítems BFI-LLM adaptados no están equiparados ni sometidos a invariancia de medida, de modo que sus medias y dispersiones no son directamente comparables.
  • Los 244 registros no son unidades independientes: incluyen checkpoints, variantes y familias que comparten arquitectura y datos; la CFA y la mayoría de comparaciones no modelan esa dependencia.
  • El parser de primer dígito puede confundir números mencionados en explicaciones con la respuesta final y afecta especialmente a resultados por modelo y subgrupo.
  • El código promedia normalmente diez respuestas por ítem, cinco por cada orden, mientras el texto describe una agregación de cinco repeticiones.
  • El test KS usa parámetros normalizados estimados en la misma muestra sin corrección de Lilliefors; sus p-valores de normalidad no son inferencia formal calibrada.
  • La comparación base/instruction mezcla proveedores, chat templates, restricciones JSON y valores por defecto, y algunos pares cambian en dirección contraria al promedio.
  • Los análisis geográficos y por familia están confundidos con empresa, arquitectura, tamaño, licencia, proveedor y alineamiento; Francia equivale únicamente a Mistral.
  • El repositorio carece de entorno R fijado, pruebas, CI, licencia, guía de reproducción y derivados requeridos; usa alias de API y defaults de proveedor mutables.
  • El texto confunde Q1 con Q3 para Extraversion y Openness y denomina respuestas a puntuaciones agregadas por modelo.

Qué no demuestra

  • No demuestra que los LLM carezcan de toda dimensión conductual estable o de diferencias entre modelos; demuestra que este protocolo no valida la estructura Big Five humana.
  • No demuestra que el 32% de interacción modelo–ítem sea irrelevante ni que el 3% de intercepto general resuma toda la diferenciación entre modelos.
  • No establece equivalencia cuantitativa entre puntuaciones de chatbots y normas humanas ni permite percentiles humanos válidos para modelos.
  • No identifica causalmente instruction tuning o alignment como motor principal de las puntuaciones socialmente deseables.
  • No valida rankings de personalidad de modelos, familias, empresas, países o regiones.
  • No mide cultura o personalidad nacional; el país es una etiqueta de procedencia empresarial fuertemente confundida.
  • No prueba que los ítems adaptados tengan estabilidad, validez criterial o relevancia para conducta fuera de la tarea de autorreporte.
  • No constituye todavía una reproducción ejecutable de un comando pese a publicar datos y scripts extensos.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2607.02325v1; AIES 2026 submission, not an identified acceptance

Fuente consultada: https://arxiv.org/pdf/2607.02325

Revisión: Codex 19-page full-text visual, TeX, publication, psychometric, raw-data, parser, code and reproducibility audit, 2026-07-16

Aprobación: Codex fidelity pass, 2026-07-16

Modelos evaluados

  • 244 model entries from 49 families
  • 19 matched base and instruction-tuned pairs
  • Nine-model pilot sample

Instrumentos y métricas

  • BFI-44
  • IPIP-NEO-120
  • Machine Personality Inventory (MPI)
  • BFI-LLM
  • Language Model Linguistic Personality Assessment (LMLPA)
  • 15-item social-desirability inventory collected in the repository but not central to the manuscript

Datos utilizados

  • Official BigFive-LLM-Evaluation repository: 244 large-scale response CSVs
  • Nine pilot-response CSVs
  • Expert item-rating dataset
  • Model metadata for 244 entries
  • McConochie 2007 human BFI-44 normative reference

Evidencia y localización

  • Estatus de preprint, autores, fecha y alcance declarado: Official arXiv record 2607.02325v1 and 19-page PDF, checked 2026-07-16
  • Contenido, piloto y diseño principal: arXiv v1, Sections 4-5 and Appendices A-C
  • Varianza, fiabilidad, CFA, EFA y pares base/instruction: arXiv v1, Results and Appendices F-G
  • Limitaciones reconocidas: arXiv v1, Discussion and Limitations
  • Datos crudos, parser, rutas, notebooks y recuentos: Official repository ellisalicante/BigFive-LLM-Evaluation at commit 62ab01bdc7335c372593a011961501e4d58eb438
  • Sensibilidad independiente del parser y auditoría consolidada: reports/verification/article-283-aies-submission-big-five-content-validity-parser-variance-factor-reproducibility-and-claim-audit.json