An LLM-Native Psychometric Instrument Reveals a Self-Report--Behavior Gap Across 25 Models

Evaluación y validez psicométrica2026arXivRevisión editorial aprobada

Autores: Juan Manuel Contreras

Palabras clave: Personality, Persona conditioning, Psychometrics

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

1
Autores
9
Hallazgos
17
Limitaciones
4
Evidencias

Resumen editorial

Español

Este preprint construye un instrumento de autodescripción para LLM a partir de 240 ítems Likert y 60 escenarios administrados 30 veces a 25 configuraciones de 17 familias. El análisis factorial usa las corridas 1–15 para explorar y seleccionar 100 ítems; aunque el análisis paralelo sugiere 19 factores, el autor fuerza cinco por equilibrio, interpretación y replicación: Responsiveness, Deference, Guardedness, Boldness y Verbosity. La solución explica el 31,2% de la varianza, muestra alfa de 0,930–0,974 y Tucker phi de 0,957–0,976 entre mitades. Esa estabilidad no equivale a buen ajuste: el CFA estricto obtiene CFI 0,528 y el ESEM 0,646, ambos muy por debajo del criterio preregistrado de 0,95; el módulo público también calcula SRMR 0,113. Además, los ítems directos y de escenario que pretendían medir dimensiones correspondientes ordenan los modelos de forma casi no relacionada (media r = -0,067), por lo que el instrumento final usa solo Likert. La validación reúne 2.500 respuestas abiertas, 151 participantes de Prolific con 906 valoraciones no-gold sobre 300 textos y un conjunto de tres jueces LLM. Ninguna correlación factor por factor entre autoinforme y valoración humana excluye cero: Responsiveness 0,04, Deference 0,08, Guardedness 0,27, Boldness -0,05 y Verbosity 0,41. Verbosity es la señal más prometedora, alcanza el 74% del techo estimado de fiabilidad y es positiva dentro de prompt, pero no predice longitud bruta (r = 0,14). Responsiveness sí correlaciona con jueces LLM (r = 0,53) pero no con humanos, pese a que humanos y jueces coinciden (r = 0,59); una prueba de factor común rechaza que una sola variable latente no negativa explique las tres medidas (p = 0,007), sin identificar por sí sola el mecanismo. La auditoría reprodujo las cifras principales desde SQLite tras fijar manualmente scikit-learn 1.5.2. La receta oficial de clon limpio falla con la resolución actual de dependencias, omite ESEM y solo verifica automáticamente las alfas. El paquete OSF contiene las bases completas, pero dos CSV están desactualizados: judge_ratings.csv tiene 20 filas frente a 6.500 en SQLite y prolific_ratings.csv 745 frente a 1.125. La conclusión fiel es que estos 25 modelos generan autodescripciones muy estables bajo un formato concreto, pero esas puntuaciones predicen débilmente la conducta abierta observada y no establecen una ontología general de personalidad de los LLM.

English

This preprint builds an LLM self-description instrument from 240 Likert items and 60 scenarios administered 30 times to 25 configurations from 17 families. Runs 1–15 are used to explore the structure and select 100 items. Parallel analysis suggests 19 factors, but the author forces five on balance, interpretability, and replication grounds: Responsiveness, Deference, Guardedness, Boldness, and Verbosity. The solution explains 31.2% of item variance, with alpha from 0.930 to 0.974 and split-half Tucker phi from 0.957 to 0.976. Stability is not the same as good global fit: strict CFA yields CFI 0.528 and ESEM 0.646, both far below the preregistered 0.95 threshold; the public diagnostic also yields SRMR 0.113. Direct and scenario formats intended to target corresponding dimensions produce nearly unrelated model orderings (mean r = -0.067), so the final instrument uses Likert items only. Validation includes 2,500 open-ended responses, 151 Prolific participants providing 906 usable non-gold ratings on 300 texts, and a three-model LLM judge ensemble. No factor-level self-report–human correlation has a confidence interval excluding zero: Responsiveness 0.04, Deference 0.08, Guardedness 0.27, Boldness -0.05, and Verbosity 0.41. Verbosity is the strongest candidate, it reaches 74% of the estimated reliability ceiling and is positive within prompt, but it does not predict raw output length (r = 0.14). Responsiveness correlates with LLM judges (r = 0.53) but not humans, even though human and judge ratings agree (r = 0.59). A common-factor bound test rejects one nonnegative latent variable as an explanation of all three measures (p = 0.007), but does not uniquely identify the mechanism. The audit reproduced the main numbers from SQLite after manually pinning scikit-learn 1.5.2. The official clean-clone recipe fails under current dependency resolution, omits ESEM, and automatically verifies only alpha coefficients. The OSF archive contains the complete databases, but two standalone CSV exports are stale: judge_ratings.csv has 20 rows versus 6,500 in SQLite, and prolific_ratings.csv has 745 versus 1,125. The faithful conclusion is that these 25 models produce highly stable self-descriptions under one elicitation format, while those scores weakly predict observed open-ended behavior and do not establish a general ontology of LLM personality.

Pregunta de investigación

¿Una escala derivada de las propias respuestas de 25 LLM, en vez de categorías psicológicas humanas, produce factores estables y predice cómo humanos, jueces LLM y medidas textuales describen su conducta abierta?

Método

Se administran 300 ítems, 240 Likert directos y 60 escenarios, durante 30 conversaciones independientes a 25 configuraciones. Las corridas 1–15 alimentan EFA ponderada por modelo, selección de ítems y elección exploratoria de k=5; las 16–30 se usan para Tucker, CFA, ESEM y fiabilidad confirmatoria. La escala final conserva 100 ítems directos. La validez externa compara sus puntuaciones a nivel de modelo con 2.500 respuestas a 20 prompts conductuales, valoraciones de un conjunto de Claude Opus 4.6, GPT-5.4 y Gemini 3.1 Pro, 906 valoraciones humanas de 151 participantes sobre un subconjunto estratificado de 300 respuestas y seis proxies textuales. Se calculan correlaciones, bootstrap, fiabilidad del criterio, corrección por atenuación, modelos con errores agrupados/efectos cruzados, análisis dentro de prompt, jackknife por 17 familias y una prueba de factor común. La auditoría inspeccionó las 51 páginas, TeX, preregistro OSF, repositorio, escala y archivo OSF, y ejecutó la reproducción oficial y una ejecución corregida.

Muestra: Veinticinco configuraciones de 17 familias aportan 30 corridas de 300 ítems; dos rutas de DeepSeek R1 se agrupan como una configuración. La EFA trabaja con 375 observaciones modelo-corrida ponderadas sobre 240 ítems, pero el tamaño independiente efectivo entre modelos sigue siendo 25. La validación conductual usa 2.500 respuestas, 25 modelos por 20 prompts por cinco corridas. El subconjunto humano estratifica 300 respuestas por consenso de jueces; 151 participantes útiles aportan 906 valoraciones no-gold, 295 de 300 textos reciben al menos dos y el resto uno. El acuerdo de jueces se estima en 1.499 respuestas con los tres jueces; el resto recibe dos por exclusión de proveedor.

Hallazgos

  • La solución forzada de cinco factores retiene 100 de 240 ítems directos, explica 31,2% de la varianza y replica entre mitades con Tucker phi de 0,957 a 0,976; las alfas van de 0,930 a 0,974.
  • El ajuste global no valida una estructura factorial limpia: CFA CFI/TLI = 0,528/0,518 y ESEM = 0,646/0,605; RMSEA es 0,079/0,072 y el diagnóstico residual da SRMR 0,113.
  • Los formatos directo y escenario producen ordenaciones casi no relacionadas en dimensiones emparejadas, con media r = -0,067; los escenarios quedan fuera de la escala final.
  • Ninguna correlación por factor entre autoinforme y valoración humana excluye cero; la media descriptiva es 0,15 y las estimaciones oscilan entre -0,05 y 0,41.
  • Verbosity muestra el patrón más consistente: r = 0,41 con humanos, corrección por atenuación de 0,74 y asociación positiva dentro de prompt, pero r = 0,14 con longitud bruta.
  • Responsiveness correlaciona 0,53 con jueces y 0,04 con humanos mientras humanos y jueces correlacionan 0,59; la desigualdad de factor común se viola con p = 0,007.
  • Humano y jueces coinciden moderadamente a nivel de modelo, media r = 0,51, pero el ICC entre jueces queda por debajo del umbral de 0,65 en Responsiveness, Deference y Boldness.
  • La base SQLite reproduce 151 participantes, 906 valoraciones útiles y 295/300 textos con al menos dos valoraciones; los CSV sueltos de jueces y Prolific son exportaciones parciales anteriores.
  • Las cifras principales y ESEM se regeneran con los datos públicos tras añadir scikit-learn 1.5.2; sin ese pin, la receta oficial falla antes de completar la EFA.

Limitaciones

  • El documento es un preprint de un único autor y la prioridad proclamada como primer instrumento nativo no se verifica mediante este estudio.
  • El análisis paralelo preregistrado sugiere 19 factores; k=5 se fuerza después por interpretación, equilibrio y replicación, por lo que la estructura sigue siendo exploratoria.
  • Con 25 modelos y 240 ítems, la EFA viola ratios convencionales; ponderar 15 corridas por modelo evita inflar peso, pero no crea más unidades independientes ni valida familias nuevas.
  • La selección y la comprobación de estructura usan el mismo conjunto de 25 configuraciones; se separan corridas, no familias o modelos reservados.
  • CFI y TLI de CFA y ESEM quedan muy por debajo del umbral preregistrado; el propio módulo ESEM califica el ajuste residual como pobre.
  • La casi nula convergencia entre ítems directos y escenarios indica fuerte sensibilidad al formato; la escala publicada solo mide respuestas Likert estandarizadas.
  • La aquiescencia no puede descartarse: los cinco factores muestran brechas de signo de carga inferiores a 0,3 y Boldness/Verbosity tienen pocos ítems negativos.
  • La validez primaria tiene N=25 modelos, 20 prompts y 300 textos humanos; los ICC humanos por texto son 0,18–0,43 y los intervalos por factor son amplios.
  • El subconjunto humano se estratifica por terciles de consenso de jueces, ensanchando deliberadamente el rango; su acuerdo humano-juez no describe una muestra aleatoria de las 2.500 respuestas.
  • Dos modelos cruzados de todos los prompts, Deference y Verbosity, no convergen en la ejecución pública, aunque el texto resume el patrón como robusto entre estimadores.
  • Los proxies objetivos son heurísticos; el léxico de rechazo correlaciona negativamente con Guardedness humana y no puede interpretarse como validación.
  • Quince celdas de validez primaria se presentan con intervalos descriptivos sin corrección de multiplicidad; la inversión on-target de Responsiveness tampoco sobrevive Holm y usa un criterio casi no fiable.
  • El diseño es transversal, en inglés, con una envoltura y temperatura fija; versiones, proveedores y rutas pueden cambiar y varias configuraciones comparten familia.
  • La reproducción oficial no fija scikit-learn, omite ESEM, tolera fallos de scripts de apéndice y comprueba automáticamente solo alfas; no hay tests, CI ni lockfile.
  • judge_ratings.csv y prolific_ratings.csv están desactualizados frente a SQLite, mientras el README los describe como datos de jueces y humanos sin advertir esa diferencia.
  • Los IDs de Prolific se pseudonimizan con un hash truncado estable y una sal pública; no se publican IDs brutos, pero el esquema facilita vinculación interna y eventual comparación si los IDs originales se filtrasen.
  • La documentación del módulo ESEM conserva texto obsoleto de siete factores aunque ejecuta cinco, y su matriz de información requiere inversa de Moore-Penrose.

Qué no demuestra

  • No demuestra que los LLM posean personalidad, autoconocimiento, rasgos internos o una identidad comparable a la humana.
  • No demuestra que cinco factores sean la ontología verdadera o universal de los LLM; son una solución exploratoria para este pool y formato.
  • No valida la estructura en modelos o familias nuevas, otros idiomas, temperaturas, wrappers, tareas o interacciones prolongadas.
  • No demuestra que todo autoinforme de LLM carezca de utilidad conductual; Verbosity conserva señales parciales y podrían existir moderadores o tareas específicas.
  • No prueba que la valoración humana sea una verdad absoluta ni que los jueces LLM sean inválidos en general; documenta desacuerdos dependientes del constructo y el método.
  • La prueba p = 0,007 descarta un único factor común no negativo para Responsiveness, pero no identifica causalmente alineamiento, modalidad, RLHF o estilo como fuente compartida.
  • No establece que las diferencias entre modelos procedan de tamaño, país, arquitectura, mezcla de expertos o proveedor; ningún efecto de metadatos sobrevive corrección.
  • No establece equivalencia psicométrica con personas ni que alfa o Tucker altos impliquen validez externa.
  • No ofrece una reproducción limpia sin intervención bajo el contrato de dependencias publicado.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2606.09843v3

Fuente consultada: https://arxiv.org/abs/2606.09843

Revisión: Codex 51-page visual full-text, TeX, OSF preregistration/data, repository, psychometrics, statistics, privacy and clean-reproduction audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Claude Opus 4.6
  • Claude Sonnet 4.6
  • Claude Haiku 4.5
  • GPT-5.4
  • GPT-5.4 Mini
  • GPT-5.4 Nano
  • GPT-OSS 120B
  • Gemini 3.1 Pro
  • Gemini 3.1 Flash
  • Gemma 3 27B
  • Grok 4.20 Beta
  • DeepSeek V3.2
  • DeepSeek R1
  • Qwen 3.5
  • Kimi K2.5
  • GLM-5
  • MiniMax M2.5
  • MiMo-V2-Pro
  • Mistral Large 3
  • Llama 4 Maverick
  • Command A
  • Nova 2 Pro
  • Phi 4
  • Jamba Large 1.7
  • Nemotron 3 Super

Instrumentos y métricas

  • AI-Native Behavioral Instrument v1: 100 Likert items
  • Candidate pool: 240 direct Likert and 60 scenario items
  • BFI-44
  • Five-factor PAF EFA with oblimin rotation
  • CFA, ESEM and Tucker congruence
  • Cronbach alpha, McDonald omega and split-half reliability
  • Twenty open-ended behavioral prompts
  • Three-model LLM-as-judge ensemble
  • Prolific human rating instrument
  • Objective length, formatting, enthusiasm, disclaimer, offer and refusal proxies
  • Bootstrap, attenuation correction, clustered sensitivity analyses and common-factor bound test

Datos utilizados

  • OSF psycho-llm-data-v1 archive
  • 258,097 self-report and BFI response rows
  • 2,500 successful open-ended behavioral responses
  • 6,500 LLM judge ratings in responses.db
  • 906 usable non-gold human ratings from 151 Prolific participants
  • Public 100-item scale, reference norms and 25-model scores
  • OSF preregistration 8y7ka

Evidencia y localización

  • Diseño, preregistro, factores, ajuste, fiabilidad, validez, sensibilidad, límites y apéndices: arXiv:2606.09843v3, 51 páginas renderizadas e inspeccionadas; TeX completo
  • Código, escala, semillas, dependencias, reproducción, ESEM y reportes regenerados: jm-contreras/psycho-llm commit 17cdd2e340ad1de1c8bef90b5060d73072cbfda9
  • Bases completas, exportaciones CSV, cardinalidades, pseudonimización y resultados humanos: OSF psycho-llm-data-v1 SHA-256 23476cd66e77b2d5025dbd91a7fd82fd6bc8233490f3109348360eb5940bf135
  • Auditoría de constructo, datos, código, estadística, privacidad y reproducibilidad: reports/verification/article-360-llm-native-psychometrics-factor-validity-data-code-privacy-and-reproducibility-audit.json