Apparent Psychological Profiles of Large Language Models are Largely a Measurement Artifact

This preprint asks whether psychological scores assigned to LLMs with human instruments reflect traits or a directional response bias. Its central idea is strong: on a forward-keyed item, a high trait and a preference for high scale values push in the same direction; on a reverse-keyed item, the trait changes sign while a scale- or label-direction preference does not. The study administers the IPIP-NEO-300 and 24 risk-preference instruments to 56 instruction-tuned systems, 46 open-weight models from 1B to 70B and ten proprietary APIs, and compares them with 20,993 human personality respondents and 1,507 risk-battery participants. Each model is treated as one default-state respondent. The reference condition uses a fresh chat per item, standard option order, and greedy output; robustness checks vary context, text versus logit extraction, option flipping, model size, and teacher-forced human trajectories. The main signal is clear. Across models, forward-versus-reverse item-mean correlations are positive for all Big Five traits, +0.61 to +0.81; across humans they are negative, -0.69 to -0.82. Removing five globally constant responders weakens but never reverses the result. An independent sensitivity analysis selecting one model from each of 19 model/provider families keeps the correlation positive in 10,000/10,000 draws for every trait, so the sign is not simply an artifact of counting many related variants. The paper maps these correlations to response-bias variance shares of 81-90% in LLMs and 9-16% in humans. That mapping is approximate rather than an exact identity for observed finite-item means with unequal forward and reverse item counts. Directly computing Var(b-hat)/(Var(theta-hat)+Var(b-hat)) from the public data changes the values by less than one percentage point and preserves the headline ranges. However, theta-hat and b-hat are not empirically uncorrelated by construction: correlations reach roughly plus or minus 0.28 in LLMs and plus or minus 0.31 in humans, as unequal error and model violation permit. The mathematical statement should therefore be read under its assumptions. The second result links response orthogonality, balance between directions, to internal consistency. Across 29 instruments, minority-keying proportion correlates -0.95 with LLM mean inter-item correlation, versus -0.41 in humans; ten alternative conditions remain between -0.83 and -0.95. Nearly unidirectional instruments can yield alpha 0.85-0.96 in LLMs, while balanced tasks approach zero or reach alpha -0.52. This is strong evidence that a high alpha can be direction-driven and does not by itself establish a construct. Still, it is an association across 29 heterogeneous instruments: domain, format, content, and keying change together, Cronbach alpha does not exhaust reliability, and humans also lose some consistency with reversed items. Forward-only and reverse-only profiles likewise move substantially for models. Mean absolute instability is 0.48 for open models, 0.23 for proprietary models, and 0.09 for the average human. But the claim of a stable cross-domain model bias needs qualification. The reproduced supplement shows 35/56 models are constant on at least one of 14 subscales; after excluding models constant on one or more, mean cross-scale absolute-bias correlation falls from 0.486 to 0.087 and ICC from 0.418 to 0.024. Stability remains appreciable within the Big Five battery but is weak across risk scales and domains. Proprietary heterogeneity is also obscured by the main text. With only ten systems, non-reasoning correlations are +0.170, -0.381, +0.681, -0.215, and +0.140 for O/C/E/A/N; reasoning correlations are +0.271, -0.340, +0.257, +0.303, and -0.633, with wide intervals. They are not uniformly positive. Gemini-3.1-Flash-Lite reasoning also has 63/300 missing answers because all 300 calls terminate at the token limit; group means silently omit them. This does not affect the non-reasoning main panel, but it qualifies the supplementary comparison and conflicts with the exclusion account. The claim that capability reduces bias is suggestive rather than identified: parameter associations are weak and non-significant; open-versus-proprietary comparisons confound capability with provider, architecture, date, training, API, and decoding; and of five trait-wise tests only Agreeableness, not Neuroticism, survives Bonferroni. The artifact release is unusually useful. In a clean Python 3.11 environment, dependencies installed and run_all.py regenerated 17/17 analyses with zero skips and zero failures from about 590 MB of OSF data; central figures match and all Python compiles. The repository has a license, one-command runner, generation and preprocessing code, and extensive processed data. It is not end-to-end reproduction: about 10 GB of source responses are request-only; tests, CI, a lockfile, OSF snapshot hashes, and the repeatedly cited SI are absent from arXiv, GitHub, and OSF. More seriously, the documented generation environment is currently unsatisfiable because transformers==5.0.0.dev0 is not available from the package index and the claimed exact commit is not published. The defensible conclusion is important but narrower than the title: these human personality and risk instruments, under the tested conditions, are heavily contaminated by response direction and do not license reading alpha or scores as stable traits. The study does not show that every psychological profile, every LLM disposition, or every machine-specific assessment is an artifact. The valid recommendation is to balance response direction, inspect forward and reverse items separately, model artifacts explicitly, and validate LLM-specific behavioral instruments before attributing personality.

Este preprint examina si las puntuaciones psicológicas asignadas a LLM mediante instrumentos humanos reflejan rasgos o un sesgo direccional de respuesta. Su idea central es sólida: en un ítem directo, un rasgo alto y una preferencia por valores altos empujan la respuesta en la misma dirección; en un ítem inverso, el rasgo cambia de signo pero el sesgo de escala o etiqueta no. El estudio administra IPIP-NEO-300 y 24 instrumentos de preferencia por el riesgo a 56 sistemas instruction-tuned, 46 modelos de pesos abiertos de 1B a 70B y diez APIs propietarias, y los compara con 20.993 respuestas humanas de personalidad y 1.507 participantes de riesgo. Cada modelo se trata como un único respondente en estado por defecto. En la condición principal, cada ítem aparece en un chat nuevo, con orden estándar y decodificación codiciosa; las pruebas de robustez varían contexto, extracción por texto o logits, inversión de opciones, tamaño y trayectorias humanas teacher-forced. La señal principal es muy clara. Entre modelos, la correlación entre medias de ítems directos e inversos es positiva en los cinco Big Five, de +0,61 a +0,81; entre humanos es negativa, de -0,69 a -0,82. Excluir los cinco modelos que contestan siempre el mismo valor reduce pero no invierte ningún resultado. Una sensibilidad independiente que selecciona un único modelo de cada una de 19 familias mantiene correlaciones positivas en 10.000/10.000 sorteos para cada rasgo, por lo que el signo no depende simplemente de contar muchas variantes emparentadas. El artículo traduce las correlaciones a una proporción de varianza por sesgo de 81-90% en LLM y 9-16% en humanos. Esa traducción es aproximada, no una identidad exacta para medias observadas con error finito y distinto número de ítems directos e inversos. Al calcular directamente Var(b̂)/(Var(θ̂)+Var(b̂)) con los datos públicos, las diferencias frente a la fórmula son menores de un punto porcentual y los rangos centrales se conservan. Sin embargo, θ̂ y b̂ no son empíricamente ortogonales por construcción: sus correlaciones alcanzan aproximadamente ±0,28 en LLM y ±0,31 en humanos, como permite el error desigual y la violación del modelo aditivo. La afirmación matemática debe leerse como una aproximación bajo supuestos. El segundo resultado relaciona ortogonalidad de respuesta, equilibrio entre direcciones, con consistencia interna. En 29 instrumentos, la proporción de clave minoritaria correlaciona -0,95 con la correlación media entre ítems de LLM, frente a -0,41 en humanos; diez condiciones alternativas mantienen valores entre -0,83 y -0,95. Los instrumentos casi unidireccionales pueden producir alfa de 0,85-0,96 en LLM, mientras tareas equilibradas se acercan a cero o llegan a alfa -0,52. Es evidencia fuerte de que un alfa alto puede ser artefacto de dirección y no demostrar un constructo. Aun así, es una asociación entre 29 instrumentos heterogéneos: dominio, formato, contenido y keying cambian juntos, Cronbach alfa no agota la fiabilidad, y los humanos también pierden algo de consistencia con ítems inversos. La comparación de perfiles confirma que elegir solo ítems directos o inversos puede mover mucho las puntuaciones de los modelos. La inestabilidad media absoluta es 0,48 en modelos abiertos, 0,23 en propietarios y 0,09 en el humano promedio. Pero la afirmación de que existe un sesgo estable y transversal necesita matiz. El suplemento reproducido muestra que 35 de 56 modelos son constantes en al menos una de 14 subescalas; al excluir los constantes en una o más, la correlación media de magnitud de sesgo entre las 14 escalas cae de 0,486 a 0,087 y el ICC de 0,418 a 0,024. La estabilidad sigue siendo apreciable dentro de Big Five, pero es débil en riesgo y entre dominios. La heterogeneidad propietaria también queda oculta en el texto principal. Con solo diez sistemas, las correlaciones no-reasoning son +0,170, -0,381, +0,681, -0,215 y +0,140 para O/C/E/A/N; en reasoning son +0,271, -0,340, +0,257, +0,303 y -0,633, con intervalos muy amplios. No son uniformemente positivas. Además, Gemini-3.1-Flash-Lite reasoning tiene 63 de 300 respuestas ausentes porque las 300 llamadas terminan por límite de tokens; el código las omite silenciosamente. No afecta al panel principal no-reasoning, pero sí al contraste suplementario y contradice la descripción de exclusiones. La afirmación de que mayor capacidad reduce el sesgo es sugerente, no identificada: las asociaciones con parámetros son débiles y no significativas; la comparación abierto-propietario confunde capacidad con proveedor, arquitectura, fecha, entrenamiento y API; y, de cinco pruebas, solo Amabilidad sobrevive Bonferroni, no Neuroticismo. La liberación de artefactos es destacable. En un entorno limpio Python 3.11 se instalaron las dependencias y run_all.py regeneró 17/17 análisis, cero omitidos y cero fallidos, desde unos 590 MB de datos OSF; las cifras centrales coinciden y todo el Python compila. Hay licencia, un runner único, código de generación y preprocesamiento y datos procesados amplios. No es, sin embargo, reproducción end-to-end: unos 10 GB de respuestas fuente solo están disponibles bajo petición; faltan tests, CI, lockfile, hashes del snapshot OSF y el SI citado repetidamente no aparece en arXiv, GitHub ni OSF. Más grave, el entorno de generación documentado no puede resolverse porque transformers==5.0.0.dev0 no existe en el índice y el supuesto commit exacto no se publica. La conclusión defendible es importante pero más acotada que el título: estos instrumentos humanos de personalidad y riesgo, en estas condiciones, están muy contaminados por sesgo de dirección y no autorizan leer alfa o puntuaciones como rasgos estables. No se demuestra que todo perfil psicológico, toda disposición de LLM o toda medición diseñada específicamente para máquinas sea un artefacto. La recomendación válida es equilibrar direcciones, inspeccionar ítems directos e inversos por separado, modelar artefactos explícitamente y validar instrumentos conductuales propios de LLM antes de atribuir personalidad.