How Well Do Large Language Models Capture Human Personality?

El preprint estudia si añadir atributos a una persona mejora la diversidad representacional y la fidelidad de simulación. Organiza la evidencia en tres bloques: geometría de activaciones para personas cada vez más ricas; conservación del desacuerdo entre subgrupos humanos en OpinionQA, Moral Machine y Website Likability; y predicción de engagement de tweets y emails con personas Age-Gender frente a Ideal Customer Profiles. Llama persona manifold collapse a la contracción conjunta que interpreta en esos bloques y alignment bridges a combinaciones de atributos que parecen resistirla. Sin embargo, el trabajo no administra un inventario de personalidad, no estima rasgos individuales ni compara el perfil psicológico de una persona real con su gemelo LLM. El título «capturar personalidad humana» es más amplio que su operacionalización demográfica, actitudinal y comercial.

En el bloque latente, las personas pasan de Age-Gender a Age-Gender-Education, luego Decision Style y finalmente Background. Se hacen 72 preguntas subjetivas y de preferencias, se extraen estados ocultos de la última capa de las respuestas y se promedian; la diversidad se resume con distancia euclídea cruda media entre personas. Las seis filas terminan con menor distancia que al inicio: las contracciones recalculadas son 22,89% Qwen3-8B-Base, 53,95% Qwen3-8B, 34,57% Qwen-72B-Base, 58,93% Qwen-72B-Vision-Instruct, 29,23% LLaMA-3.2-90B-Vision-Base y 54,70% su versión Instruct. La tendencia final es real en la tabla, aunque no es estrictamente monótona: Qwen3-8B sube 2,42% en el último paso. La frase «consistently reduces» debe leerse como menor distancia final, no descenso en cada enriquecimiento.

La interpretación de esa distancia es el límite central. El paper asume que distancia euclídea entre activaciones no normalizadas equivale a separación conductual, pero no valida el proxy contra conducta emparejada, no prueba coseno, centrado o whitening, y no controla norma de activación, longitud de respuesta o pooling de tokens. Además, cada nivel contiene poblaciones y combinaciones distintas, no necesariamente las mismas personas enriquecidas de manera pareada. Una media de distancias puede cambiar por composición, plantilla o escala global de activación. Nemotron y PersonaHub también quedan por debajo del Age-Gender construido, pero son corpus no emparejados con otros estilos y procesos de generación. Esto demuestra geometría distinta bajo este pipeline, no por sí solo colapso de personalidad.

En desacuerdo humano, los autores seleccionan primero pares de subgrupos con alta divergencia y correlacionan después la distancia humana con la separación del modelo. Los valores de Website Likability van de -0,3686 a 0,1001; OpinionQA de -0,2646 a 0,2979; Moral Machine de -0,2987 a 0,0887. La falta de correlación positiva fuerte sí indica que los prompts no preservan bien el ranking de diferencias humanas seleccionadas. Pero seleccionar sólo pares muy divergentes restringe el rango de la variable humana y puede reducir ρ. No se publican número de pares, rango retenido, tamaños de subgrupo, intervalos, p-valores ni definición operativa completa de cada distancia. Además, correlación baja no prueba flattening absoluto: el modelo podría producir diferencias grandes pero mal ordenadas; para afirmar aplanamiento hace falta comparar magnitudes.

En marketing, Age-Gender logra 70,00% en el email privado frente a 58,57% del ICP automático, 52,57% five-shot y 50,00% baseline. En tweets, la media aritmética de las tres industrias es 61,80% Age-Gender, 52,66% auto ICP, 50,74% brand ICP y 49,88% baseline. Es evidencia descriptiva favorable a la persona simple en esas configuraciones. Pero la accuracy binariza engagement con un umbral no informado, elimina calibración y magnitud, y no incluye baseline mayoritario, balance de clases, N de test, número de agentes, intervalos o test pareado. El resultado email usa un dataset industrial no identificado, sin procedencia, split ni licencia. Los ICP se generan con GPT-5.2 y búsqueda web y se verifican manualmente sólo por plausibilidad; no son perfiles humanos observados ni quedan controlados por igualdad de tamaño de ensemble.

Los alignment bridges se buscan de forma greedy variando combinaciones y siguiendo rendimiento y separación en las mismas tareas. Education+Gender o Gender+Religious aparecen como estables, y Political+Income como inestable; diez personas seleccionadas por grupo tienen distancias 15,78 frente a 5,88 en Qwen-72B-VL y 7,41 frente a 2,38 en Qwen-8B. Es un análisis exploratorio post hoc: faltan algoritmo exacto, espacio candidato, criterio de parada, corrección por búsqueda y conjunto held-out. Llamar bridge a lo seleccionado y mostrar después que el grupo seleccionado separa más no demuestra generalización. Las propias tablas muestran dependencia de modelo y tarea.

Las plantillas también introducen un confusor semántico. Los atributos añadidos no son campos neutros: las narrativas asignan madurez y responsabilidad por edad, estilos de razonamiento por educación y experiencias generales por género. El ablation de paráfrasis cambia superficie, no estas premisas estereotipadas ni la codificación del atributo. El paper muestra que longitud sola no produce deterioro monótono, por ejemplo 15 y 1.570 tokens empatan en 63,7% en una tabla, pero de ahí no se sigue que la causa sea interferencia representacional entre atributos. No hay análisis causal o mediación que una la distancia latente con el error conductual en las mismas condiciones.

Hay además conflictos de reporting. El texto dice que los modelos base caen 20-30%, pero Qwen-72B-Base cae 34,57%. El checklist responde Sí a acceso abierto y afirma que el código se añadirá al suplemento; el paquete público sólo contiene TeX, figuras y checklist. Responde Sí a significación estadística aunque las tablas de correlación, accuracy y bridges carecen de intervalos y p-valores. Y declara que el uso de LLM se limitó a edición y formato, aunque GPT-5.2 genera los ICP y GPT-4o participa en evaluaciones: son componentes metodológicos explícitos.

La reproducibilidad pública es baja. Faltan código, entorno, checkpoints exactos, parámetros de inferencia, seeds, poblaciones construidas, outputs, hidden states, pooling y normalización, listas de pares, tamaños de subgrupos, datos privados, splits, thresholds, predicciones, número de runs y búsqueda greedy. El paper sólo informa un cluster de ocho A100 y unos 30 minutos por evaluación estándar. La lectura fiel es que personas aditivas ricas terminan con menor distancia cruda en seis configuraciones, los prompts no conservan bien el ranking del desacuerdo humano y Age-Gender supera a los ICP evaluados. No demuestra una limitación fundamental y model-agnostic de los LLM, no mide personalidad humana y no valida un mecanismo interno único llamado persona manifold collapse.

The preprint asks whether adding persona attributes improves representational diversity and simulation fidelity. It organizes evidence into three blocks: activation geometry for increasingly rich personas; preservation of human subgroup disagreement on OpinionQA, Moral Machine, and Website Likability; and tweet or email engagement prediction with Age-Gender personas versus Ideal Customer Profiles. It calls the joint contraction it interprets across these blocks persona manifold collapse and calls attribute combinations that appear to resist it alignment bridges. However, the study does not administer a personality inventory, estimate individual traits, or compare a real person's psychological profile with an LLM twin. Capturing human personality is broader than the demographic, attitudinal, and commercial operationalization.

In the latent block, personas progress from Age-Gender to Age-Gender-Education, then Decision Style, and finally Background. Models answer 72 subjective and preference questions; final-layer response states are extracted and averaged, and diversity is summarized by mean raw Euclidean distance between personas. All six rows end below their starting distance. Recalculated contractions are 22.89% for Qwen3-8B-Base, 53.95% for Qwen3-8B, 34.57% for Qwen-72B-Base, 58.93% for Qwen-72B-Vision-Instruct, 29.23% for LLaMA-3.2-90B-Vision-Base, and 54.70% for its Instruct version. The endpoint pattern is real in the table, but not strictly monotonic: Qwen3-8B rises 2.42% at the final step. Consistently reduces should therefore mean lower final distance, not a decrease at every enrichment.

Interpreting that distance is the central limitation. The paper assumes that Euclidean distance between unnormalized activations equals behavioral separation, but does not validate the proxy against matched behavior, test cosine, centering, or whitening, or control activation norm, response length, and token pooling. Each complexity level also contains different persona populations and combinations rather than necessarily the same paired people with added detail. Mean distance can change because of composition, templates, or global activation scale. Nemotron and PersonaHub also fall below the constructed Age-Gender set, but they are unmatched corpora with different styles and generation processes. This establishes different geometry under this pipeline, not personality collapse by itself.

For human disagreement, the authors first select subgroup pairs with high human divergence and then correlate human distance with model separation. Website Likability values range from -0.3686 to 0.1001; OpinionQA from -0.2646 to 0.2979; Moral Machine from -0.2987 to 0.0887. The lack of a strong positive correlation does show poor preservation of the selected human-difference ranking. But selecting only highly divergent pairs restricts the human variable's range and can depress rho. The number of pairs, retained range, subgroup sizes, intervals, p-values, and complete operational distance definitions are not reported. Low correlation also does not prove absolute flattening: models could produce large but misordered differences; a flattening claim requires magnitude comparisons.

In marketing, Age-Gender reaches 70.00% on the private email task versus 58.57% for auto ICP, 52.57% for five-shot, and 50.00% for baseline. On tweets, arithmetic means over three industries are 61.80% Age-Gender, 52.66% auto ICP, 50.74% brand ICP, and 49.88% baseline. This is descriptive evidence favoring simple personas in those configurations. Yet accuracy binarizes engagement with an undisclosed threshold, discarding calibration and magnitude, and there is no majority baseline, class balance, test N, agent count, interval, or paired test. The email result uses an unidentified industry dataset with no provenance, split, or license. ICPs are generated by GPT-5.2 with web search and manually checked only for plausibility; they are not observed human profiles and ensemble sizes are not controlled transparently.

Alignment bridges are found through a greedy search that varies combinations while tracking performance and separation on the same tasks. Education+Gender or Gender+Religious appear stable, while Political+Income appears unstable; ten selected personas per group have distances of 15.78 versus 5.88 for Qwen-72B-VL and 7.41 versus 2.38 for Qwen-8B. This is exploratory post-selection: the exact algorithm, candidate space, stopping rule, search correction, and held-out set are absent. Naming selected combinations bridges and then showing that the selected group separates more does not establish generalization. The tables themselves show model and task dependence.

Templates add another semantic confound. Added attributes are not neutral fields: narratives assign maturity and responsibility by age, reasoning styles by education, and generalized experiences by gender. The paraphrase ablation changes surface wording, not these stereotyped premises or alternative attribute encodings. The paper does show that length alone does not create monotonic degradation, 15 and 1,570 tokens both score 63.7% in one table, but this does not establish attribute interference as the cause. No causal or mediation analysis links latent distance with behavioral error in matched conditions.

Reporting also conflicts with the artifact. The text says base models contract by 20-30%, while Qwen-72B-Base contracts 34.57%. The checklist answers Yes to open access and says code will be added to the supplement; the public package contains only TeX, figures, and checklist. It answers Yes to statistical significance even though correlation, accuracy, and bridge tables have no intervals or p-values. It says LLM usage was limited to editing and formatting, although GPT-5.2 generates ICPs and GPT-4o participates in evaluations, both explicit methodological components.

Public reproducibility is low. Missing items include code, environment, exact checkpoints, inference parameters, seeds, constructed populations, outputs, hidden states, pooling and normalization, subgroup-pair lists, subgroup sizes, private data, splits, thresholds, predictions, run counts, and the greedy search. The paper reports only an eight-A100 cluster and roughly 30 minutes per standard evaluation. A faithful reading is that richer additive personas end with lower raw distance in six configurations, prompts poorly preserve the ranking of human disagreement, and Age-Gender outperforms the evaluated ICPs. It does not demonstrate a fundamental model-agnostic LLM limitation, measure human personality, or validate one internal mechanism called persona manifold collapse.