Synthetic Personality Review

The Chameleon's Limit: Investigating Persona Collapse and Homogenization in Large Language Models

Personas, identidad y agentes2026arXivRevisión editorial aprobada

Autores: Yunze Xiao, Vivienne J. Zhang, Chenghao Yang, Ningshan Ma, Weihao Xuan, Jen-tse Huang

Palabras clave: Persona collapse, Persona conditioning, Human simulation, Population-level evaluation, BFI-44, Moral reasoning, Self-introduction, Coverage, Hopkins statistic, Local intrinsic dimensionality, Demographic variance, Reproducibility

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

6
Autores
8
Hallazgos
12
Limitaciones
3
Evidencias

Resumen editorial

Español

Este preprint propone diagnosticar el colapso de persona a nivel de población separando cobertura del espacio humano, uniformidad espacial y complejidad local. Evalúa diez LLM con 1.144 perfiles sintéticos retenidos de 2.000, 44 ítems BFI, 131 dilemas morales y tres auto-presentaciones por persona. Los resultados publicados muestran perfiles dependientes de la tarea: Qwen3-4B alcanza la mayor cobertura BFI (0,80) pero una dimensionalidad local de 7,3 frente a 14,4 en la referencia humana; CoSER-Llama-8B concentra su BFI en pocas respuestas (EffL 1,36; cobertura 0,16) pero es muy variable en moralidad; MiniMax-M2-Her exhibe alta complejidad BFI (22,3) fuera del soporte humano (cobertura 0,06). Es una aportación conceptual útil para no confundir variedad superficial con diversidad estructural. Sin embargo, la referencia humana existe solo para BFI; moralidad y auto-presentación admiten únicamente comparaciones entre modelos. La auditoría del artefacto limita además la fuerza de las conclusiones: no se publican las respuestas de los diez modelos ni el código de geometría de embeddings de la Tabla 8; las 856 exclusiones proceden de seis reglas deterministas, no de una revisión manual documentada; el R² incremental usa códigos ordinales de categorías en vez del one-hot descrito; el detector de género genera falsos positivos por subcadenas y el normalizador de plantillas nunca sustituye nombres después de convertirlos a minúsculas. La asociación entre fidelidad y Cohen d tampoco es evidencia independiente de caricaturización: ambas métricas responden a las mismas etiquetas OCEAN High/Low, y los porcentajes dominantes se calculan sobre R² demográficos diminutos. La conclusión fiel es que estos snapshots muestran homogeneización y desalineación dependientes de tarea bajo esta población, prompts y métricas; no que exista una ley universal de colapso, que el entrenamiento la cause o que las simulaciones reproduzcan poblaciones humanas.

English

This preprint proposes a population-level account of persona collapse that separates human-space Coverage, spatial Uniformity, and local Complexity. It evaluates ten LLMs on 1,144 synthetic profiles retained from 2,000, using 44 BFI items, 131 moral dilemmas, and three self-introductions per persona. The published results are strongly task-dependent: Qwen3-4B reaches the highest BFI Coverage (0.80) but local intrinsic dimensionality of 7.3 versus 14.4 for the human reference; CoSER-Llama-8B compresses BFI responses (EffL 1.36; Coverage 0.16) while varying widely on moral judgments; MiniMax-M2-Her has high BFI complexity (22.3) but almost no human-space Coverage (0.06). The framework is useful because it distinguishes surface variety from structural diversity. Its stronger claims require substantial qualification. A human reference exists only for BFI, so moral and self-introduction findings are model-to-model comparisons. The public artifact omits all ten-model outputs and the self-introduction embedding code required for Table 8. The 856 exclusions are produced by six deterministic rules rather than a documented manual review. Incremental R-squared uses ordinal integer encodings instead of the claimed one-hot predictors; gender keyword matching has demonstrable substring false positives; and template normalization lowercases text before searching for capitalized names, so names are not replaced. Fidelity and Cohen's d are also not independent evidence of caricature because both respond to the same assigned High/Low OCEAN targets, while dominant-share claims divide very small demographic R-squared totals. The faithful conclusion is that these model snapshots exhibit task-contingent homogenization and off-manifold behavior under this persona population, prompt set, and metric implementation; the study does not establish a universal collapse law, a causal training effect, or human population realism.

Pregunta de investigación

¿Cómo distinguir si una población de agentes condicionados por perfiles diversos cubre el espacio de comportamiento humano, se distribuye sin agrupamiento degenerado y conserva complejidad multidimensional, y qué atributos de persona sobreviven en BFI, juicios morales y auto-presentaciones?

Método

Se construyen matrices persona por ítem para BFI-44 y 131 dilemas morales, más tres textos de auto-presentación por persona. Sobre BFI se comparan 1.144 salidas por modelo con 2.058 respuestas humanas mediante cobertura y densidad k-NN; en ambos dominios se calculan rango efectivo Likert, participación PCA, LID, Hopkins, clustering, V-Measure, eta cuadrado y R² incremental. BFI añade correlación de Spearman con las etiquetas OCEAN asignadas y Cohen d entre grupos High y Low. Los textos se describen con menciones por palabras clave, rasgos léxicos, plantillas, ICC y, según el artículo, geometría de embeddings. La auditoría reprodujo el filtrado de personas y la fila humana, inspeccionó las 27 páginas, el TeX y el commit público, y ejecutó pruebas dirigidas sobre R², detectores de menciones y plantillas.

Muestra: 2.000 combinaciones sintéticas iniciales de 26 atributos; seis reglas públicas excluyen 856 identificadores y dejan 1.144 personas por modelo. Cada modelo aporta 44 respuestas BFI, 131 juicios morales y tres auto-presentaciones por persona. La única referencia humana son 2.058 filas BFI completas de Twin-2K-500.

Hallazgos

  • Los resultados publicados separan fallos distintos: cobertura alta con baja complejidad, agrupamiento fuerte, vocabulario Likert empobrecido y complejidad fuera del soporte humano.
  • Qwen3-4B obtiene la mayor cobertura BFI (0,80) pero LID 7,3; Claude-Haiku-4.5 obtiene cobertura 0,71 y LID 5,4, frente a LID humano 14,4.
  • CoSER-Llama-8B presenta el BFI más comprimido (EffL 1,36, cobertura 0,16, Hopkins 0,91) pero el mayor EffL moral (4,27) y LID moral 45,3.
  • MiniMax-M2-Her combina LID BFI 22,3 y Hopkins 0,50 con cobertura humana 0,06 y fidelidad 0,41, compatible con variación compleja pero desalineada.
  • La fila humana del artefacto público se reproduce exactamente: n 2.058, EffL 3,69, PR 11,2, LID 14,4, Hopkins 0,568, separación 5,22, cobertura 1 y densidad 0,474.
  • El filtrado público reproduce exactamente 856 exclusiones y 1.144 perfiles retenidos, pero mediante reglas deterministas y no mediante la revisión manual descrita.
  • La auditoría de código detecta que el R² categórico, las menciones de género y la normalización de plantillas no implementan correctamente el método narrado.
  • La Tabla 2 y el texto discrepan en las medias de menciones: 0,89/0,86/0,60/0,33/0,25 en la tabla frente a 0,91/0,90/0,62/0,36/0,27 en la prosa.

Limitaciones

  • No se publican las salidas de los diez modelos, las matrices analizadas ni los resultados intermedios; las tablas principales no son regenerables desde el snapshot.
  • Falta el código de embeddings y geometría de auto-presentaciones necesario para reproducir la Tabla 8.
  • La descripción de revisión manual de 856 perfiles no coincide con las seis reglas deterministas liberadas; se elimina el 42,8% de la muestra sin análisis de sensibilidad.
  • El R² incremental aplica LabelEncoder y conserva columnas numéricas, por lo que introduce una ordinalidad arbitraria en lugar del one-hot declarado.
  • El detector de género usa subcadenas: 'his ' aparece en 'this ', 'man' en 'human' o 'woman', y 'her ' en 'rather ', inflando potencialmente las menciones.
  • El análisis de plantillas convierte aperturas a minúsculas antes de buscar nombres capitalizados, por lo que no normaliza los nombres como afirma.
  • La LID humana se calcula en coordenadas estandarizadas y la LID de modelos sobre valores Likert crudos; no se aplican intervalos ni sensibilidad a k.
  • La cobertura usa una única submuestra de 500 puntos por población; la cobertura humana 1 es una comparación del subconjunto consigo mismo.
  • El código fija temperatura 0,7 para BFI y moralidad en proveedores no OpenAI, contradiciendo la afirmación de dejar parámetros por defecto.
  • No hay tests, CI, lockfile, etiquetas de versión ni licencia, y faltan revisiones exactas y manifiestos de ejecución de los diez modelos.
  • Los R² y eta cuadrados demográficos son muy pequeños; Dom% puede parecer grande porque su denominador también es diminuto.
  • Moralidad y auto-presentación carecen de referencia humana, por lo que no permiten medir realismo o colapso relativo a humanos.

Qué no demuestra

  • No demuestra que todos los LLM o todos los esquemas de persona sufran un colapso universal.
  • No demuestra que SFT o RL causen los cambios observados entre checkpoints distintos.
  • No demuestra que alta fidelidad cause estereotipos: fidelidad y Cohen d comparten las mismas etiquetas OCEAN objetivo.
  • No demuestra efectos demográficos grandes o socialmente predictivos a partir de R² entre 0,0005 y 0,0075 por atributo.
  • No valida que las auto-presentaciones o juicios morales reproduzcan personas o poblaciones humanas reales.
  • No aporta evidencia sobre los rasgos, decisiones o lenguaje típico de los grupos sensibles incluidos en los prompts.
  • No permite reproducir los resultados completos sin las salidas ausentes, código corregido y configuraciones exactas de inferencia.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2604.24698v1

Fuente consultada: https://arxiv.org/abs/2604.24698

Revisión: Codex 27-page visual full-text, TeX, repository, metric implementation, detector smoke-test, construct and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Llama-3.1-8B-Instruct
  • Qwen3-4B
  • Qwen3-30B-A3B
  • Qwen3-32B
  • Claude-Haiku-4.5
  • MiniMax-M2
  • CoSER-Llama-8B
  • CoSER-Qwen-32B
  • HER-32B
  • MiniMax-M2-Her

Instrumentos y métricas

  • Big Five Inventory BFI-44
  • 131 moral dilemmas
  • Three self-introductions per persona
  • Density and Coverage k-NN
  • Hopkins statistic
  • Local Intrinsic Dimensionality
  • Participation ratio
  • Spearman persona fidelity
  • Cohen's d
  • Eta-squared and incremental R-squared
  • Keyword mention rates
  • Intraclass correlation

Datos utilizados

  • Public 2,000-profile synthetic persona input
  • Twin-2K-500 BFI reference
  • Public 131-scenario moral input
  • Unreleased ten-model BFI response matrices
  • Unreleased ten-model moral response matrices
  • Unreleased self-introduction outputs

Evidencia y localización

  • Marco, diseño, resultados, ética, métricas, prompts, tablas y limitaciones: arXiv:2604.24698v1, 27 páginas inspeccionadas; §§2-4 y apéndices A-J
  • Código, perfiles, reglas de exclusión, escenarios, referencia humana y pipeline público: GitHub Algoroxyolo/PersonaCollapse commit b7a52694ab7ad2dd413e16143a93c2c14e9caf5d; tree 95646bb79b985984b332764459891c28047d481d
  • Reproducción del filtrado y la fila humana; auditoría de R², menciones, plantillas, artefactos y límites de interpretación: reports/verification/article-357-persona-collapse-metric-code-data-and-claim-audit.json