Stories of Your Life as Others: A Round-Trip Evaluation of LLM-Generated Life Stories Conditioned on Rich Psychometric Profiles

Personas, identidad y agentes2026arXivRevisión editorial aprobada

Autores: Ben Wigler, Maria Tsfasman, Tiffany Matej Hrkalovic

Palabras clave: Personality, Persona conditioning, Psychometrics, Human simulation, Safety and bias

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

3
Autores
8
Hallazgos
13
Limitaciones
8
Evidencias

Resumen editorial

Español

Este trabajo propone una evaluación de ida y vuelta: convertir perfiles psicométricos humanos en relatos de vida sintéticos y comprobar si otros LLM recuperan los puntajes originales leyendo solo esos relatos. Usa PARSEL, un corpus de conversaciones y tareas cooperativas con 297 participantes; 290 tienen perfiles completos y 248, al menos tres conversaciones. Claude Opus 4.6 recibe los 60 ítems y seis dominios HEXACO, nueve subescalas adicionales, confianza, rasgos psicopáticos y ansiedad de interacción, hechos biográficos extraídos de conversaciones y una descripción de apariencia obtenida de webcam. Con ello redacta un perfil inmersivo de unas 1.000 palabras. Diez generadores producen entrevistas McAdams de 24 turnos y unas 8.000 palabras; Sonnet 4.6, GPT-5.4 y Gemini 3 Flash las puntúan a ciegas. En la ruta principal GPT-4.1→Sonnet, la correlación media entre puntaje original y recuperado es r=0,750, IC bootstrap 95% [0,730, 0,768], desde 0,682 en Conscientiousness hasta 0,825 en Extraversion. Las nueve subescalas no HEXACO alcanzan r=0,314–0,645. Los tres generadores principales, puntuados por Sonnet, quedan muy próximos: GPT-4.1 0,750, Gemini 3 Flash 0,744 y Grok 4.1 Fast 0,740. En una tarea de emparejamiento cinco-alternativas, Haiku y Grok identifican el perfil correcto en 79% de los casos y Gemini en 95,2%, aunque los cuatro distractores son aleatorios y Gemini también preparó los perfiles anonimizados. El resultado central es valioso pero debe interpretarse como transmisión diseñada de información: el input contiene los puntajes exactos y Claude los traduce explícitamente a lenguaje de facetas y ejemplos antes de que se genere la historia. r=0,750 demuestra que esa señal sobrevive al canal puntaje→perfil→relato→puntaje; no demuestra una personalidad autónoma, natural o estable. El artículo llama a 0,887 «techo humano» y presenta 0,750 como 85% de él, pero 0,887 procede de otra muestra, un retest de 13 días con HEXACO-100, mientras aquí se usa HEXACO-60 y texto sintético. Es una referencia contextual, no un techo held-out comparable. La validación con conversación real presenta un error estadístico material: texto, abstract y Tabla 7 afirman que 9 de 10 correlaciones relato–conversación sobreviven Bonferroni con α=0,005. Según los p publicados, solo cinco cumplen: vulnerabilidad, agencia, valencia emocional, dominancia e intensidad emocional. Comunión p=0,008, calidez 0,010, complejidad 0,013 y profundidad de revelación 0,039 solo son significativas sin esa corrección; humor no lo es. La correlación de variabilidad emocional en conversaciones, r=0,170 y p=0,007, tampoco cruza 0,005 y procede de la misma muestra y los mismos codificadores, por lo que es convergencia interna, no réplica independiente. Hay dos confusores adicionales. Los hechos biográficos que alimentan el relato se extraen de las mismas conversaciones usadas después como criterio, creando una ruta directa conversación→prompt→relato→comparación sin ablación psicometría-only. Además, relato y conversación pueden correlacionar porque ambos dependen del mismo perfil; no se controla el perfil para demostrar fidelidad individual adicional. Las mismas etiquetas LLM se aplican en ambos contextos, con fiabilidad modesta en conversación, ICC de tres codificadores 0,483. El método dice promediar tres anotadores, pero las tablas usan solo el par Gemini–Haiku después de identificarlo como el mejor, sin regla preespecificada para excluir GPT-5.4 Mini. La búsqueda Jaccard no encuentra copia casi literal de ítems, pero no detecta paráfrasis semánticas y el propio trabajo cuenta 7,9 autodescripciones temáticamente solapadas por relato. El texto también habla de nueve pares generador–scorer; al excluir self-scoring, su Tabla 4 contiene ocho pares primarios no vacíos y el mismo rango r=0,719–0,750. Los modelos se comparan con N distintos, 290 o 154; las decisiones de prompt y scoring se seleccionan en pilotos reutilizados en la evaluación; y un solo modelo de difusión no permite atribuir causalmente el patrón a datos de entrenamiento. En privacidad, el estudio procesa perfiles completos, rasgos oscuros, ansiedad, conversaciones y apariencia a través de varios proveedores. El PARSEL original informa aprobación VCWE-2021.168, pero el preprint anonimiza el identificador y no aclara si consentimiento y aprobación cubren esta reutilización, transferencias API o generación de impersonaciones. No hay código, prompts, outputs ni análisis públicos: se prometen tras aceptación. La evidencia apoya una transferencia robusta de puntajes a texto largo, pero no una simulación individual del comportamiento humano ni una alternativa ya validada a la evaluación psicométrica.

English

This paper proposes a round-trip evaluation: turn human psychometric profiles into synthetic life stories and test whether other LLMs recover the original scores from the stories alone. It uses PARSEL, a corpus of conversations and cooperative tasks with 297 participants; 290 have complete profiles and 248 have at least three conversations. Claude Opus 4.6 receives all 60 HEXACO items and six domains, nine additional subscales, trust, psychopathic traits, and social interaction anxiety, biographical facts extracted from conversations, and an appearance description derived from webcam images. It writes an approximately 1,000-word immersive profile. Ten generators produce 24-turn, roughly 8,000-word McAdams interviews; Sonnet 4.6, GPT-5.4, and Gemini 3 Flash score them blindly. In the primary GPT-4.1→Sonnet path, mean source-to-recovered correlation is r=.750, bootstrap 95% CI [.730, .768], ranging from .682 for Conscientiousness to .825 for Extraversion. The nine non-HEXACO subscales reach r=.314-.645. The three primary generators scored by Sonnet are close: GPT-4.1 .750, Gemini 3 Flash .744, and Grok 4.1 Fast .740. In five-way matching, Haiku and Grok select the correct personality-only profile on 79% of trials and Gemini on 95.2%, although the four distractors are random and Gemini also prepared the stripped profiles. The central result is useful but should be read as designed information transfer: the input contains exact scores and Claude explicitly translates them into facet language and examples before story generation. r=.750 shows that this signal survives a score→profile→story→score channel; it does not establish autonomous, natural, or stable personality. The paper calls .887 a human ceiling and describes .750 as 85% of it, but .887 comes from another sample and a 13-day HEXACO-100 retest, whereas this study uses HEXACO-60 and synthetic text. It is contextual reference data, not a comparable held-out ceiling. The real-conversation validation contains a material statistical error: the text, abstract, and Table 7 caption say that nine of ten story–conversation correlations survive Bonferroni at alpha .005. The reported p values show only five do: vulnerability, agency, emotional valence, dominance, and emotional intensity. Communion p=.008, warmth .010, emotional complexity .013, and disclosure depth .039 are significant only without that correction; humor is not. The real-conversation emotional-variability correlation, r=.170 and p=.007, also misses .005 and uses the same participants and coders, making it within-sample convergence rather than independent replication. Two further confounds matter. Biographical facts supplied to story generation come from the same conversations later used as criterion, creating a conversation→prompt→story→comparison path without a psychometrics-only ablation. Story and conversation features may also correlate because both depend on the same profile; the study does not control the 15 supplied constructs to establish incremental individual fidelity. The same LLM rubric coders label both contexts, while conversation reliability is modest, three-coder ICC .483. Methods say three annotators are averaged, yet result tables use only the Gemini–Haiku pair after calling it the best pair, with no prespecified rule for dropping GPT-5.4 Mini. The Jaccard check finds no near-verbatim item copying, but cannot detect semantic paraphrase, and the paper itself counts 7.9 thematically overlapping self-descriptions per story. The main text also says nine generator–scorer pairs; after self-scoring is excluded, Table 4 contains eight nonempty primary pairs with the same r=.719-.750 range. Models are compared at different N, 290 or 154; prompt and scoring choices are selected on pilots reused in evaluation; and one diffusion model cannot causally locate the effect in training data. For privacy, full profiles, dark traits, anxiety, conversations, and appearance pass through several providers. The original PARSEL paper reports approval VCWE-2021.168, but this preprint anonymizes the identifier and does not clarify whether consent and approval cover this reuse, API transfers, or impersonating story generation. No code, prompts, outputs, or analyses are public; release is promised upon acceptance. The evidence supports robust transfer of supplied scores into long text, not individual human-behavior simulation or a validated replacement for psychometric assessment.

Pregunta de investigación

¿Sobrevive la información psicométrica humana al transformarla en perfiles narrativos y relatos de vida generados por LLM, pueden otros LLM recuperarla, y se relacionan las características de esos relatos con conversaciones reales de las mismas personas?

Método

Claude Opus 4.6 transforma 15 constructos psicométricos, hechos biográficos y apariencia de 290 participantes en perfiles de prosa. Diez LLM generan entrevistas de vida de 24 turnos; tres scorers reconstruyen HEXACO y otras escalas. Se calculan correlaciones, matching con cuatro distractores, búsqueda Jaccard, descomposición de sesgo, codificación LLM de diez rasgos de contenido, ICC, comparaciones con 577 conversaciones y BERTopic.

Muestra: PARSEL reúne 297 participantes; se usan 290 perfiles completos. Los análisis con conversación incluyen 248 personas con al menos tres conversaciones, 577 conversaciones. GPT-4.1, Gemini 3 Flash, Grok 4.1 Fast y Mercury 2 se ejecutan con N=290; la mayoría de generadores adicionales, con un subconjunto aleatorio N=154. Los pilotos usan 15 o 50 participantes sin exclusión posterior del análisis final.

Hallazgos

  • La ruta GPT-4.1→Sonnet recupera HEXACO con r medio 0,750, IC 95% [0,730, 0,768], y los seis dominios quedan entre 0,682 y 0,825.
  • Las nueve subescalas adicionales son significativas con Bonferroni y abarcan r=0,314–0,645; las interpersonales/afectivas se recuperan mejor.
  • Tres generadores principales puntuados por Sonnet quedan en 0,750, 0,744 y 0,740; la tabla extendida mezcla N=290 y N=154 y no establece un ranking estable.
  • El matching con distractores aleatorios logra 79% con Haiku/Grok y 95,2% con Gemini frente a 20% de azar; muestra discriminación gruesa, no recuperación fina de identidad.
  • Cinco de diez, no nueve, correlaciones relato–conversación cumplen el Bonferroni declarado α=0,005; sus magnitudes son pequeñas, hasta r=0,268.
  • La variabilidad de valencia correlaciona con Emotionality en relatos, r=0,303, y en conversaciones, r=0,170/p=0,007; la segunda evidencia es convergente pero no supera α=0,005 ni es una réplica independiente.
  • En relatos, 55 de 204 asociaciones contenido–HEXACO sobreviven Bonferroni, con vulnerabilidad–Emotionality r=0,744 como ejemplo fuerte.
  • Los modelos no condicionados muestran un perfil extremo compartido; su atribución causal a alignment sigue sin identificarse.

Limitaciones

  • El round trip parte de los puntajes exactos traducidos a prosa, por lo que mide transmisión de señal diseñada y no emergencia de una personalidad natural.
  • El supuesto techo humano usa otra muestra, HEXACO-100 y retest de 13 días; no es held-out ni directamente comparable con HEXACO-60 sintético.
  • La afirmación 9/10 con Bonferroni es incorrecta según la propia Tabla 7; solo cinco p cumplen 0,005.
  • Las conversaciones usadas como criterio aportan antes hechos biográficos al prompt, y no existe una ablación sin esos hechos para descartar leakage.
  • No se controla el perfil psicométrico compartido; las asociaciones cruzadas pueden ser mediadas por los mismos rasgos en vez de reflejar fidelidad individual adicional.
  • Los mismos LLM codifican relato y conversación, la fiabilidad conversacional es baja/modesta y las tablas usan el mejor par aunque el método anuncia tres anotadores.
  • Jaccard >0,7 solo detecta copia casi literal, no paráfrasis; 7,9 autodescripciones por relato son temáticamente próximas a los ítems.
  • El matching usa distractores aleatorios y Gemini participa tanto en stripping como matching, lo que facilita la tarea y confunde su resultado superior.
  • Hay ocho pares primarios visibles tras excluir self-scoring, no los nueve declarados; además se comparan modelos con tamaños muestrales distintos.
  • La selección de prompt-generator y formato de scoring reutiliza participantes de los pilotos; no hay selección completamente held-out.
  • Faltan human-authored LSI, jueces humanos de contenido/personalidad, validación de calidad, resultados conductuales o generalización cultural/lingüística.
  • Datos, código, prompts, versiones exactas, outputs, anotaciones y scripts no son públicos y dependen de APIs propietarias mutables.
  • No se aclara si el consentimiento original cubre envío de psicometría, conversaciones y apariencia a múltiples proveedores ni cómo se audita la no identificación de relatos.

Qué no demuestra

  • No demuestra que los LLM posean una personalidad interna, autónoma o estable; demuestra recuperación de información suministrada.
  • No equipara r=0,750 con 85% de fiabilidad humana en una misma prueba, población o contexto.
  • No demuestra nueve puentes conductuales corregidos; solo cinco pasan la corrección especificada.
  • No establece una réplica independiente del patrón de reactividad ni que p=0,007 supere α=0,005.
  • No prueba simulación individual más allá del perfil, porque no controla rasgos compartidos, leakage de conversaciones ni sesgo de codificador.
  • No demuestra que la señal se origine causalmente en pretraining o que sea independiente de la generación autorregresiva.
  • No valida relatos LSI sintéticos como sustituto naturalista de cuestionarios, entrevistas humanas o evaluación clínica/laboral.
  • No garantiza reproducibilidad futura con modelos propietarios sin snapshots, datos restringidos y artefactos aún no publicados.
  • No establece ausencia de información sensible o riesgo de impersonación por no encontrar identificadores directos.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2604.06071v1 preprint; under review at COLM

Fuente consultada: https://arxiv.org/pdf/2604.06071v1

Revisión: Codex 19-page visual full-text, TeX/appendix, statistical recalculation, psychometric construct, conversation-leakage, annotator-selection, human-data privacy, artifact and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Claude Opus 4.6 (immersive-profile generator)
  • GPT-4.1
  • Gemini 3 Flash
  • Grok 4.1 Fast
  • GPT-4.1 Mini
  • GPT-5.4
  • Mercury 2
  • Claude Haiku 4.5
  • Gemini 3 Flash Lite
  • Claude Sonnet 4.6
  • Hermes 4 405B
  • GPT-5.4 Mini (content coder)
  • OLMo contamination-control scorer
  • Gemma 3, Hermes 4 70B and Aion 2.0 in prompt-generator pilots

Instrumentos y métricas

  • HEXACO-60 and six domain means
  • Four trust subscales
  • Four Psychopathic Personality Traits subscales
  • Social Interaction Anxiety Scale
  • Adapted 24-turn McAdams Life Story Interview
  • Pearson correlation and Fisher-z/bootstrap confidence intervals
  • Five-way masked profile matching
  • Sentence-level Jaccard questionnaire-overlap check
  • Ten-feature LLM content rubric
  • ICC(2,1) inter-coder reliability
  • BERTopic with UMAP and HDBSCAN

Datos utilizados

  • PARSEL multimodal partner-selection corpus
  • 290 complete PARSEL psychometric profiles
  • 577 PARSEL conversations from 248 participants
  • Public OSF HEXACO-PI-R test-retest data as an external reference
  • LLM-generated immersive profiles and life-story narratives, not publicly released

Evidencia y localización

  • Preguntas, contribuciones y alcance del round trip: arXiv v1, pp. 1-3, Abstract, Introduction and Related Work
  • PARSEL, 15 constructos, tres etapas y uso de biografía/apariencia: arXiv v1, pp. 4-5, sections 3.1-3.4
  • Recovery HEXACO, test-retest externo, subescalas y modelos: arXiv v1, pp. 5-7 and 16-17, sections 4.1-4.2 and Tables 4-5
  • Error 9/10 Bonferroni y reactividad p=0,007: arXiv v1, pp. 7 and 17-18, section 4.3 and Tables 7-9; recalculation from reported r and N=248
  • Sesgo, límites declarados, reproducción y ética: arXiv v1, pp. 7-10, Discussion, Limitations, Reproducibility Statement and Ethics Statement
  • Selección de codificadores, pilotos, controles and exact table values: arXiv v1, pp. 14-19, Appendices A-L
  • Provenance of PARSEL and test-retest reference: TU Delft PARSEL publication portal DOI 10.1109/TAFFC.2025.3600687 and OSF node wz3du
  • Auditoría integrada de transferencia, leakage, estadística, privacidad y reproducibilidad: reports/verification/article-376-life-story-roundtrip-score-transfer-conversation-leakage-bonferroni-annotator-selection-privacy-artifact-and-reproducibility-audit.json