Synthetic Personality Review

The Pragmatic Persona: Discovering LLM Persona through Bridging Inference

Personas, identidad y agentes2026arXivRevisión editorial aprobada

Autores: Jisoo Yang, Jongwon Ryu, Minuk Ma, Trung X. Pham, Junyeong Kim

Palabras clave: Injected persona recovery, Bridging inference, Discourse graphs, Persona conditioning, Adaptive interviewing, Big Five labels, Cosine similarity, Prompt leakage, Construct validity, Reproducibility

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

5
Autores
7
Hallazgos
11
Limitaciones
3
Evidencias

Resumen editorial

Español

Este preprint presenta PD-Agent, una tubería que entrevista durante 3–5 turnos a un LLM objetivo, extrae con otro LLM siete tipos predefinidos de inferencia puente, construye un grafo y predice cuatro atributos. El experimento no descubre una personalidad inherente: primero inyecta al objetivo un rol social, un único rasgo Big Five binario, un valor de contexto y un interés, y después intenta recuperar esa configuración. La Tabla 3 publica similitudes de 0,87–0,99 para PD-Agent y promedios de 0,90–0,98, superiores a Vanilla y Frequency-Aware; o1-mini obtiene el promedio más alto. La aportación defendible es una propuesta de razonamiento discursivo estructurado para recuperar personas inducidas. La evidencia pública no permite sostener las conclusiones más fuertes. El predictor conoce de antemano qué rasgo Big Five y qué categorías de contexto e interés debe completar; la similitud serializa esas mismas etiquetas en verdad y predicción, lo que puede premiar coincidencias aunque el valor sea erróneo. El repositorio fija GPT-4 como agente en todos los scripts y no implementa los seis backbones ni los seis objetivos de la tabla; solo Qwen3-1.7B coincide con el panel reportado. No publica diálogos, personas muestreadas, resultados por ejecución, datos de la tabla, agregación ni tests estadísticos. Los dos scripts de ablación son idénticos, usan Qwen3-1.7B, ejecutan una sola repetición y sobrescriben salidas. El texto afirma significación y desviación estándar menor de 0,03 en cinco corridas, pero no da n por celda, pruebas, p-valores, intervalos ni dispersiones por celda. La conclusión fiel es que la tabla impresa atribuye mejores puntuaciones de recuperación a una tubería LLM multietapa bajo un esquema artificial y parcialmente revelado; no demuestra una identidad latente, que los rasgos estén codificados en la estructura discursiva ni que el grafo cause la mejora.

English

This preprint presents PD-Agent, a pipeline that interviews a target LLM for 3–5 turns, asks another LLM to extract seven predefined bridging-inference types, builds a graph, and predicts four attributes. The experiment does not discover an inherent persona: it first injects a social role, one binary Big Five trait, one background value, and one interest into the target, then tries to recover that configuration. Table 3 reports PD-Agent cell similarities of 0.87–0.99 and method averages of 0.90–0.98, above Vanilla and Frequency-Aware; o1-mini has the highest printed average. The defensible contribution is a structured discourse-reasoning proposal for recovering induced personas. The public evidence does not support the strongest claims. The predictor is told which Big Five trait and which background and interest categories to complete; the similarity scorer serializes those same labels in both truth and prediction, which can reward shared text even when the predicted value is wrong. Every released experiment script fixes GPT-4 as the agent and does not instantiate the six backbones or six targets in the table; only Qwen3-1.7B matches the reported panel. The repository publishes no dialogue corpus, sampled-persona manifest, run-level results, table data, aggregation, or statistical tests. Its two ablation scripts are identical, default to Qwen3-1.7B, run once, and overwrite fixed outputs. The paper claims significance and a standard deviation below 0.03 across five runs but gives no per-cell n, test, p-value, interval, or dispersion. The faithful conclusion is that the printed table assigns higher recovery scores to a multi-stage LLM pipeline under an artificial, partially disclosed schema; it does not establish a latent identity, structural encoding of persona traits, or a causal benefit from the graph.

Pregunta de investigación

¿Puede una tubería de entrevista, extracción de siete relaciones de inferencia puente, construcción de grafos y razonamiento LLM recuperar cuatro atributos de persona previamente inyectados en otro LLM mejor que dos baselines?

Método

Se muestrea sin semilla conservada una persona con cuatro campos: rol social, uno de cinco rasgos Big Five con valor sí/no, una categoría y valor de contexto, y una categoría y valor de interés. Esa configuración se inserta en el prompt de sistema del LLM objetivo. Un agente de razonamiento conduce una entrevista adaptativa de 3–5 turnos, extrae pares ancla-anáfora clasificados en siete relaciones, construye un grafo y usa la conversación y representaciones derivadas para predecir la persona. Se comparan Vanilla, Frequency-Aware y PD-Agent mediante similitud coseno por cuatro dimensiones. La auditoría inspeccionó visualmente las 15 páginas, el TeX, el commit y su historial, compiló los fuentes Python y contrastó configuración de modelos, muestreo, plantilla revelada, métrica, ablaciones, artefactos y afirmaciones estadísticas.

Muestra: El artículo cruza seis backbones de razonamiento con tres objetivos pequeños y tres grandes, pero no informa cuántas personas se muestrean por celda ni publica el manifiesto de muestras. Dice repetir cinco veces y obtener desviación estándar menor de 0,03. Cada caso usa una persona sintética de cuatro campos y una entrevista de 3–5 turnos. El repositorio actual solo ofrece scripts sueltos con GPT-4 como agente y objetivos por defecto Qwen3-1.7B, Llama-3.2-1B y deepseek-llm-7b-base; únicamente el primero coincide con la tabla.

Hallazgos

  • La Tabla 3 imprime para PD-Agent similitudes de 0,87 a 0,99 y promedios por backbone de 0,90 a 0,98; o1-mini obtiene el mayor promedio impreso.
  • En la tabla, PD-Agent supera a Vanilla y Frequency-Aware en todas las combinaciones mostradas; la mejora máxima declarada frente a frecuencia es +0,15.
  • Los errores cualitativos descritos se concentran en contexto, donde pistas como mudanzas pueden confundir ubicación con situación familiar.
  • El objetivo real es recuperar valores de una persona insertada explícitamente en el prompt, no descubrir una identidad inherente del modelo.
  • La plantilla de predicción revela el nombre del rasgo y las categorías de contexto e interés, dejando por inferir sobre todo sus valores y el rol.
  • El código público no configura el panel experimental de la tabla y carece de datos, agregación y análisis estadístico para reproducirla.
  • La métrica pública comparte etiquetas textuales entre verdad y predicción y usa estados ocultos de un LLM causal, sin validación de que midan corrección semántica de atributos.

Limitaciones

  • No se informa el número de personas por celda, el esquema de muestreo completo ni una semilla reproducible.
  • No hay inventario Big Five: la personalidad se reduce a un solo rasgo elegido y una etiqueta sí/no.
  • El predictor conoce de antemano el rasgo de personalidad y las categorías de contexto e interés.
  • La similitud puede inflarse por texto compartido y no tiene calibración demostrada entre espacios de embeddings de modelos distintos.
  • Las afirmaciones de significación carecen de prueba, p-valores, intervalos y desviaciones por celda.
  • Los scripts fijan GPT-4 y no reproducen los seis backbones reportados; dos de tres objetivos por defecto tampoco pertenecen a la tabla.
  • Solo el script Qwen principal calcula la similitud actual; Llama y DeepSeek no comparten una ruta uniforme de evaluación ni de redacción de fugas.
  • No se publican personas, diálogos, grafos, predicciones, resultados por corrida, datos de Tabla 3 ni código de agregación.
  • Los scripts de ablación son idénticos, NUM_RUNS=1 y sobrescriben archivos, por lo que no sostienen la estabilidad de cinco corridas.
  • No hay anotación humana de relaciones puente, validación psicométrica, criterio humano de persona ni participantes humanos.
  • Dependencias sin fijar, ausencia de CI, tests unitarios, lockfile y licencia reducen la reproducibilidad del software.

Qué no demuestra

  • No descubre una personalidad inherente o espontánea del LLM objetivo.
  • No demuestra que los rasgos de persona estén codificados en la estructura del discurso.
  • No aísla que el grafo, su centralidad o las relaciones puente causen la mejora.
  • No prueba que o1-mini sea mejor por su razonamiento ni que el tamaño del objetivo cause mayor recuperabilidad.
  • No establece significación estadística con la información publicada.
  • No valida los rasgos recuperados frente a personas, psicometría o anotadores humanos.
  • No permite reproducir la Tabla 3 desde el snapshot público.
  • No sustenta generalización a conversación libre, persona multidimensional, otros idiomas o modalidades.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2604.24079v2

Fuente consultada: https://arxiv.org/abs/2604.24079

Revisión: Codex 15-page visual full-text, TeX, repository-history, metric, construct, statistical and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • GPT-4o
  • Claude 3.5 Sonnet
  • Gemini 1.5 Pro
  • o1-mini
  • DeepSeek-V3
  • Llama-3.1-70B
  • Qwen3-1.7B
  • Llama-3.1-8B
  • Gemini-2.5-Flash
  • Qwen3-30B
  • Qwen3-80B

Instrumentos y métricas

  • Four-field injected persona schema
  • Adaptive 3–5-turn interview
  • Seven bridging-relation taxonomy
  • Bridging-inference graph
  • Graph centrality
  • Embedding cosine similarity
  • Vanilla baseline
  • Frequency-Aware baseline

Datos utilizados

  • Randomly generated injected personas, not released
  • Generated interview dialogues, not released
  • Generated bridging relations and graphs, not released
  • Run-level predictions and Table 3 data, not released

Evidencia y localización

  • Marco, persona inyectada, entrevista, prompts, modelos, tabla completa, resultados, limitaciones y créditos: arXiv:2604.24079v2, 15 páginas inspeccionadas; §§3–6 y Tabla 3
  • Implementación, esquemas, configuraciones, métrica, ablaciones, demo e historial de resultados borrados: GitHub JiSoo-Yang/Persona_Bridging commit b6d4d2b7e76a8f3ea32f71b5903c5901d5ca0b0f; tree 1d53b85c5916ab35c5e99f8c1bce7a96ce7d3c72
  • Auditoría de constructo, fugas de plantilla, validez métrica, estadísticas, artefactos y reproducibilidad: reports/verification/article-358-pragmatic-persona-injected-ground-truth-metric-code-and-reproducibility-audit.json