PICon: A Multi-Turn Interrogation Framework for Evaluating Persona Agent Consistency

Personas, identidad y agentes2026arXivRevisión editorial aprobada

Autores: Minseo Kim, Sujeong Im, Junseong Choi, Junhee Lee, Chaeeun Shim, Hwajung Hong, Edward Choi

Palabras clave: Persona conditioning

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

7
Autores
8
Hallazgos
23
Limitaciones
7
Evidencias

Resumen editorial

Español

PICon somete agentes persona a 10 preguntas demográficas, 40 seguimientos encadenados, verificación web de entidades y repetición de las preguntas iniciales. Evalúa ocho grupos de 10 agentes y 63 personas. Ningún grupo sintético supera el área descriptiva humana que combina consistencia interna, externa y retest, aunque Character.ai sí supera a humanos en el eje externo y Twin 2K 500 y Li et al. en retest. El resultado central debe descomponerse: la consistencia interna mezcla no contradicción con cooperación, por lo que los mínimos de OpenCharacter y Consistent LLM reflejan sobre todo respuestas evasivas o irrelevantes. La consistencia externa recompensa producir nombres buscables y excluye afirmaciones sobre la propia biografía; no valida que el agente represente a la persona. Además, el artículo dice excluir NEI del cálculo, pero el código público las cuenta en el denominador como no refutadas, y el apéndice redefine EC como un límite de Wilson. La inferencia estadística es débil: n=10 por grupo, B=3 supuestos remuestreos bootstrap y tests de Welch sobre olas humanas acumuladas y solapadas. El paquete público hace el marco reutilizable, pero no libera outputs, evidencias web ni el pipeline de tablas. PICon es un stress test útil de coherencia factual, no una validación de personalidad, identidad, similitud humana o aptitud para sustituir participantes.

English

PICon subjects persona agents to 10 demographic questions, 40 logically chained follow-ups, web verification of entities, and repetition of the initial questions. It evaluates eight groups of 10 agents and 63 humans. No synthetic group exceeds the human descriptive area combining internal, external and retest consistency, although Character.ai exceeds humans on the external axis and Twin 2K 500 and Li et al. on retest. The central result must be decomposed: internal consistency mixes non-contradiction with cooperativeness, so OpenCharacter and Consistent LLM score poorly mainly because of evasive or irrelevant responses. External consistency rewards producing searchable names and explicitly excludes claims about the speaker's own biography; it does not validate whether the agent represents the person. The paper also says NEI labels are excluded, while the public code counts them in the denominator as non-refuted, and an appendix redefines EC as a Wilson bound. Statistical support is weak: n=10 per group, B=3 purported bootstrap resamples, and Welch tests on overlapping cumulative human waves. The public package makes the framework reusable but releases no paper outputs, web evidence or table pipeline. PICon is a useful factual-coherence stress test, not validation of personality, identity, human similarity or fitness to replace participants.

Pregunta de investigación

Cómo evaluar en caja negra si un agente persona mantiene afirmaciones factuales sin contradicciones internas, sin refutación por evidencia web y estables al repetir preguntas durante y entre conversaciones.

Método

PICon usa 10 preguntas demográficas WVS en orden aleatorio, 40 preguntas generadas a partir de respuestas previas, extracción de entidades y claims, búsqueda web y una confirmación del propio agente sobre la evidencia recuperada. GPT-5 pregunta, GPT-5.1 extrae y Gemini-2.5-Flash evalúa. IC es la media armónica de cooperación y no contradicción; EC, según el método principal, la de cobertura de turnos con claims buscables y no refutación; RC compara semánticamente las diez respuestas repetidas. Se prueban ocho familias de agentes, resets entre sesiones, 25/50/75 turnos, interrogación intensiva por tema y una configuración abierta alternativa.

Muestra: Ocho grupos de 10 personas sintéticas: Character.ai, OpenCharacter, Consistent LLM, Twin 2K 500, DeepPersona, Li et al. 2025, Human Simulacra y Nemotron. El baseline humano reúne 63 participantes con inglés funcional, reclutados por bola de nieve en cinco olas acumuladas durante dos semanas; predominan edades 20-49 y nacionalidad coreana, aunque participan varios países. Cada persona completa 50 turnos y recibe 30 USD. La selección de agentes auxiliares usa 25 evaluadores para 220 pares de preguntas y cinco anotadores sobre cuatro transcripciones para extracción/evaluación.

Hallazgos

  • Humanos obtienen IC 0,90, EC 0,66 y RC 0,94; ninguna de las ocho áreas triangulares medias sintéticas supera la humana.
  • Character.ai alcanza EC 0,71, por encima de humanos, pero RC 0,46; Twin 2K 500 llega a RC 0,95 y Li et al. a 0,98.
  • Human Simulacra presenta el IC sintético mayor, 0,79; Nemotron combina 0,81 IC, 0,60 EC y 0,93 RC.
  • OpenCharacter tiene IC 0,16 y Consistent LLM 0,31; su no contradicción es 0,54/0,96, pero cooperación solo 0,11/0,20.
  • Character.ai obtiene cobertura 0,66 y no refutación 0,79; Consistent LLM y Twin 2K 500 rozan 1,00 de no refutación con cobertura 0,18/0,16.
  • OpenCharacter descarta 0,77 de las evidencias tras confirmación y Consistent LLM 0,69, mostrando fuerte selección antes de calcular no refutación.
  • Al reiniciar sesión, Character.ai/OpenCharacter/Consistent LLM puntúan 0,55/0,59/0,31; la decodificación greedy con orden barajado no estabiliza consistentemente.
  • La interrogación intensiva de un tema reduce las medias IC de 0,69 a 0,59-0,64 y EC de 0,52 a 0,42-0,53 en un caso por grupo.

Limitaciones

  • IC combina coherencia lógica y utilidad conversacional; una negativa, irrelevancia o falta de datos baja el score aunque no exista contradicción.
  • EC excluye claims sobre el propio hablante y verifica entidades externas; no comprueba que la biografía coincida con la persona representada.
  • Coverage mide producción de nombres buscables, no verdad; penaliza vidas privadas y puede premiar verbosidad o invención con huella web.
  • No refutado no equivale a respaldado: ausencia de evidencia, snippets ambiguos y cobertura web desigual no prueban factualidad.
  • El agente confirma si la evidencia corresponde a su claim; tasas de descarte de 0,69-0,77 permiten seleccionar qué afirmaciones llegan al score.
  • El paper dice excluir NEI, pero el commit público 2e50635 suma supported, refuted y NEI al denominador; NEI aumenta no refutación y EC.
  • Appendix F.2 llama EC a un límite inferior de Wilson sobre claims soportados, incompatible con la media armónica de cobertura/no refutación del método y código.
  • El código asigna TRUE a fallos persistentes del judge intra-sesión y FALSE a fallos inter-sesión; no se publican tasas de fallo y el tratamiento es asimétrico.
  • RC principal repite preguntas con respuestas previas aún en contexto y puede medir copia/memoria de contexto, no identidad estable entre ejecuciones.
  • El área combina tres constructos distintos con peso igual y sin unidad, validación o umbral; es un índice descriptivo.
  • Solo hay 10 instancias por grupo, desviaciones estándar pero no intervalos del promedio ni tests grupo-humano para la afirmación principal.
  • B=3 no permite un bootstrap percentil 95% fiable; los intervalos negativos para RC revelan una aproximación no acotada y no demuestran ausencia de sesgo de selección.
  • Los tests de Welch comparan muestras acumuladas solapadas 20/30/41/53/63 como si fueran independientes; no rechazo no demuestra estabilización.
  • El stopping humano depende de métricas observadas sin umbral preregistrado, equivalencia, potencia o método secuencial.
  • Bola de nieve, predominio coreano, inglés funcional, privacidad y fatiga limitan el baseline; no representa una población humana universal.
  • La comparación con evaluadores abiertos es visual, sin tabla numérica, correlación, acuerdo de ranking, equivalencia o variabilidad entre runs.
  • El abstract oficial actual dice siete grupos, mientras PDF v4, tablas y paquete contienen ocho.
  • El repo/paquete incluye implementación, scripts y prompts, pero no outputs, entrevistas, búsquedas, anotaciones, resultados de remuestreo ni pipeline exacto de tablas.
  • No hay tests automatizados ni lockfile; main conserva paths locales y el README packaging referencias anónimas obsoletas.
  • No hay licencia de código superior y GitHub/PyPI declaran license null, aunque se documentan algunas licencias de datos.
  • Los modelos Gemini no tienen snapshot inmutable, la búsqueda web cambia y no se publican logs; reproducir valores exactos es temporalmente inestable.
  • Las preguntas piden religión, finanzas, inmigración, hijos, nombres, dirección y empleador; faltan retención, eliminación, región Azure, proveedores de búsqueda/geocoding y análisis de reidentificación/terceros.
  • El prompt presupone identidad fabricada y ordena exigir detalles y construir un dossier; puede presionar divulgación y tiene uso dual en profiling o vigilancia.

Qué no demuestra

  • No demuestra que todos los agentes estén por debajo de humanos en cada eje; varios superan EC o RC por separado.
  • No demuestra que un IC bajo implique contradicciones: puede reflejar no cooperación.
  • No valida que el agente encarne la biografía de su objetivo, porque excluye claims speaker-centric.
  • No convierte ausencia de refutación web en soporte factual ni cobertura en realismo.
  • No valida personalidad, estilo, preferencias, valores, conducta o resultados downstream; esos constructos están fuera de alcance.
  • No establece que el área triangular tenga interpretación psicométrica o un umbral humano de equivalencia.
  • No demuestra estabilidad del baseline humano mediante tests sobre olas acumuladas ni ausencia de sesgo mediante tres remuestreos.
  • No proporciona una comparación inferencial robusta con el promedio humano con n=10 por grupo.
  • No garantiza que los EC publicados sigan el método descrito mientras NEI se implemente de forma contradictoria.
  • No permite reconstruir exactamente tablas y figuras sin outputs, evidencia web, análisis y snapshots históricos.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2603.25620v4

Fuente consultada: https://arxiv.org/abs/2603.25620v4

Revisión: Codex 29-page visual full-text, official arXiv/project, GitHub two-branch, PyPI, construct, code-metric, statistical, human-baseline, privacy, ethics and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • GPT-5-2025-08-07
  • GPT-5.1-2025-11-13
  • Gemini-2.5-Flash
  • gemini-3-flash-preview
  • Qwen3-235B-A22B-Thinking
  • Qwen3-Next-80B-A3B-Thinking
  • Qwen3-Next-80B-A3B-Instruct
  • Character.ai
  • OpenCharacter
  • Consistent LLM
  • Twin 2K 500
  • DeepPersona
  • Human Simulacra
  • Nemotron Personas

Instrumentos y métricas

  • 10 preguntas demográficas de World Values Survey
  • 40 preguntas de interrogación encadenada
  • Extracción incremental de entidades y claims
  • Búsqueda web y confirmación de evidencia
  • Cooperativeness y non-contradiction rate
  • Coverage y non-refutation rate
  • Retest intra e inter-sesión
  • Media armónica IC/EC
  • Área normalizada del radar triangular
  • Gwet AC1 y evaluación humana de selección de modelos

Datos utilizados

  • Character.ai public-figure personas
  • xywang1/OpenCharacter
  • Consistent LLM persona configurations
  • LLM-Digital-Twin/Twin-2K-500
  • DeepPersona profiles
  • Tianyi-Lab/Personas descriptive tier
  • Human Simulacra characters
  • Seven country-specific NVIDIA Nemotron Personas datasets
  • 63 PICon human interviews, not publicly released

Evidencia y localización

  • Marco, alcance, ecuaciones IC/EC/RC y exclusión speaker-centric: arXiv v4, pp. 1-6; all 29 PDF pages visually inspected
  • Resultados principales y descomposición por cooperación, cobertura y descarte: arXiv v4, pp. 6-9 and p. 13, Tables 3-5
  • Bootstrap B=3, longitud, intensidad y evaluación humana: arXiv v4, pp. 13-17, Tables 6-12
  • Privacidad, muestra, ética, preguntas sensibles y prompts completos: arXiv v4, pp. 17-23
  • Disponibilidad, versiones y discrepancia siete/ocho grupos: Official arXiv Atom/HTML and KAIST project page inspected 2026-07-17
  • Implementación NEI, defaults del judge, artefactos, tests y licencias: Official GitHub main aa660d8 and packaging 2e50635 branches plus PyPI picon-eval 0.1.8 inspected 2026-07-17
  • Auditoría integral de constructo, estadística, baseline humano, código, reproducibilidad y ética: reports/verification/article-383-picon-consistency-construct-external-metric-nei-code-statistics-human-baseline-artifacts-and-ethics-audit.json