Adaptive Interviewing for Persona Simulation in LLMs: Evidence-Grounded Reasoning Improves Decision Alignment

Personas, identidad y agentes2026arXivRevisión editorial aprobada

Autores: Ruoxi Su, Yuhan Liu, Jingyu Hu

Palabras clave: Personality, Persona conditioning, Human simulation

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

3
Autores
10
Hallazgos
26
Limitaciones
5
Evidencias

Resumen editorial

Español

Este preprint de 20 páginas estudia si una entrevista adaptativa ayuda a un LLM a predecir decisiones auto-reportadas de una persona. Veinte voluntarios de 20 a 30 años, equilibrados por género según los autores, fueron reclutados en redes académicas online, sin compensación, para una sesión aproximada de 60 minutos. Un modelo de razonamiento DeepSeek genera diez preguntas abiertas individualizadas sobre prioridades, decisiones, miedos, autoconocimiento, afrontamiento, relaciones, conflictos de valores, identidad, regulación emocional y narrativa vital; tras las respuestas, formula cinco o seis seguimientos y sintetiza un resumen de personalidad. Después, cada participante informa uno o dos tipos MBTI posibles, completa lo que el artículo denomina BFI-44 y responde 25 escenarios morales y sociales creados por los autores. GPT-5 intenta reproducir esas respuestas con tres representaciones: solo Core-10, la entrevista completa y el resumen. El resultado agregado no muestra una mejora por añadir contexto: Core obtiene 0,379 con IC95% [0,337, 0,420], Full 0,365 [0,333, 0,402] y Summary 0,393 [0,350, 0,433]; los intervalos se solapan y el propio artículo los trata como diferencias descriptivas. La puntuación mezcla 17 elecciones categóricas, 7 escalas Likert y un único ranking. Las elecciones quedan casi iguales, 0,391, 0,397 y 0,403; el exact match Likert es 0,307, 0,236 y 0,329, mientras tolerar un punto produce 0,579, 0,743 y 0,721. Q17, el único ranking, se evalúa por concordancia de sus diez pares y obtiene 0,675, 0,730 y 0,675. No es exactitud de ranking completo y su azar aproximado es 0,5, distinto del de las otras tareas; promediar los tres formatos no genera una métrica homogénea. La tesis central se apoya en 340 pares participante-pregunta de elección. Bajo Full, 134 trazas citan evidencia de seguimientos, solas o junto al Core; 61 son correctas, 45,5%, frente a 81 de 206, 39,3%, que no la citan. En comparación pareada con Core, 15 mejoran, 6 empeoran, 46 siguen correctas y 67 siguen incorrectas. La auditoría recalcula que 15 frente a 6 da p exacta bilateral 0,0784 y que 61/134 frente a 81/206 da Fisher p=0,263, antes incluso de corregir la dependencia por 20 participantes y 17 preguntas. Además, uso de seguimiento es una etiqueta post-hoc de la misma traza cuya exactitud se evalúa: preguntas, participantes y dificultad difieren entre grupos, de modo que la asociación no identifica un efecto causal de la entrevista adaptativa. Los intervalos del análisis de razonamiento remuestrean predicciones individuales e ignoran clustering por participante e ítem. De 680 trazas Core y Full, solo 120 únicas, 17,6%, integran la verificación humana: 60 con tres anotadores y 60 con uno. El 95% de acuerdo humano y 87,9% con pre-etiquetas no especifican estadístico, IC, acuerdo por clase ni corrección por azar; 312 de 340 etiquetas Full son value-based, por lo que la prevalencia puede inflar el acuerdo. La explicación del propio modelo tampoco prueba qué evidencia causó internamente la decisión. El cuestionario público confirma que los 25 escenarios son ítems ad hoc con referencias conceptuales a CNI, delay discounting, ERQ, Schwartz o Big Five, no ítems validados de esas baterías. No hay pilotaje, fiabilidad, análisis factorial ni validación de constructo. Los llamados pares de consistencia cambian dominio, opciones y dirección; el PDF final empareja Q21 con Q25, mientras TeX y notebook usan Q21 con Q22. El notebook compara letras literales aunque las opciones no están semánticamente alineadas, mezcla incluso una elección Q19 con una escala Q20 y no aplica reverse coding, por lo que su salida 0,680 no es interpretable. La procedencia de Big Five también queda sin resolver. El artículo afirma BFI-44, pero el enlace actual de MindWorks muestra 50 ítems basados en Goldberg. La escala uniforme 1-40 y el corte 20/21 encajan más naturalmente con diez ítems por rasgo que con el BFI-44 de conteos desiguales. Sin formulario archivado, scoring o datos no puede confirmarse qué se administró. Luego el análisis desecha la magnitud y binariza cada rasgo en 20 frente a 21 sin validar el umbral ni publicar prevalencias. MBTI también es un diagnóstico débil: algunos humanos declaran dos tipos y el modelo dos candidatos; hit@2 puede acertar entre hasta cuatro combinaciones. Off-by-1 y off-by-2 son bins exclusivos, aunque la tabla dice que menor es mejor; menos near misses también puede significar errores más lejanos. El orden fijo entrevista-cuestionarios puede cebar las respuestas posteriores, algo reconocido por los autores, y el resumen generado por LLM puede estar estilísticamente optimizado para otro LLM. No hay control contrabalanceado, resumen humano o control de igual longitud. Tampoco se conservan snapshots exactos de GPT-5 o DeepSeek-R1, proveedor, endpoint, metadata de respuesta o fecha por llamada; la temperatura de entrevista se expresa como rango 0,8-1,0, se mantienen defaults de API y temperatura cero no garantiza determinismo alojado. La auditoría revisó visualmente las 20 páginas del paper, las 6 del cuestionario, el TeX y las 37 celdas del Colab. El notebook depende íntegramente de CSV privados en Google Drive y solo puntúa un fichero de predicción cada vez. No contiene inferencia, los tres contextos, bootstrap, agregación de trazas ni acuerdo humano, aunque el artículo afirma que el código enlazado incluye bootstrap y razonamiento. Sus outputs están desordenados o stale: Q17 vale 0,725 en una celda y 0,1 en la siguiente. Tras crear Q17_rep, la exactitud por usuario conserva también Q17 original y promedia 26 columnas, contando el ranking dos veces; el heatmap tiene 26 datos y 25 etiquetas. No se publican respuestas humanas, transcripciones, predicciones, trazas, anotaciones o entorno, por lo que el resultado principal no se reproduce. En ética, los autores dicen que no hubo revisión IRB formal y se autoencuadran en 45 CFR 46.104 categoría 2, pero no identifican institución, decisión oficial o número de exención; dos autores figuran como independientes. Las narrativas se enviaron a APIs comerciales y se almacenan localmente, pero no se documentan retención del proveedor, términos de procesamiento, eliminación o si el consentimiento cubría terceros. La contribución defendible es un estudio piloto transparente al reconocer que más contexto no mejora uniformemente y un diseño interesante para separar elicitation, compresión y grounding. No demuestra que el seguimiento mejore la alineación, que las trazas revelen el mecanismo interno, que el instrumento mida conducta o personalidad estable, ni una regla general sobre qué representación usar por tipo de tarea.

English

This 20-page exploratory preprint tests whether adaptive interviewing helps an LLM predict one-session human self-reports. Twenty volunteers aged 20 to 30 answer ten participant-specific questions generated by a DeepSeek reasoning model, five or six adaptive follow-ups, and then MBTI, a purported BFI-44, and 25 author-created moral and social scenarios. GPT-5 predicts the answers from Core-10, Full Interview, or an LLM-generated Summary. Aggregate scores are 0.379, 0.365, and 0.393 with substantially overlapping participant-bootstrap intervals, so Full does not outperform Core. The overall score mixes exact categorical and Likert accuracy with pairwise-order agreement for a single ranking item, despite different chance levels and semantics. In 340 Full categorical traces, 134 cite follow-up evidence and score 61/134 or 45.5%, versus 81/206 or 39.3% otherwise. The paired transition is 15 improvements and 6 degradations; an exact two-sided test gives p=0.0784, while Fisher's test for the two post-selected groups gives p=0.263 before accounting for participant and question clustering. Evidence use is a post-treatment label generated by the same trace being evaluated, and groups are not controlled for question difficulty or participant, so the association is not causal evidence that follow-ups help. Reasoning CIs resample individual predictions and ignore crossed clustering. Only 120 of 680 condition-specific traces receive any human verification; 60 are triple-annotated and 60 single-annotated. The reported 95% human agreement and 87.9% agreement with prelabels omit the statistic, uncertainty, class-wise reliability and chance correction despite extreme label prevalence. The 25 public dilemmas are bespoke items with conceptual paradigm references, not validated CNI, ERQ, Schwartz, Big Five or delay-discounting measures. Claimed consistency pairs change domains and response semantics; the PDF names Q21-Q25 while TeX and notebook use Q21-Q22. Notebook consistency code compares literal option labels across non-aligned and mixed-format pairs, making its 0.680 output uninterpretable. Instrument provenance is unresolved: the paper says BFI-44, but the current MindWorks link displays 50 Goldberg-based items, and the uniform 1-40 score plus 20/21 split is more consistent with ten items per trait than unequal BFI-44 trait counts. Big Five is then arbitrarily binarized, losing magnitude and exposing results to class imbalance. MBTI hit@2 is unusually permissive because some participants supply two types and the model two candidates. The fixed interview-first order can prime subsequent self-reports, and an LLM-generated summary may be optimized for another LLM; there are no counterbalanced, human-summary, or length-matched controls. Exact GPT-5 and DeepSeek snapshots, provider metadata and per-call settings are absent. All 20 paper pages, all 6 dilemma pages, complete TeX, and all 37 notebook cells and outputs were audited. The notebook depends on private Drive CSVs, handles one prediction file at a time, and contains no inference, multi-condition manifest, bootstrap, reasoning aggregation or human-agreement code. Its saved outputs are stale: Q17 is 0.725 in one cell and 0.1 in the next. Per-user accuracy also double-counts ranking by retaining raw Q17 and Q17_rep across 26 columns. Human responses, transcripts, predictions, 680 traces and annotations are unavailable, so the central result is not independently reproducible. No formal IRB review or official exemption identifier is supplied, and third-party API processing details for personal narratives are undocumented. The defensible contribution is a candid small pilot and an interesting elicitation-compression-grounding design. It does not establish that adaptive follow-up improves alignment, that generated explanations reveal internal mechanism, that the tasks measure behavior or stable personality, or a general task-adaptive representation rule.

The task-level breakdown is also important. The 25 outcomes comprise 17 categorical choices, seven Likert responses, and one ranking. Category accuracy is .391, .397, and .403 for Core, Full, and Summary; exact Likert agreement is .307, .236, and .329, while allowing a one-point error yields .579, .743, and .721. The ranking is converted into ten pairwise comparisons and scores .675, .730, and .675, with a different approximate chance level from the other formats. Averaging these quantities does not create a homogeneous accuracy measure. Of 680 Core and Full traces, only 120 unique traces, 17.6%, enter any human verification: 60 receive three labels and 60 only one. The reported 95% agreement among humans and 87.9% agreement with prelabels omit the agreement statistic, interval, chance correction, and class-wise results; 312 of 340 Full traces are classified as value-based, so prevalence alone can inflate agreement.

The study's personality measurements are not reproducibly identified. The paper calls its questionnaire BFI-44, but its current MindWorks link displays a 50-item Goldberg-derived instrument; uniform 1–40 trait ranges and a 20/21 split fit ten items per trait more naturally than BFI-44's unequal item counts. No archived form, key, or response data resolves the conflict. Scores are then binarized at an unvalidated threshold, and MBTI hit@2 allows both participant and model to offer two candidates. The public notebook depends on private Drive CSV files, evaluates one prediction file at a time, and contains neither model inference nor the three-condition assembly, bootstrap, reasoning aggregation, or human-agreement pipeline. Saved outputs conflict, Q17 is .725 in one cell and .1 in the next, and per-user scoring retains both Q17 and Q17_rep, averaging 26 columns and counting the ranking twice. The paper states that no formal IRB review occurred and invokes 45 CFR 46.104 category 2 without an institutional determination or exemption number. Personal narratives were sent to commercial APIs, but provider retention, processing terms, deletion, and consent for third-party transfer are not documented. These omissions do not erase the pilot's useful negative result that more context is not uniformly better, but they rule out a causal claim for adaptive follow-up and independent reproduction of the headline analysis.

Pregunta de investigación

¿Una entrevista con diez preguntas abiertas, seguimientos adaptativos y un resumen permite que GPT-5 prediga mejor las decisiones, MBTI y Big Five auto-reportados de una persona, y cuándo usa realmente la evidencia obtenida en los seguimientos?

Método

N=20; entrevista DeepSeek con diez preguntas individualizadas, cinco o seis seguimientos y resumen; después MBTI, supuesto BFI-44 y 25 dilemas ad hoc. GPT-5 predice bajo Core-10, Full y Summary. Se calculan exact match, tolerancia Likert, concordancia pareada de ranking, bootstrap y etiquetas LLM de evidencia/razonamiento con verificación humana parcial. La auditoría revisa PDF, TeX, cuestionario, notebook y recalcula tests descriptivos.

Muestra: Veinte adultos de 20 a 30 años, género equilibrado según el paper, reclutados mediante redes académicas online, sin compensación y con una sesión de unos 60 minutos. No se informa país, idioma, educación, composición exacta, attrition ni cálculo de potencia.

Hallazgos

  • Core 0,379, Full 0,365 y Summary 0,393; los IC95% se solapan.
  • Las elecciones categóricas son casi idénticas entre condiciones: 0,391-0,403.
  • Full mejora tolerancia Likert a un punto pero empeora exact match.
  • El único ranking obtiene 0,675-0,730 bajo concordancia por pares.
  • 134 de 340 trazas Full citan evidencia de seguimiento.
  • Esas trazas logran 45,5% frente a 39,3% en las restantes.
  • En los 134 pares hay 15 mejoras, 6 empeoramientos, 46 correctas estables y 67 incorrectas estables.
  • La prueba exacta pareada da p=0,0784 y Fisher entre grupos p=0,263.
  • 312 de 340 trazas Full se etiquetan value-based.
  • El notebook público no reproduce bootstrap ni análisis de razonamiento y conserva outputs inconsistentes.

Limitaciones

  • N=20 homogéneo y sin potencia reportada.
  • Orden fijo entrevista antes de dilemas con riesgo de priming.
  • Sin control aleatorio o contrabalanceado.
  • La etiqueta uso de seguimiento es post-hoc y no identifica causalidad.
  • Sin control por dificultad de pregunta, participante o prevalencia de respuesta.
  • Bootstrap de razonamiento ignora clustering cruzado.
  • Solo 120 de 680 trazas tienen alguna verificación humana.
  • Acuerdo sin estadístico, IC, clase o corrección por azar.
  • Las explicaciones generadas no revelan necesariamente el proceso interno.
  • La accuracy agregada mezcla métricas con distintos niveles de azar.
  • Conclusiones sobre ranking basadas en un único ítem.
  • Dilemas ad hoc sin validación psicométrica.
  • Pares de consistencia no equivalentes y discrepancia Q21-Q25 frente a Q21-Q22.
  • Código de consistencia del notebook semánticamente inválido.
  • El enlace actual tiene 50 ítems Goldberg, no BFI-44.
  • Big Five binarizado con umbral 20/21 no validado.
  • MBTI hit@2 admite dos verdades y dos predicciones.
  • Resumen generado por LLM sin control humano o length-matched.
  • Modelos y APIs sin snapshots inmutables.
  • Temperatura de entrevista como rango y defaults no preservados.
  • Notebook dependiente de CSV privados y sin pipeline principal.
  • Outputs stale e inconsistencia Q17 0,725 frente a 0,1.
  • Ranking contado dos veces en accuracy por usuario del notebook.
  • Sin datos, trazas, anotaciones, lockfile, tests o CI.
  • Sin determinación IRB formal identificada.
  • Procesamiento de narrativas por APIs comerciales sin detalle de retención o consentimiento para terceros.

Qué no demuestra

  • Que más contexto mejore la predicción agregada.
  • Que los seguimientos causen el aumento observado en trazas seleccionadas.
  • Que 45,5% frente a 39,3% sea estadísticamente distinto.
  • Que las explicaciones del modelo revelen su mecanismo interno.
  • Que los 25 dilemas sean instrumentos validados de personalidad o moralidad.
  • Que el test administrado sea realmente BFI-44.
  • Que un único ranking generalice a tareas de ranking.
  • Una regla general de Summary para categóricas y Full para ordinales.
  • Personalidad persistente o conducta real de participantes o LLMs.
  • Reproducibilidad independiente del hallazgo central.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2605.29458v1, submitted 2026-05-28, 20 pages, CC BY 4.0; linked 6-page dilemma PDF and 37-cell Colab notebook audited

Fuente consultada: https://arxiv.org/abs/2605.29458

Revisión: Codex 20-page visual, complete TeX, 6-page dilemma instrument, 37-cell notebook, statistical, causal, psychometric, reproducibility, ethics and privacy audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • GPT-5
  • DeepSeek-R1

Instrumentos y métricas

  • Diez dominios de entrevista persona
  • Cinco o seis seguimientos adaptativos
  • Resumen de personalidad generado
  • MBTI auto-reportado
  • Test enlazado como BFI-44 pero actualmente de 50 ítems Goldberg
  • 25 dilemas ad hoc
  • 17 elecciones
  • 7 Likert
  • 1 ranking
  • Taxonomía de razonamiento y localización de evidencia

Datos utilizados

  • 20 entrevistas y resúmenes privados
  • 500 respuestas humanas a dilemas
  • Tres conjuntos privados de predicciones GPT-5
  • 680 trazas de razonamiento privadas
  • 120 trazas en conjunto de verificación humana
  • PDF público de 25 dilemas
  • Notebook Colab público sin datos

Evidencia y localización

  • Método, resultados, ética, prompts y tablas: arXiv:2605.29458v1, all 20 pages rendered and visually inspected, sha256 c39ed67a1ad5580e8c34b9e5e15fb03a9c45e1881df783c1b9ca9f3469ed3632
  • Estructura completa y comentarios de análisis: Complete arXiv v1 TeX source, sha256 fd40b803f157488da9b6f3042177eaaf5059a3aed6b78f5d9b2845e398bc1897
  • Contenido y formatos de los 25 dilemas: Linked 6-page dilemma PDF, all pages rendered and visually inspected, sha256 5b19fc72e3cfa044abb4249d96c602a8d7b9aebc6963c038072ad99493988e70
  • Código parcial, outputs stale y bugs de métricas: Linked 37-cell Colab notebook, sha256 804d806302154eaccc1d0bbd37a9e00c91bba57f543778c4d066541a385a7b75
  • Tests, instrumento, reproducibilidad y límites causales: reports/verification/article-314-adaptive-interviewing-instrument-statistics-notebook-and-reproducibility-audit.json