Adaptive Interviewing for Persona Simulation in LLMs: Evidence-Grounded Reasoning Improves Decision Alignment

This 20-page exploratory preprint tests whether adaptive interviewing helps an LLM predict one-session human self-reports. Twenty volunteers aged 20 to 30 answer ten participant-specific questions generated by a DeepSeek reasoning model, five or six adaptive follow-ups, and then MBTI, a purported BFI-44, and 25 author-created moral and social scenarios. GPT-5 predicts the answers from Core-10, Full Interview, or an LLM-generated Summary. Aggregate scores are 0.379, 0.365, and 0.393 with substantially overlapping participant-bootstrap intervals, so Full does not outperform Core. The overall score mixes exact categorical and Likert accuracy with pairwise-order agreement for a single ranking item, despite different chance levels and semantics. In 340 Full categorical traces, 134 cite follow-up evidence and score 61/134 or 45.5%, versus 81/206 or 39.3% otherwise. The paired transition is 15 improvements and 6 degradations; an exact two-sided test gives p=0.0784, while Fisher's test for the two post-selected groups gives p=0.263 before accounting for participant and question clustering. Evidence use is a post-treatment label generated by the same trace being evaluated, and groups are not controlled for question difficulty or participant, so the association is not causal evidence that follow-ups help. Reasoning CIs resample individual predictions and ignore crossed clustering. Only 120 of 680 condition-specific traces receive any human verification; 60 are triple-annotated and 60 single-annotated. The reported 95% human agreement and 87.9% agreement with prelabels omit the statistic, uncertainty, class-wise reliability and chance correction despite extreme label prevalence. The 25 public dilemmas are bespoke items with conceptual paradigm references, not validated CNI, ERQ, Schwartz, Big Five or delay-discounting measures. Claimed consistency pairs change domains and response semantics; the PDF names Q21-Q25 while TeX and notebook use Q21-Q22. Notebook consistency code compares literal option labels across non-aligned and mixed-format pairs, making its 0.680 output uninterpretable. Instrument provenance is unresolved: the paper says BFI-44, but the current MindWorks link displays 50 Goldberg-based items, and the uniform 1-40 score plus 20/21 split is more consistent with ten items per trait than unequal BFI-44 trait counts. Big Five is then arbitrarily binarized, losing magnitude and exposing results to class imbalance. MBTI hit@2 is unusually permissive because some participants supply two types and the model two candidates. The fixed interview-first order can prime subsequent self-reports, and an LLM-generated summary may be optimized for another LLM; there are no counterbalanced, human-summary, or length-matched controls. Exact GPT-5 and DeepSeek snapshots, provider metadata and per-call settings are absent. All 20 paper pages, all 6 dilemma pages, complete TeX, and all 37 notebook cells and outputs were audited. The notebook depends on private Drive CSVs, handles one prediction file at a time, and contains no inference, multi-condition manifest, bootstrap, reasoning aggregation or human-agreement code. Its saved outputs are stale: Q17 is 0.725 in one cell and 0.1 in the next. Per-user accuracy also double-counts ranking by retaining raw Q17 and Q17_rep across 26 columns. Human responses, transcripts, predictions, 680 traces and annotations are unavailable, so the central result is not independently reproducible. No formal IRB review or official exemption identifier is supplied, and third-party API processing details for personal narratives are undocumented. The defensible contribution is a candid small pilot and an interesting elicitation-compression-grounding design. It does not establish that adaptive follow-up improves alignment, that generated explanations reveal internal mechanism, that the tasks measure behavior or stable personality, or a general task-adaptive representation rule.

The task-level breakdown is also important. The 25 outcomes comprise 17 categorical choices, seven Likert responses, and one ranking. Category accuracy is .391, .397, and .403 for Core, Full, and Summary; exact Likert agreement is .307, .236, and .329, while allowing a one-point error yields .579, .743, and .721. The ranking is converted into ten pairwise comparisons and scores .675, .730, and .675, with a different approximate chance level from the other formats. Averaging these quantities does not create a homogeneous accuracy measure. Of 680 Core and Full traces, only 120 unique traces, 17.6%, enter any human verification: 60 receive three labels and 60 only one. The reported 95% agreement among humans and 87.9% agreement with prelabels omit the agreement statistic, interval, chance correction, and class-wise results; 312 of 340 Full traces are classified as value-based, so prevalence alone can inflate agreement.

The study's personality measurements are not reproducibly identified. The paper calls its questionnaire BFI-44, but its current MindWorks link displays a 50-item Goldberg-derived instrument; uniform 1–40 trait ranges and a 20/21 split fit ten items per trait more naturally than BFI-44's unequal item counts. No archived form, key, or response data resolves the conflict. Scores are then binarized at an unvalidated threshold, and MBTI hit@2 allows both participant and model to offer two candidates. The public notebook depends on private Drive CSV files, evaluates one prediction file at a time, and contains neither model inference nor the three-condition assembly, bootstrap, reasoning aggregation, or human-agreement pipeline. Saved outputs conflict, Q17 is .725 in one cell and .1 in the next, and per-user scoring retains both Q17 and Q17_rep, averaging 26 columns and counting the ranking twice. The paper states that no formal IRB review occurred and invokes 45 CFR 46.104 category 2 without an institutional determination or exemption number. Personal narratives were sent to commercial APIs, but provider retention, processing terms, deletion, and consent for third-party transfer are not documented. These omissions do not erase the pilot's useful negative result that more context is not uniformly better, but they rule out a causal claim for adaptive follow-up and independent reproduction of the headline analysis.

Este preprint de 20 páginas estudia si una entrevista adaptativa ayuda a un LLM a predecir decisiones auto-reportadas de una persona. Veinte voluntarios de 20 a 30 años, equilibrados por género según los autores, fueron reclutados en redes académicas online, sin compensación, para una sesión aproximada de 60 minutos. Un modelo de razonamiento DeepSeek genera diez preguntas abiertas individualizadas sobre prioridades, decisiones, miedos, autoconocimiento, afrontamiento, relaciones, conflictos de valores, identidad, regulación emocional y narrativa vital; tras las respuestas, formula cinco o seis seguimientos y sintetiza un resumen de personalidad. Después, cada participante informa uno o dos tipos MBTI posibles, completa lo que el artículo denomina BFI-44 y responde 25 escenarios morales y sociales creados por los autores. GPT-5 intenta reproducir esas respuestas con tres representaciones: solo Core-10, la entrevista completa y el resumen. El resultado agregado no muestra una mejora por añadir contexto: Core obtiene 0,379 con IC95% [0,337, 0,420], Full 0,365 [0,333, 0,402] y Summary 0,393 [0,350, 0,433]; los intervalos se solapan y el propio artículo los trata como diferencias descriptivas. La puntuación mezcla 17 elecciones categóricas, 7 escalas Likert y un único ranking. Las elecciones quedan casi iguales, 0,391, 0,397 y 0,403; el exact match Likert es 0,307, 0,236 y 0,329, mientras tolerar un punto produce 0,579, 0,743 y 0,721. Q17, el único ranking, se evalúa por concordancia de sus diez pares y obtiene 0,675, 0,730 y 0,675. No es exactitud de ranking completo y su azar aproximado es 0,5, distinto del de las otras tareas; promediar los tres formatos no genera una métrica homogénea. La tesis central se apoya en 340 pares participante-pregunta de elección. Bajo Full, 134 trazas citan evidencia de seguimientos, solas o junto al Core; 61 son correctas, 45,5%, frente a 81 de 206, 39,3%, que no la citan. En comparación pareada con Core, 15 mejoran, 6 empeoran, 46 siguen correctas y 67 siguen incorrectas. La auditoría recalcula que 15 frente a 6 da p exacta bilateral 0,0784 y que 61/134 frente a 81/206 da Fisher p=0,263, antes incluso de corregir la dependencia por 20 participantes y 17 preguntas. Además, uso de seguimiento es una etiqueta post-hoc de la misma traza cuya exactitud se evalúa: preguntas, participantes y dificultad difieren entre grupos, de modo que la asociación no identifica un efecto causal de la entrevista adaptativa. Los intervalos del análisis de razonamiento remuestrean predicciones individuales e ignoran clustering por participante e ítem. De 680 trazas Core y Full, solo 120 únicas, 17,6%, integran la verificación humana: 60 con tres anotadores y 60 con uno. El 95% de acuerdo humano y 87,9% con pre-etiquetas no especifican estadístico, IC, acuerdo por clase ni corrección por azar; 312 de 340 etiquetas Full son value-based, por lo que la prevalencia puede inflar el acuerdo. La explicación del propio modelo tampoco prueba qué evidencia causó internamente la decisión. El cuestionario público confirma que los 25 escenarios son ítems ad hoc con referencias conceptuales a CNI, delay discounting, ERQ, Schwartz o Big Five, no ítems validados de esas baterías. No hay pilotaje, fiabilidad, análisis factorial ni validación de constructo. Los llamados pares de consistencia cambian dominio, opciones y dirección; el PDF final empareja Q21 con Q25, mientras TeX y notebook usan Q21 con Q22. El notebook compara letras literales aunque las opciones no están semánticamente alineadas, mezcla incluso una elección Q19 con una escala Q20 y no aplica reverse coding, por lo que su salida 0,680 no es interpretable. La procedencia de Big Five también queda sin resolver. El artículo afirma BFI-44, pero el enlace actual de MindWorks muestra 50 ítems basados en Goldberg. La escala uniforme 1-40 y el corte 20/21 encajan más naturalmente con diez ítems por rasgo que con el BFI-44 de conteos desiguales. Sin formulario archivado, scoring o datos no puede confirmarse qué se administró. Luego el análisis desecha la magnitud y binariza cada rasgo en 20 frente a 21 sin validar el umbral ni publicar prevalencias. MBTI también es un diagnóstico débil: algunos humanos declaran dos tipos y el modelo dos candidatos; hit@2 puede acertar entre hasta cuatro combinaciones. Off-by-1 y off-by-2 son bins exclusivos, aunque la tabla dice que menor es mejor; menos near misses también puede significar errores más lejanos. El orden fijo entrevista-cuestionarios puede cebar las respuestas posteriores, algo reconocido por los autores, y el resumen generado por LLM puede estar estilísticamente optimizado para otro LLM. No hay control contrabalanceado, resumen humano o control de igual longitud. Tampoco se conservan snapshots exactos de GPT-5 o DeepSeek-R1, proveedor, endpoint, metadata de respuesta o fecha por llamada; la temperatura de entrevista se expresa como rango 0,8-1,0, se mantienen defaults de API y temperatura cero no garantiza determinismo alojado. La auditoría revisó visualmente las 20 páginas del paper, las 6 del cuestionario, el TeX y las 37 celdas del Colab. El notebook depende íntegramente de CSV privados en Google Drive y solo puntúa un fichero de predicción cada vez. No contiene inferencia, los tres contextos, bootstrap, agregación de trazas ni acuerdo humano, aunque el artículo afirma que el código enlazado incluye bootstrap y razonamiento. Sus outputs están desordenados o stale: Q17 vale 0,725 en una celda y 0,1 en la siguiente. Tras crear Q17_rep, la exactitud por usuario conserva también Q17 original y promedia 26 columnas, contando el ranking dos veces; el heatmap tiene 26 datos y 25 etiquetas. No se publican respuestas humanas, transcripciones, predicciones, trazas, anotaciones o entorno, por lo que el resultado principal no se reproduce. En ética, los autores dicen que no hubo revisión IRB formal y se autoencuadran en 45 CFR 46.104 categoría 2, pero no identifican institución, decisión oficial o número de exención; dos autores figuran como independientes. Las narrativas se enviaron a APIs comerciales y se almacenan localmente, pero no se documentan retención del proveedor, términos de procesamiento, eliminación o si el consentimiento cubría terceros. La contribución defendible es un estudio piloto transparente al reconocer que más contexto no mejora uniformemente y un diseño interesante para separar elicitation, compresión y grounding. No demuestra que el seguimiento mejore la alineación, que las trazas revelen el mecanismo interno, que el instrumento mida conducta o personalidad estable, ni una regla general sobre qué representación usar por tipo de tarea.