Text-Based Personas for Simulating User Privacy Decisions

Aplicaciones, sesgos y seguridad2026arXivRevisión editorial aprobada

Autores: Kassem Fawaz, Ren Yi, Octavian Suciu, Rishabh Khandelwal, Hamza Harkous, Nina Taft, Marco Gruteser

Palabras clave: Persona conditioning, Human simulation

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

7
Autores
11
Hallazgos
37
Limitaciones
4
Evidencias

Resumen editorial

Español

Fawaz y colaboradores presentan Narriva, un procedimiento para condensar las respuestas previas de una persona a encuestas de privacidad en un perfil textual estructurado y usarlo para anticipar cómo responderá a otras preguntas. Gemini 3.0 Flash genera cinco perfiles candidatos por iteración y recibe feedback sobre los errores en las preguntas de generación; Gemini 2.5 Flash-Lite contesta las preguntas de evaluación. El experimento principal divide dentro de cada encuestado sus preguntas contestadas: 80% para construir y optimizar el perfil, 20% para probarlo, con hasta tres iteraciones. Se usan cinco datasets: SPA, Pew PP1, W49, W127 y CAuthN. Frente a un LLM sin personalización, tanto el historial literal como Narriva mejoran. La exactitud individual del perfil narrativo es 84,6% en SPA, 67,7% en PP1, 64,3% en W49, 66,1% en W127 y 45,8% en CAuthN; el historial literal obtiene 85,2%, 69,4%, 65,8%, 66,6% y 50,2%. En similitud de la distribución marginal por pregunta, medida como 1-TVD, Narriva alcanza 0,94, 0,84, 0,80, 0,81 y 0,73. Los perfiles reducen el prompt entre 82% y 95%, de 1.738-8.920 a 296-453 tokens. Los prompts inspirados en Privacy Calculus, Bounded Rationality y Protection Motivation Theory rinden de forma agregada parecida al perfil básico, aunque seleccionar post hoc la plantilla que mejor funciona para cada encuestado mejora algunos resultados. El hallazgo más sólido es ingenieril: dentro del mismo cuestionario, una representación textual mucho más corta conserva gran parte de la capacidad predictiva del historial. Debe leerse con límites precisos. El máximo cercano al 87% procede de SPA, donde unas 144 preguntas repiten combinaciones muy similares de dato, receptor y propósito; es generalización a ítems retenidos del mismo instrumento, no a cualquier situación nueva. Se eliminan respuestas neutrales en SPA y parte de CAuthN, se excluyen vacíos y rechazos y una única partición aleatoria no publica seed ni análisis de sensibilidad. La exactitud exacta tampoco es comparable sin más entre una variable binaria y escalas de 5, 7 o hasta 100 valores. En población, 1-TVD compara por separado la distribución marginal de cada pregunta: puede ser alto aunque muchas predicciones individuales sean erróneas y no conserva relaciones conjuntas, subgrupos ni equidad. La transferencia entre estudios aplica cada perfil del estudio origen a todas las preguntas únicas del destino y compara agregados ponderados; no hay personas enlazadas. Por tanto, PP1→W127 0,808 o W49→W127 0,782 muestran transporte de márgenes entre encuestas estadounidenses de privacidad, no portabilidad longitudinal de la personalidad de un individuo ni transferencia entre poblaciones totalmente distintas. Atribuir las diferencias a deriva temporal es plausible, pero año, panel, muestra, escala, instrumento y tema cambian a la vez. El artículo afirma auditabilidad y mejora de privacidad por compresión sin estudios con usuarios ni ataques de reconstrucción, inferencia, enlace o reidentificación; un perfil compacto puede ser por sí mismo un artefacto psicográfico sensible. Tampoco se evalúan decisiones autónomas reales, confianza calibrada, abstención, corrección por el usuario, seguridad o gobernanza del archivo portátil. Las bootstrap no especifican la unidad de remuestreo y las afirmaciones de significación carecen de tests y contrastes pareados. No se publican código, matrices procesadas, splits, perfiles, predicciones ni análisis. Narriva es una propuesta prometedora para simulación de respuestas dentro y entre encuestas a nivel agregado, no evidencia aún de un asistente de privacidad interpretable, privado, justo o listo para despliegue.

English

Fawaz and colleagues introduce Narriva, a procedure that compresses a person's prior privacy-survey answers into a structured text profile and uses it to anticipate answers to other questions. Gemini 3.0 Flash generates five candidate personas per iteration and receives feedback on errors over the generation questions; Gemini 2.5 Flash-Lite answers evaluation questions. The main experiment splits answered questions within each respondent: 80% build and optimise the persona and 20% test it, with up to three iterations. Five datasets are used: SPA, Pew PP1, W49, W127, and CAuthN. Relative to a non-personalised LLM, both literal history and Narriva improve performance. Narrative-persona individual accuracy is 84.6% on SPA, 67.7% on PP1, 64.3% on W49, 66.1% on W127, and 45.8% on CAuthN; literal history obtains 85.2%, 69.4%, 65.8%, 66.6%, and 50.2%. For per-question marginal-distribution similarity, measured as 1-TVD, Narriva reaches 0.94, 0.84, 0.80, 0.81, and 0.73. Personas reduce prompt length by 82-95%, from 1,738-8,920 to 296-453 tokens. Prompts inspired by Privacy Calculus, Bounded Rationality, and Protection Motivation Theory perform similarly in aggregate to the basic persona, although post-hoc selection of the best template for each respondent improves some results. The strongest finding is engineering-oriented: within the same questionnaire, a much shorter textual representation preserves much of the raw history's predictive value. It requires precise boundaries. The near-87% maximum comes from SPA, where roughly 144 questions repeat highly similar combinations of data type, recipient, and purpose; this is generalisation to held-out items from the same instrument, not arbitrary new situations. Neutral responses are removed from SPA and part of CAuthN, empty responses and refusals are excluded, and a single random split has no published seed or sensitivity analysis. Exact accuracy also cannot be compared directly between a binary outcome and 5-, 7-, or up-to-100-value scales. At population level, 1-TVD separately compares each question's marginal distribution: it can be high despite many individual errors and does not preserve joint relationships, subgroups, or fairness. Cross-study transfer applies each source-study persona to every unique target question and compares weighted aggregates; no individuals are linked. Thus PP1-to-W127 at 0.808 or W49-to-W127 at 0.782 show transport of marginals among US privacy surveys, not longitudinal portability of one person's personality or transfer across wholly different populations. Temporal drift is a plausible interpretation, but year, panel, sample, response scale, instrument, and topic all change together. The paper claims auditability and improved privacy through compression without user studies or reconstruction, inference, linkage, or re-identification attacks; a compact persona can itself be a sensitive psychographic artifact. It also does not evaluate real autonomous decisions, calibrated confidence, abstention, user correction, safety, or governance of portable persona files. The bootstrap does not identify its resampling unit, and significance claims lack specified tests and paired contrasts. Code, processed matrices, splits, personas, predictions, and analyses are not released. Narriva is a promising proposal for within-survey response simulation and aggregate survey transport, not yet evidence of an interpretable, private, fair, or deployment-ready privacy assistant.

Pregunta de investigación

¿Puede una persona textual, comprimida desde respuestas históricas y estructurada con teorías de privacidad, conservar capacidad predictiva individual, reproducir distribuciones poblacionales y transferirse a preguntas de otras encuestas con menos tokens que el historial literal?

Método

Narriva genera perfiles con Gemini 3.0 Flash (temperatura 1,5), predice con Gemini 2.5 Flash-Lite (temperatura 0) y, en el experimento principal, produce B=5 candidatos durante hasta I=3 iteraciones. Dentro de cada encuestado divide las preguntas contestadas 80:20 para generación/evaluación. Compara un LLM normativo sin personalización, historial literal y persona narrativa mediante exactitud individual y 1-TVD marginal por pregunta; añade MEE y Wasserstein, cuatro plantillas teóricas, selección con calibración, transferencia agregada entre tres encuestas Pew, perfiles demográficos y bootstrap de 1.000 remuestreos. La cualitativa selecciona 60 perfiles de mayor y 60 de menor exactitud por dataset, propone códigos con Gemini 3.1 Pro y revisa manualmente 100.

Muestra: Cinco estudios con 607-5.101 encuestados, todos adultos y mayoritariamente de Estados Unidos; SPA tiene 1.737 participantes de Prolific cuyo país, según el propio apéndice, no consta en el estudio original. La unidad individual es el encuestado, pero el holdout divide preguntas de esa misma persona. En transferencia, los encuestados de origen y destino no están enlazados: cada perfil origen responde todas las preguntas únicas del destino para comparar distribuciones ponderadas. La cualitativa toma 600 perfiles extremos y revisa manualmente 100.

Hallazgos

  • Narriva logra exactitud individual de 84,6% en SPA, 67,7% en PP1, 64,3% en W49, 66,1% en W127 y 45,8% en CAuthN.
  • El historial literal obtiene 85,2%, 69,4%, 65,8%, 66,6% y 50,2%; Narriva conserva gran parte, pero no siempre iguala su exactitud individual.
  • La similitud poblacional 1-TVD de Narriva es 0,94, 0,84, 0,80, 0,81 y 0,73, superior al LLM normativo sin personalización.
  • Los perfiles usan 296-453 tokens frente a 1.738-8.920 del historial, una reducción de 82-95%.
  • Las plantillas Basic, Calculus, Bounded y PMT tienen resultados agregados próximos; ninguna teoría domina globalmente.
  • Seleccionar post hoc la mejor plantilla por persona mejora algunos resultados, sobre todo actitud→comportamiento, aunque las calibraciones pequeñas limitan la estabilidad.
  • Las preguntas de comportamiento predicen mejor otras conductas que las actitudes generales, especialmente en SPA con ítems repetitivos.
  • En actitud→comportamiento, PP1→W127 obtiene 1-TVD 0,808 frente a baseline in-study 0,744; W49→W127 obtiene 0,729 frente a 0,744.
  • En comportamiento→comportamiento, W49→W127 obtiene 0,782 frente a 0,780; PP1→W127 cae a 0,676 frente a 0,780.
  • Una iteración mejora perfiles demográficos sintéticos de 0,632 a 0,739 en W49 y de 0,585 a 0,716 en W127, pero solo se evalúa el margen poblacional.
  • La cualitativa asocia mayor predictibilidad con límites consistentes, visiones institucionales claras y sensación de control, pero analiza explicaciones generadas, no testimonios ni causas validadas.

Limitaciones

  • La partición es por preguntas dentro de la misma persona y encuesta; no prueba generalización a nuevos individuos ni contextos ajenos al instrumento.
  • SPA contiene alrededor de 144 escenarios con estructura repetida, lo que facilita el máximo cercano al 87%.
  • No se publica seed, repetición de splits ni análisis de sensibilidad a la partición aleatoria.
  • La optimización selecciona cinco candidatos y corrige errores sobre el set de generación; el holdout evita fuga directa, pero la similitud semántica favorece extrapolación.
  • Se eliminan respuestas neutrales en SPA y parte de CAuthN y se excluyen vacíos y rechazos, sin cuantificar selección ni cobertura.
  • La exactitud exacta no es comparable entre resultados binarios, escalas Likert y respuestas 1-100.
  • Falta un baseline empírico por pregunta, moda o distribución observada, que separe personalización de simple ajuste al margen mayoritario.
  • 1-TVD mide distribuciones marginales por pregunta, no estructura conjunta, correlaciones, trayectorias ni fidelidad individual.
  • Una buena distribución agregada puede coexistir con muchos errores individuales; CAuthN combina 45,8% de exactitud con 0,73 de 1-TVD.
  • No hay análisis de subgrupos, peor grupo, intersecciones, disparidades o calibración por clase protegida.
  • La transferencia cruza encuestas, no individuos; no prueba que el perfil portátil prediga a su propietario en otra plataforma.
  • Las tres encuestas de transferencia son estadounidenses y de privacidad; W49 y W127 comparten el American Trends Panel.
  • Año, panel, muestra, tema, pregunta y escala cambian juntos; no puede atribuirse causalmente la diferencia a deriva temporal.
  • Los pesos de origen y destino corrigen cada encuesta, pero no hay ajuste explícito de transporte, overlap ni alineación de covariables.
  • El bootstrap no especifica si remuestrea personas, preguntas o filas, pese a la dependencia cruzada persona×ítem.
  • Las afirmaciones de significación no publican tests, p-values, contrastes pareados, intervalos de diferencias ni corrección múltiple.
  • La selección de plantilla divide otra vez calibración y test; en varios datasets quedan solo unas 2,0-3,9 preguntas conductuales de evaluación por persona.
  • No se explica cómo se resuelven empates frecuentes entre plantillas con exactitudes discretas.
  • Predomina una única familia Gemini; no hay replicación de Narriva entre proveedores o snapshots inmutables.
  • Reducir tokens y añadir secciones no mide comprensión, editabilidad, tiempo de auditoría, corrección ni confianza humana.
  • Las plantillas teóricas son instrucciones, no mediciones validadas de la teoría psicológica real de cada encuestado.
  • Los perfiles pueden inferir sesgos, confianza, pericia o lógica causal no contenida de forma inequívoca en las respuestas.
  • La cualitativa usa códigos propuestos por un LLM, revisa solo 100 de 600 extremos y no reporta doble codificación, fiabilidad, saturación o negative cases.
  • Las citas cualitativas son texto generado por el modelo, no palabras de participantes.
  • Se habla de baja confianza y consulta al usuario, pero no se mide confianza calibrada, abstención ni escalado selectivo.
  • No se realizan ataques de reconstrucción, membership, attribute inference, linkage, reidentificación o extracción del prompt.
  • Un perfil compacto puede concentrar datos psicográficos sensibles; compresión no equivale a anonimización ni privacidad diferencial.
  • No se auditan consentimiento original, licencias de uso para LLM profiling ni expectativas de participantes por dataset.
  • No se evalúan acceso, cifrado, propósito, retención, revocación, borrado, corrección, procedencia o frescura del perfil portátil.
  • Predecir conducta pasada puede automatizar resignación, confusión o preferencias obsoletas; no hay evaluación de contestabilidad o override.
  • La reducción de tokens es real, pero la generación total consumió decenas de miles de millones y el break-even depende de supuestos no sensibilizados.
  • La actualización periódica por deriva se usa en la simulación de coste, pero no se valida longitudinalmente.
  • No se publican versiones inmutables, fechas de ejecución, top-p, seed, seguridad, retries, fallos de parsing o refusals de los modelos.
  • No se publican preprocesado, recodificación, etiquetas actitud/conducta, splits, prompts ejecutables, perfiles, predicciones, bootstrap ni código.
  • La página 2 intercambia las procedencias bibliográficas: SPA es CHI 2021 y CAuthN PoPETs 2024, no al revés.
  • Table 1 etiqueta SPA como UK, pero el apéndice dice que el estudio original no informa el país.
  • Es un preprint arXiv v2; el registro no acredita peer review ni aceptación en una conferencia.

Qué no demuestra

  • No demuestra predicción fiable de decisiones de privacidad arbitrarias fuera del cuestionario de origen.
  • No demuestra que un perfil conserve la personalidad o preferencias de su propietario entre plataformas o años.
  • No demuestra transferencia individual: las comparaciones entre estudios solo reproducen márgenes poblacionales.
  • No demuestra que 1-TVD alto preserve estructura conjunta, diversidad, minorías, equidad o individuos.
  • No demuestra que Privacy Calculus, Bounded Rationality o PMT describan la psicología real del encuestado.
  • No demuestra auditabilidad, comprensión, editabilidad o utilidad para usuarios humanos.
  • No demuestra que la compresión mejore privacidad, anonimato o resistencia a ataques.
  • No valida un asistente autónomo seguro que sepa abstenerse, pedir aclaración o proteger el perfil.
  • No identifica causalmente deriva temporal de actitudes o conductas entre 2014 y 2023.
  • No permite reproducir resultados por falta de código, datos procesados, splits, outputs y configuración completa.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2603.19791v2, submitted 2026-03-20, revised 2026-05-07, CC BY 4.0

Fuente consultada: https://arxiv.org/abs/2603.19791

Revisión: Codex 22-page visual full-text, within-survey validity, semantic-overlap, population-marginal, cross-study transport, statistical, privacy, governance, cost, metadata and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Gemini 3.0 Flash, persona generation, temperature 1.5
  • Gemini 2.5 Flash-Lite, response prediction, temperature 0
  • Gemini 3.1 Pro, initial qualitative coding

Instrumentos y métricas

  • Narriva persona-generation and correction prompts
  • Basic persona template
  • Privacy Calculus persona template
  • Bounded Rationality persona template
  • Protection Motivation Theory persona template
  • Basic and theoretical prediction prompts
  • Within-respondent 80:20 question split
  • Individual exact-match accuracy
  • Total Variation complement, macro-averaged by question
  • Mean Estimation Error
  • Wasserstein distance
  • Survey-weighted cross-study population comparison
  • 1,000-resample bootstrap confidence intervals
  • LLM-assisted qualitative thematic analysis

Datos utilizados

  • SPA: 1,737 Prolific respondents, pre-2021; smart-assistant data-sharing scenarios, IUIPC, and SA-6
  • Pew PP1: 607 US adults, January 2014; privacy, surveillance, control, concern, and sensitivity
  • Pew W49: 4,272 US adults, June 2019; privacy trade-offs, data control, policies, and sharing scenarios
  • Pew W127: 5,101 US adults, May 2023; collection, control, privacy behavior, AI, cameras, and messaging
  • CAuthN: 830 US Internet users, September-October 2022; continuous biometric authentication, risk, trust, IUIPC, and SA-6
  • Generated persona candidates, feedback traces, predictions, splits, and processed matrices: not released

Evidencia y localización

  • Método, prompts, datasets, resultados, métricas, transferencia, cualitativa, discusión, ética y apéndices: arXiv:2603.19791v2, 22/22 pages rendered and individually inspected
  • Versión v2, fechas, DOI, licencia CC BY 4.0 y ausencia de enlaces oficiales a artefactos: Official arXiv abstract and Atom records inspected 2026-07-17
  • No localización actual de un repositorio del estudio y descarte de homónimos: Exact-title, arXiv-ID, author, web and GitHub repository searches; candidate repository metadata and README inspected 2026-07-17
  • Auditoría de validez, margenes poblacionales, transferencia, estadística, privacidad, gobernanza, coste, metadatos y reproducibilidad: reports/verification/article-388-narriva-within-survey-semantic-overlap-population-marginals-privacy-claims-cross-study-transfer-statistics-data-governance-and-reproducibility-audit.json