PrivacySIM: Evaluating LLM Simulation of User Privacy Behavior

Aplicaciones, sesgos y seguridad2026arXivRevisión editorial aprobada

Autores: James Flemings, Murali Annavaram

Palabras clave: PrivacySIM, User privacy behavior simulation, Individual-level simulation, Privacy persona conditioning, Demographics, Previous AI experience, Stated privacy attitudes, Tolerance accuracy, Privacy paradox, Privacy questionnaire benchmark, Stance-exposure clusters, Empirical baseline

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

2
Autores
9
Hallazgos
19
Limitaciones
4
Evidencias

Resumen editorial

Español

PrivacySIM estudia una pregunta concreta: si un LLM puede reproducir las respuestas de una persona a decisiones de privacidad cuando recibe tres tipos de información sobre ella, demografía, experiencia previa con IA o chatbots y actitudes de privacidad declaradas. Su principal aportación es un benchmark público construido a partir de cinco estudios de usuarios ya publicados. Los dominios son consulta sanitaria con LLM, permisos de un agente personal, adecuación del uso de historiales de ChatGPT, chatbots dentro de grupos y frecuencia de compartir categorías de datos con agentes conversacionales. El fichero experimental equilibra los dominios a 200 participantes cada uno, 1.000 en total. Tres estudios publican demografía; los cinco aportan experiencia y actitudes.

Cada participante conserva el cuestionario y su respuesta real de la encuesta. El pipeline crea un prompt sin persona y todas las combinaciones disponibles de los tres bloques: cuatro condiciones en los dos dominios sin demografía y ocho en los otros tres. Son 6.400 filas lógicas por modelo. Se evalúan nueve LLM: Gemini 3.1 Pro y 3 Flash; GPT-5.4 y GPT-5.4 Mini; Claude Sonnet 4.6; Gemma 4 32B; Qwen3.5 27B y 122B; y Nemotron 3 120B. La métrica principal promedia por participante el porcentaje de preguntas que coinciden. En escalas ordinales de cuatro o cinco opciones exige coincidencia exacta; en la escala 0-100 del estudio sobre ChatGPT acepta cualquier predicción a ±15 puntos. Por eso el 40,4% del abstract es tolerance accuracy, no exactitud exacta homogénea.

El mejor resultado publicado es Gemini 3.1 Pro con experiencia previa más actitudes: 40,39%, frente a 36,32% sin persona, una mejora descriptiva de 4,07 puntos. En general, combinar esos dos bloques mejora modestamente el baseline sin persona. Las actitudes solas suelen rendir peor que la experiencia; juntas recuperan parte de la señal. La demografía aislada aporta poco. Aumentar tamaño de modelo o razonamiento produce ganancias pequeñas, y añadir marcos de Privacy Calculus, Bounded Rationality o Protection Motivation Theory no mejora de forma consistente. Los autores interpretan el bajo techo como evidencia de que edad, uso de IA y actitudes declaradas no bastan para reconstruir decisiones individuales de privacidad.

El análisis por grupos transforma actitudes y exposición en dos ejes normalizados por dominio y asigna cinco clústeres a centroides fijos. Los usuarios con baja postura declarada y alta exposición son el grupo con menor accuracy bajo experiencia+actitudes, 36,51%, y ganan solo 1,07 puntos sobre el prompt sin persona. Los de postura alta y exposición media alcanzan 42,41% y mejoran 8,53 puntos. La reconstrucción local reproduce exactamente los tamaños publicados: 226, 187, 205, 161 y 221. Pero son bins diseñados mediante parsing heurístico, polaridad por palabras clave, z-scores y centros sintéticos; toman la geometría de Dupree et al. pero sustituyen conocimiento de privacidad por exposición a IA. No deben leerse como tipos psicológicos validados.

La auditoría encuentra un límite cuantitativo decisivo. Un baseline empírico muy simple, sin LLM ni atributos de persona, aprende en cuatro folds la respuesta que más aciertos por tolerancia produce para cada dominio y posición de pregunta, y se evalúa en el quinto. Su media equilibrada es 45,11%, por encima del 40,39% del mejor LLM. Obtiene 43,20% en permisos, 36,07% en grupos, 49,95% en el dominio 0-100, 54,15% en agentes conversacionales y 42,20% en salud. En el dominio 0-100 basta responder siempre 15 para acertar 49,95% porque cualquier objetivo de 0 a 30 entra en la ventana. En agentes conversacionales, responder siempre “I never shared” logra 53,75%, ya que esa categoría ocupa 1.075 de 2.000 targets. El paper no publica baselines de moda, por pregunta, calibrados o supervisados; por tanto, ni el 40,4% ni el baseline LLM sin persona demuestran competitividad predictiva.

También hay que delimitar qué es la ground truth. Son respuestas a encuestas: aceptabilidad hipotética, preocupación, adecuación de una viñeta o frecuencia recordada de compartir datos. No son logs de conducta real. El estudio mide imitación de respuestas de cuestionario, no simulación verificada de decisiones reales. El peor rendimiento de las actitudes declaradas es compatible con la privacy paradox, pero también con una representación pobre del atributo, sobrecarga del prompt o insensibilidad del modelo; el diseño no identifica causalmente la paradoja. Tampoco hay un segundo cuestionario del mismo individuo, test-retest, predicción humana comparable o análisis de calibración que establezca identidad individual estable.

La muestra equilibrada es útil como benchmark, pero no representa una población: mezcla países, reclutamientos, tecnologías y constructos distintos, y da el mismo peso a cada estudio aunque los pools originales midan de 203 a 846 filas procesadas. Salud se filtra a preguntas de información mental o médica y experiencia informativa antes de muestrear. En agentes conversacionales el apéndice dice que 422 participantes se reducen a 318 usuarios de chatbots; el código elimina después a quien tenga algún target ausente y conserva 277, exclusión de 41 casos que el paper no informa. Por ello llamar al CSV de 2.000 filas “todos los usuarios, sin filtrar” es engañoso: es completo solo respecto de las tablas ya procesadas.

La reproducibilidad del software es comparativamente buena. Hay licencia MIT, atribución de las cinco fuentes, lockfile, CI, esquema, cuatro backends y 20 tests; todos pasan con dependencias completas. El generador produce 6.400 prompts y el clustering reproduce la tabla. Sin embargo, GitHub no publica outputs de modelos, evaluation_summary, run.json ni resultados por participante. Verificar el 40,4% exige volver a ejecutar nueve endpoints caros o propietarios, algunos con aliases preview mutables. No hay intervalos de confianza, bootstrap por participante, repeticiones de decodificación ni test pareado persona-sin-persona. El CLI además cuenta saltos de línea físicos dentro del CSV y anuncia falsamente 453.600-543.200 filas, aunque pandas confirma 6.400. El Dataset Viewer de Hugging Face falla actualmente, si bien los dos CSV se descargan y parsean correctamente.

La lectura fiel es positiva pero más acotada que el abstract: PrivacySIM aporta un corpus público, diverso y bien documentado para estudiar cuánto puede un modelo imitar respuestas de privacidad, y muestra que los atributos de persona ensayados añaden una señal pequeña. A la vez, el mejor LLM no supera un baseline empírico elemental, la métrica de un dominio es indulgente, faltan outputs para reproducir las cifras y los targets no son conducta observada. El trabajo apoya “estos tres bloques de persona son insuficientes para una simulación individual fiable”; no apoya que el 40,4% sea un nivel competitivo ni que los LLM hayan aprendido el comportamiento real de cada usuario.

English

PrivacySIM asks a focused question: can an LLM reproduce a person's responses to privacy decisions when given three kinds of information about that person, demographics, prior AI or chatbot experience, and stated privacy attitudes? Its main contribution is a public benchmark assembled from five previously published user studies. The domains cover LLM healthcare consultation, personal-agent permissions, appropriateness of ChatGPT-history uses, bots operating inside group chats, and self-reported sharing frequency with conversational agents. The experimental file balances the domains at 200 participants each, 1,000 in total. Three studies expose demographics; all five expose experience and attitudes.

Each participant retains the questionnaire and their actual survey response. The pipeline creates a no-persona prompt and every available combination of the three facet blocks: four conditions in the two domains without demographics and eight in the other three. This yields 6,400 logical rows per model. Nine LLMs are evaluated: Gemini 3.1 Pro and 3 Flash; GPT-5.4 and GPT-5.4 Mini; Claude Sonnet 4.6; Gemma 4 32B; Qwen3.5 27B and 122B; and Nemotron 3 120B. The primary metric averages, per participant, the fraction of matched questions. Four- and five-option ordinal scales require exact agreement; the 0-100 ChatGPT study accepts any prediction within 15 points. The abstract's 40.4% is therefore tolerance accuracy, not homogeneous exact-match accuracy.

The strongest reported result is Gemini 3.1 Pro with prior experience plus attitudes: 40.39%, compared with 36.32% without a persona, a descriptive gain of 4.07 points. Combining those two blocks generally provides a modest improvement over the no-persona prompt. Attitudes alone often underperform experience, while the combination recovers some signal. Demographics alone contributes little. Larger models or more reasoning offer small gains, and Privacy Calculus, Bounded Rationality, or Protection Motivation Theory framing does not improve performance consistently. The authors interpret the low ceiling as evidence that age, AI use, and stated attitudes are insufficient to reconstruct individual privacy decisions.

The group analysis converts attitudes and exposure into two domain-normalized axes and assigns five clusters to fixed centroids. Low-stance, high-exposure users have the lowest experience-plus-attitudes accuracy, 36.51%, and gain only 1.07 points over no persona. High-stance, mid-exposure users reach 42.41% and improve by 8.53 points. Local reconstruction exactly reproduces the reported cluster sizes: 226, 187, 205, 161, and 221. These groups are nevertheless engineered bins built from heuristic parsing, keyword polarity, z-scores, and synthetic centers. They borrow Dupree et al.'s geometry but replace privacy knowledge with AI exposure, so they are not validated psychological persona types.

The quantitative audit finds a decisive limitation. A simple empirical baseline, using no LLM and no persona attributes, learns on four folds the tolerance-optimal response for each domain and question position and is evaluated on the fifth. Its balanced mean is 45.11%, above the best LLM's 40.39%. It scores 43.20% on permissions, 36.07% on group chat, 49.95% on the 0-100 domain, 54.15% on conversational agents, and 42.20% on healthcare. In the 0-100 domain, always answering 15 achieves 49.95% because every target from 0 to 30 falls inside the tolerance window. In conversational agents, always answering “I never shared” reaches 53.75%, because that category accounts for 1,075 of 2,000 targets. The paper reports no majority, per-question, calibrated, or supervised baselines. Neither the 40.4% result nor the LLM no-persona score therefore establishes competitive predictive fidelity.

Ground truth also needs careful interpretation. It consists of survey answers: hypothetical acceptability, concern, vignette appropriateness, or recalled sharing frequency. These are not behavioral logs. The benchmark measures questionnaire-response imitation, not verified simulation of real decisions. Lower performance from attitudes alone is compatible with a privacy paradox, but also with poor facet encoding, prompt overload, or model insensitivity; the design does not causally identify the paradox. There is no second questionnaire from the same person, test-retest analysis, comparable human prediction, or calibration study establishing stable individual identity recovery.

The balanced sample is useful for benchmarking but does not represent a population. It combines different countries, recruitment schemes, technologies, and constructs, and gives equal weight to studies whose processed pools range from 203 to 846 rows. Healthcare is restricted to mental- or medical-information questionnaires with informative experience before sampling. For conversational agents, the appendix says 422 participants narrow to 318 chatbot users; the code then drops anyone missing any of ten targets and retains 277, an additional 41-person complete-case exclusion not reported in the paper. Calling the 2,000-row CSV “all users, unfiltered” is therefore misleading: it is complete only relative to already processed tables.

Software reproducibility is comparatively strong. The project has an MIT license, attribution for all five sources, a lockfile, CI, a schema, four provider backends, and 20 tests; all pass in a dependency-complete environment. Prompt generation yields 6,400 rows and clustering reproduces the table. GitHub does not, however, publish model outputs, evaluation summaries, run.json provenance, or participant-level result files. Verifying 40.4% requires rerunning nine expensive or proprietary endpoints, several with mutable preview aliases. There are no confidence intervals, participant bootstrap, repeated decodes, or paired persona-minus-no-persona tests. The CLI also counts physical newlines inside CSV fields and falsely reports 453,600-543,200 rows even though pandas confirms 6,400. The Hugging Face Dataset Viewer currently fails, although both CSV files remain directly downloadable and parse correctly.

A faithful reading is positive but narrower than the abstract: PrivacySIM contributes a public, diverse, well-documented corpus for studying LLM imitation of privacy responses and shows that the tested persona fields add a small signal. At the same time, the best LLM does not beat an elementary empirical baseline, one domain's metric is permissive, result outputs are missing, and targets are not observed behavior. The work supports the conclusion that these three persona blocks are insufficient for reliable individual simulation; it does not establish that 40.4% is competitive or that LLMs have learned each user's real privacy behavior.

Pregunta de investigación

¿Hasta qué punto demografía, experiencia previa con IA y actitudes de privacidad permiten a nueve LLM reproducir las respuestas individuales de 1.000 participantes a cinco cuestionarios de privacidad?

Método

Cinco estudios se procesan y equilibran a 200 usuarios por dominio. Cada usuario genera un prompt sin persona y el powerset disponible de tres facetas. Nueve modelos responden entre 4 y 8 condiciones por usuario. La métrica primaria es accuracy por usuario: exact match en cuatro dominios y tolerancia ±15 en el dominio 0-100. Se añaden clústeres postura-exposición, comparaciones de tamaño/razonamiento y tres marcos teóricos de prompting.

Muestra: 1.000 participantes, 200 por cada uno de cinco dominios. 6.400 condiciones de prompt por modelo: 4 por usuario en dos dominios sin demografía y 8 por usuario en tres dominios con demografía. Los pools procesados previos al muestreo tienen 846, 203, 300, 374 y 277 filas; el paper no explicita que el último baja de 318 usuarios de chatbot a 277 casos completos.

Hallazgos

  • Gemini 3.1 Pro alcanza 40,39% con experiencia+actitudes frente a 36,32% sin persona: +4,07 pp descriptivos.
  • Experiencia+actitudes suele ser la combinación más útil; actitudes solas a menudo rinden peor que experiencia.
  • Demografía aislada aporta poco y los prompts con teoría de privacidad no mejoran consistentemente.
  • El clúster postura alta/exposición media alcanza 42,41%; postura baja/exposición alta queda en 36,51%.
  • La reconstrucción reproduce exactamente 6.400 prompts y los cinco tamaños de clúster.
  • Un baseline empírico five-fold sin persona ni LLM alcanza 45,11%, superior al mejor resultado del paper.
  • Predecir siempre 15 logra 49,95% en la escala 0-100 por la ventana ±15 y la concentración de targets.
  • Predecir siempre 'I never shared' logra 53,75% en agentes conversacionales por el desequilibrio de clases.
  • Los 20 tests publicados pasan y todo el Python compila con las dependencias declaradas.

Limitaciones

  • Preprint arXiv v1, sin aceptación peer-reviewed confirmada.
  • Los targets son respuestas declaradas o hipotéticas, no conducta real observada.
  • Cinco estudios heterogéneos se agregan con igual peso tras muestrear 200 por dominio.
  • El headline es tolerance accuracy; el dominio 0-100 no exige exact match.
  • No se comparan baselines de moda, por ítem, calibrados ni supervisados.
  • El baseline empírico cross-validated supera el mejor LLM.
  • Sin intervalos de confianza, bootstrap por participante, repeticiones de sampling ni tests pareados.
  • Aliases preview y endpoints propietarios mutables sin outputs ni run.json publicados.
  • Solo una respuesta estocástica agregada por prompt/modelo.
  • No hay test-retest, cuestionario held-out del mismo usuario, baseline humano ni calibración individual.
  • Los clústeres dependen de reglas heurísticas y centroides fijos, no de una taxonomía validada.
  • La inferencia de privacy paradox no distingue explicaciones alternativas de prompting o representación.
  • Salud aplica selección por sensibilidad y experiencia antes del muestreo.
  • El dominio conversacional excluye 41 casos incompletos adicionales no informados en el paper.
  • full_dataset no contiene literalmente todos los participantes originales pese a la etiqueta unfiltered.
  • Faltan outputs, evaluation summaries y resultados por usuario para verificar el 40,4%.
  • Dataset Viewer de Hugging Face fallido, aunque los CSV directos están disponibles.
  • Contador CLI incorrecto para CSV con campos multilínea.
  • Lockfile sin hashes no garantiza instalaciones byte-reproducibles.

Qué no demuestra

  • Simulación fiel de conducta de privacidad real.
  • Competitividad del 40,4% frente a baselines empíricos simples.
  • Exactitud exacta del 40,4% en todos los dominios.
  • Identidad individual estable o generalización a nuevas decisiones del mismo usuario.
  • Que las actitudes causen el menor rendimiento por la privacy paradox.
  • Validez psicológica de los cinco clústeres postura-exposición.
  • Generalización a poblaciones representativas o a otros contextos de privacidad.
  • Significancia de las mejoras persona-sin-persona.
  • Reproducción exacta de los resultados desde los artefactos publicados sin recostear los modelos.
  • Aceptación en una conferencia o revista.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2605.12147v1

Fuente consultada: https://arxiv.org/abs/2605.12147v1

Revisión: Codex 33-page visual full-text, complete TeX, code/test, dataset, cross-validated baseline, prompt-count, cluster reconstruction, sampling, construct-validity and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Gemini 3.1 Pro
  • Gemini 3 Flash
  • GPT-5.4
  • GPT-5.4 Mini
  • Claude Sonnet 4.6
  • Gemma 4 32B
  • Qwen3.5 27B
  • Qwen3.5 122B
  • Nemotron 3 120B

Instrumentos y métricas

  • PrivacySIM tolerance accuracy
  • Five source-study privacy questionnaires
  • Demographics persona facet
  • Previous AI/chatbot experiences persona facet
  • Stated privacy attitudes persona facet
  • Five stance-by-exposure heuristic clusters
  • Privacy Calculus prompt
  • Bounded Rationality prompt
  • Protection Motivation Theory prompt

Datos utilizados

  • PrivacySIM sampled dataset.csv, 1,000 rows
  • PrivacySIM processed full_dataset.csv, 2,000 rows
  • LLM healthcare consultation user study
  • AI agent permissions user study
  • AIES 2025 ChatGPT privacy norms factorial vignette study
  • Bot Among Us group-chat study
  • LLM conversational-agent privacy preferences study

Evidencia y localización

  • Texto completo, métrica, modelos, tablas, prompts, estudios fuente y clustering: arXiv:2605.12147v1; PDF sha256 583a1e85e185ad014e8ff111f3889516e9666894ae3406f60aa0638b10a19330; TeX sha256 7e65bc2d61d36b320d2d8c49d77face6bb64960a57f55b5c8dcdd0c5625a5566
  • Código, tests, procesamiento, prompt expansion y clústeres: https://github.com/james-flemings/PrivacySIM commit 2429c8a1b98d392cb0539ab0dbb49621112c2c74
  • Muestra de 1.000 y dataset procesado de 2.000 filas: https://huggingface.co/datasets/jamesflemings/PrivacySIM commit 30c6b3ebe55c07aa0d24ddff18a305f5583abd96
  • Baselines, auditoría de métrica, selección, constructo y reproducibilidad: reports/verification/article-338-privacysim-metric-baselines-sampling-construct-and-reproducibility-audit.json