PrivacySIM: Evaluating LLM Simulation of User Privacy Behavior

PrivacySIM asks a focused question: can an LLM reproduce a person's responses to privacy decisions when given three kinds of information about that person, demographics, prior AI or chatbot experience, and stated privacy attitudes? Its main contribution is a public benchmark assembled from five previously published user studies. The domains cover LLM healthcare consultation, personal-agent permissions, appropriateness of ChatGPT-history uses, bots operating inside group chats, and self-reported sharing frequency with conversational agents. The experimental file balances the domains at 200 participants each, 1,000 in total. Three studies expose demographics; all five expose experience and attitudes.

Each participant retains the questionnaire and their actual survey response. The pipeline creates a no-persona prompt and every available combination of the three facet blocks: four conditions in the two domains without demographics and eight in the other three. This yields 6,400 logical rows per model. Nine LLMs are evaluated: Gemini 3.1 Pro and 3 Flash; GPT-5.4 and GPT-5.4 Mini; Claude Sonnet 4.6; Gemma 4 32B; Qwen3.5 27B and 122B; and Nemotron 3 120B. The primary metric averages, per participant, the fraction of matched questions. Four- and five-option ordinal scales require exact agreement; the 0-100 ChatGPT study accepts any prediction within 15 points. The abstract's 40.4% is therefore tolerance accuracy, not homogeneous exact-match accuracy.

The strongest reported result is Gemini 3.1 Pro with prior experience plus attitudes: 40.39%, compared with 36.32% without a persona, a descriptive gain of 4.07 points. Combining those two blocks generally provides a modest improvement over the no-persona prompt. Attitudes alone often underperform experience, while the combination recovers some signal. Demographics alone contributes little. Larger models or more reasoning offer small gains, and Privacy Calculus, Bounded Rationality, or Protection Motivation Theory framing does not improve performance consistently. The authors interpret the low ceiling as evidence that age, AI use, and stated attitudes are insufficient to reconstruct individual privacy decisions.

The group analysis converts attitudes and exposure into two domain-normalized axes and assigns five clusters to fixed centroids. Low-stance, high-exposure users have the lowest experience-plus-attitudes accuracy, 36.51%, and gain only 1.07 points over no persona. High-stance, mid-exposure users reach 42.41% and improve by 8.53 points. Local reconstruction exactly reproduces the reported cluster sizes: 226, 187, 205, 161, and 221. These groups are nevertheless engineered bins built from heuristic parsing, keyword polarity, z-scores, and synthetic centers. They borrow Dupree et al.'s geometry but replace privacy knowledge with AI exposure, so they are not validated psychological persona types.

The quantitative audit finds a decisive limitation. A simple empirical baseline, using no LLM and no persona attributes, learns on four folds the tolerance-optimal response for each domain and question position and is evaluated on the fifth. Its balanced mean is 45.11%, above the best LLM's 40.39%. It scores 43.20% on permissions, 36.07% on group chat, 49.95% on the 0-100 domain, 54.15% on conversational agents, and 42.20% on healthcare. In the 0-100 domain, always answering 15 achieves 49.95% because every target from 0 to 30 falls inside the tolerance window. In conversational agents, always answering “I never shared” reaches 53.75%, because that category accounts for 1,075 of 2,000 targets. The paper reports no majority, per-question, calibrated, or supervised baselines. Neither the 40.4% result nor the LLM no-persona score therefore establishes competitive predictive fidelity.

Ground truth also needs careful interpretation. It consists of survey answers: hypothetical acceptability, concern, vignette appropriateness, or recalled sharing frequency. These are not behavioral logs. The benchmark measures questionnaire-response imitation, not verified simulation of real decisions. Lower performance from attitudes alone is compatible with a privacy paradox, but also with poor facet encoding, prompt overload, or model insensitivity; the design does not causally identify the paradox. There is no second questionnaire from the same person, test-retest analysis, comparable human prediction, or calibration study establishing stable individual identity recovery.

The balanced sample is useful for benchmarking but does not represent a population. It combines different countries, recruitment schemes, technologies, and constructs, and gives equal weight to studies whose processed pools range from 203 to 846 rows. Healthcare is restricted to mental- or medical-information questionnaires with informative experience before sampling. For conversational agents, the appendix says 422 participants narrow to 318 chatbot users; the code then drops anyone missing any of ten targets and retains 277, an additional 41-person complete-case exclusion not reported in the paper. Calling the 2,000-row CSV “all users, unfiltered” is therefore misleading: it is complete only relative to already processed tables.

Software reproducibility is comparatively strong. The project has an MIT license, attribution for all five sources, a lockfile, CI, a schema, four provider backends, and 20 tests; all pass in a dependency-complete environment. Prompt generation yields 6,400 rows and clustering reproduces the table. GitHub does not, however, publish model outputs, evaluation summaries, run.json provenance, or participant-level result files. Verifying 40.4% requires rerunning nine expensive or proprietary endpoints, several with mutable preview aliases. There are no confidence intervals, participant bootstrap, repeated decodes, or paired persona-minus-no-persona tests. The CLI also counts physical newlines inside CSV fields and falsely reports 453,600-543,200 rows even though pandas confirms 6,400. The Hugging Face Dataset Viewer currently fails, although both CSV files remain directly downloadable and parse correctly.

A faithful reading is positive but narrower than the abstract: PrivacySIM contributes a public, diverse, well-documented corpus for studying LLM imitation of privacy responses and shows that the tested persona fields add a small signal. At the same time, the best LLM does not beat an elementary empirical baseline, one domain's metric is permissive, result outputs are missing, and targets are not observed behavior. The work supports the conclusion that these three persona blocks are insufficient for reliable individual simulation; it does not establish that 40.4% is competitive or that LLMs have learned each user's real privacy behavior.

PrivacySIM estudia una pregunta concreta: si un LLM puede reproducir las respuestas de una persona a decisiones de privacidad cuando recibe tres tipos de información sobre ella, demografía, experiencia previa con IA o chatbots y actitudes de privacidad declaradas. Su principal aportación es un benchmark público construido a partir de cinco estudios de usuarios ya publicados. Los dominios son consulta sanitaria con LLM, permisos de un agente personal, adecuación del uso de historiales de ChatGPT, chatbots dentro de grupos y frecuencia de compartir categorías de datos con agentes conversacionales. El fichero experimental equilibra los dominios a 200 participantes cada uno, 1.000 en total. Tres estudios publican demografía; los cinco aportan experiencia y actitudes.

Cada participante conserva el cuestionario y su respuesta real de la encuesta. El pipeline crea un prompt sin persona y todas las combinaciones disponibles de los tres bloques: cuatro condiciones en los dos dominios sin demografía y ocho en los otros tres. Son 6.400 filas lógicas por modelo. Se evalúan nueve LLM: Gemini 3.1 Pro y 3 Flash; GPT-5.4 y GPT-5.4 Mini; Claude Sonnet 4.6; Gemma 4 32B; Qwen3.5 27B y 122B; y Nemotron 3 120B. La métrica principal promedia por participante el porcentaje de preguntas que coinciden. En escalas ordinales de cuatro o cinco opciones exige coincidencia exacta; en la escala 0-100 del estudio sobre ChatGPT acepta cualquier predicción a ±15 puntos. Por eso el 40,4% del abstract es tolerance accuracy, no exactitud exacta homogénea.

El mejor resultado publicado es Gemini 3.1 Pro con experiencia previa más actitudes: 40,39%, frente a 36,32% sin persona, una mejora descriptiva de 4,07 puntos. En general, combinar esos dos bloques mejora modestamente el baseline sin persona. Las actitudes solas suelen rendir peor que la experiencia; juntas recuperan parte de la señal. La demografía aislada aporta poco. Aumentar tamaño de modelo o razonamiento produce ganancias pequeñas, y añadir marcos de Privacy Calculus, Bounded Rationality o Protection Motivation Theory no mejora de forma consistente. Los autores interpretan el bajo techo como evidencia de que edad, uso de IA y actitudes declaradas no bastan para reconstruir decisiones individuales de privacidad.

El análisis por grupos transforma actitudes y exposición en dos ejes normalizados por dominio y asigna cinco clústeres a centroides fijos. Los usuarios con baja postura declarada y alta exposición son el grupo con menor accuracy bajo experiencia+actitudes, 36,51%, y ganan solo 1,07 puntos sobre el prompt sin persona. Los de postura alta y exposición media alcanzan 42,41% y mejoran 8,53 puntos. La reconstrucción local reproduce exactamente los tamaños publicados: 226, 187, 205, 161 y 221. Pero son bins diseñados mediante parsing heurístico, polaridad por palabras clave, z-scores y centros sintéticos; toman la geometría de Dupree et al. pero sustituyen conocimiento de privacidad por exposición a IA. No deben leerse como tipos psicológicos validados.

La auditoría encuentra un límite cuantitativo decisivo. Un baseline empírico muy simple, sin LLM ni atributos de persona, aprende en cuatro folds la respuesta que más aciertos por tolerancia produce para cada dominio y posición de pregunta, y se evalúa en el quinto. Su media equilibrada es 45,11%, por encima del 40,39% del mejor LLM. Obtiene 43,20% en permisos, 36,07% en grupos, 49,95% en el dominio 0-100, 54,15% en agentes conversacionales y 42,20% en salud. En el dominio 0-100 basta responder siempre 15 para acertar 49,95% porque cualquier objetivo de 0 a 30 entra en la ventana. En agentes conversacionales, responder siempre “I never shared” logra 53,75%, ya que esa categoría ocupa 1.075 de 2.000 targets. El paper no publica baselines de moda, por pregunta, calibrados o supervisados; por tanto, ni el 40,4% ni el baseline LLM sin persona demuestran competitividad predictiva.

También hay que delimitar qué es la ground truth. Son respuestas a encuestas: aceptabilidad hipotética, preocupación, adecuación de una viñeta o frecuencia recordada de compartir datos. No son logs de conducta real. El estudio mide imitación de respuestas de cuestionario, no simulación verificada de decisiones reales. El peor rendimiento de las actitudes declaradas es compatible con la privacy paradox, pero también con una representación pobre del atributo, sobrecarga del prompt o insensibilidad del modelo; el diseño no identifica causalmente la paradoja. Tampoco hay un segundo cuestionario del mismo individuo, test-retest, predicción humana comparable o análisis de calibración que establezca identidad individual estable.

La muestra equilibrada es útil como benchmark, pero no representa una población: mezcla países, reclutamientos, tecnologías y constructos distintos, y da el mismo peso a cada estudio aunque los pools originales midan de 203 a 846 filas procesadas. Salud se filtra a preguntas de información mental o médica y experiencia informativa antes de muestrear. En agentes conversacionales el apéndice dice que 422 participantes se reducen a 318 usuarios de chatbots; el código elimina después a quien tenga algún target ausente y conserva 277, exclusión de 41 casos que el paper no informa. Por ello llamar al CSV de 2.000 filas “todos los usuarios, sin filtrar” es engañoso: es completo solo respecto de las tablas ya procesadas.

La reproducibilidad del software es comparativamente buena. Hay licencia MIT, atribución de las cinco fuentes, lockfile, CI, esquema, cuatro backends y 20 tests; todos pasan con dependencias completas. El generador produce 6.400 prompts y el clustering reproduce la tabla. Sin embargo, GitHub no publica outputs de modelos, evaluation_summary, run.json ni resultados por participante. Verificar el 40,4% exige volver a ejecutar nueve endpoints caros o propietarios, algunos con aliases preview mutables. No hay intervalos de confianza, bootstrap por participante, repeticiones de decodificación ni test pareado persona-sin-persona. El CLI además cuenta saltos de línea físicos dentro del CSV y anuncia falsamente 453.600-543.200 filas, aunque pandas confirma 6.400. El Dataset Viewer de Hugging Face falla actualmente, si bien los dos CSV se descargan y parsean correctamente.

La lectura fiel es positiva pero más acotada que el abstract: PrivacySIM aporta un corpus público, diverso y bien documentado para estudiar cuánto puede un modelo imitar respuestas de privacidad, y muestra que los atributos de persona ensayados añaden una señal pequeña. A la vez, el mejor LLM no supera un baseline empírico elemental, la métrica de un dominio es indulgente, faltan outputs para reproducir las cifras y los targets no son conducta observada. El trabajo apoya “estos tres bloques de persona son insuficientes para una simulación individual fiable”; no apoya que el 40,4% sea un nivel competitivo ni que los LLM hayan aprendido el comportamiento real de cada usuario.