PrivacySIM estudia una pregunta concreta: si un LLM puede reproducir las respuestas de una persona a decisiones de privacidad cuando recibe tres tipos de información sobre ella, demografía, experiencia previa con IA o chatbots y actitudes de privacidad declaradas. Su principal aportación es un benchmark público construido a partir de cinco estudios de usuarios ya publicados. Los dominios son consulta sanitaria con LLM, permisos de un agente personal, adecuación del uso de historiales de ChatGPT, chatbots dentro de grupos y frecuencia de compartir categorías de datos con agentes conversacionales. El fichero experimental equilibra los dominios a 200 participantes cada uno, 1.000 en total. Tres estudios publican demografía; los cinco aportan experiencia y actitudes.
Cada participante conserva el cuestionario y su respuesta real de la encuesta. El pipeline crea un prompt sin persona y todas las combinaciones disponibles de los tres bloques: cuatro condiciones en los dos dominios sin demografía y ocho en los otros tres. Son 6.400 filas lógicas por modelo. Se evalúan nueve LLM: Gemini 3.1 Pro y 3 Flash; GPT-5.4 y GPT-5.4 Mini; Claude Sonnet 4.6; Gemma 4 32B; Qwen3.5 27B y 122B; y Nemotron 3 120B. La métrica principal promedia por participante el porcentaje de preguntas que coinciden. En escalas ordinales de cuatro o cinco opciones exige coincidencia exacta; en la escala 0-100 del estudio sobre ChatGPT acepta cualquier predicción a ±15 puntos. Por eso el 40,4% del abstract es tolerance accuracy, no exactitud exacta homogénea.
El mejor resultado publicado es Gemini 3.1 Pro con experiencia previa más actitudes: 40,39%, frente a 36,32% sin persona, una mejora descriptiva de 4,07 puntos. En general, combinar esos dos bloques mejora modestamente el baseline sin persona. Las actitudes solas suelen rendir peor que la experiencia; juntas recuperan parte de la señal. La demografía aislada aporta poco. Aumentar tamaño de modelo o razonamiento produce ganancias pequeñas, y añadir marcos de Privacy Calculus, Bounded Rationality o Protection Motivation Theory no mejora de forma consistente. Los autores interpretan el bajo techo como evidencia de que edad, uso de IA y actitudes declaradas no bastan para reconstruir decisiones individuales de privacidad.
El análisis por grupos transforma actitudes y exposición en dos ejes normalizados por dominio y asigna cinco clústeres a centroides fijos. Los usuarios con baja postura declarada y alta exposición son el grupo con menor accuracy bajo experiencia+actitudes, 36,51%, y ganan solo 1,07 puntos sobre el prompt sin persona. Los de postura alta y exposición media alcanzan 42,41% y mejoran 8,53 puntos. La reconstrucción local reproduce exactamente los tamaños publicados: 226, 187, 205, 161 y 221. Pero son bins diseñados mediante parsing heurístico, polaridad por palabras clave, z-scores y centros sintéticos; toman la geometría de Dupree et al. pero sustituyen conocimiento de privacidad por exposición a IA. No deben leerse como tipos psicológicos validados.
La auditoría encuentra un límite cuantitativo decisivo. Un baseline empírico muy simple, sin LLM ni atributos de persona, aprende en cuatro folds la respuesta que más aciertos por tolerancia produce para cada dominio y posición de pregunta, y se evalúa en el quinto. Su media equilibrada es 45,11%, por encima del 40,39% del mejor LLM. Obtiene 43,20% en permisos, 36,07% en grupos, 49,95% en el dominio 0-100, 54,15% en agentes conversacionales y 42,20% en salud. En el dominio 0-100 basta responder siempre 15 para acertar 49,95% porque cualquier objetivo de 0 a 30 entra en la ventana. En agentes conversacionales, responder siempre “I never shared” logra 53,75%, ya que esa categoría ocupa 1.075 de 2.000 targets. El paper no publica baselines de moda, por pregunta, calibrados o supervisados; por tanto, ni el 40,4% ni el baseline LLM sin persona demuestran competitividad predictiva.
También hay que delimitar qué es la ground truth. Son respuestas a encuestas: aceptabilidad hipotética, preocupación, adecuación de una viñeta o frecuencia recordada de compartir datos. No son logs de conducta real. El estudio mide imitación de respuestas de cuestionario, no simulación verificada de decisiones reales. El peor rendimiento de las actitudes declaradas es compatible con la privacy paradox, pero también con una representación pobre del atributo, sobrecarga del prompt o insensibilidad del modelo; el diseño no identifica causalmente la paradoja. Tampoco hay un segundo cuestionario del mismo individuo, test-retest, predicción humana comparable o análisis de calibración que establezca identidad individual estable.
La muestra equilibrada es útil como benchmark, pero no representa una población: mezcla países, reclutamientos, tecnologías y constructos distintos, y da el mismo peso a cada estudio aunque los pools originales midan de 203 a 846 filas procesadas. Salud se filtra a preguntas de información mental o médica y experiencia informativa antes de muestrear. En agentes conversacionales el apéndice dice que 422 participantes se reducen a 318 usuarios de chatbots; el código elimina después a quien tenga algún target ausente y conserva 277, exclusión de 41 casos que el paper no informa. Por ello llamar al CSV de 2.000 filas “todos los usuarios, sin filtrar” es engañoso: es completo solo respecto de las tablas ya procesadas.
La reproducibilidad del software es comparativamente buena. Hay licencia MIT, atribución de las cinco fuentes, lockfile, CI, esquema, cuatro backends y 20 tests; todos pasan con dependencias completas. El generador produce 6.400 prompts y el clustering reproduce la tabla. Sin embargo, GitHub no publica outputs de modelos, evaluation_summary, run.json ni resultados por participante. Verificar el 40,4% exige volver a ejecutar nueve endpoints caros o propietarios, algunos con aliases preview mutables. No hay intervalos de confianza, bootstrap por participante, repeticiones de decodificación ni test pareado persona-sin-persona. El CLI además cuenta saltos de línea físicos dentro del CSV y anuncia falsamente 453.600-543.200 filas, aunque pandas confirma 6.400. El Dataset Viewer de Hugging Face falla actualmente, si bien los dos CSV se descargan y parsean correctamente.
La lectura fiel es positiva pero más acotada que el abstract: PrivacySIM aporta un corpus público, diverso y bien documentado para estudiar cuánto puede un modelo imitar respuestas de privacidad, y muestra que los atributos de persona ensayados añaden una señal pequeña. A la vez, el mejor LLM no supera un baseline empírico elemental, la métrica de un dominio es indulgente, faltan outputs para reproducir las cifras y los targets no son conducta observada. El trabajo apoya “estos tres bloques de persona son insuficientes para una simulación individual fiable”; no apoya que el 40,4% sea un nivel competitivo ni que los LLM hayan aprendido el comportamiento real de cada usuario.