Distorted Perspectives of LLM-Simulated Preferences: Can AI Mislead Design?

This 15-page preprint asks whether design preferences generated by LLM simulations match responses from real users. Its main contribution is comparison against material from professional practice rather than a purely artificial benchmark. It aggregates 29 preference-testing studies created by 29 organizations in UXtweak: 2,073 participants, 78 choice tasks, and 190 follow-up questions, 147 open and 43 closed, covering interfaces, components, layouts, navigation, notifications, illustrations, and copy across several domains. The strongest operational conclusion is that a synthetic sample should not replace a real audience without task-specific validation.

The system reproduces each study flow: it receives original messages and images, adopts a participant role, and answers preference tasks and follow-ups. The baseline uses GPT-4.1, temperature 1, top_p 1, and a mega-persona summarizing audience size, demographics, personality, and other available information. When such data are missing, the authors add general-population gender, age, education, and Big Five distributions. Mega-persona responses are generated in batches of 20 and merged. Five one-factor variants substitute GPT-5.2, temperature 0.2, top_p 0.2, individual personas, or a nondescript mega-persona. Fourteen studies were used for iterative prompt refinement and then remain in the reported evaluation; there is no separate holdout.

Choice metrics include per-task chi-squared difference, first-choice and ranking agreement, Jensen-Shannon distance, normalized entropy, and unique selection count. Text metrics include TF-IDF lexical similarity, all-MiniLM-L6-v2 semantic similarity and diversity, Yule's K, readability, and length, followed by qualitative examination. The baseline differs significantly from humans in 44% of 78 tasks, matches the most popular option in 53%, has mean rank agreement 0.53 and mean Jensen-Shannon distance 0.17. Synthetic entropy is higher, 0.93 versus 0.86, consistent with spreading support too evenly when humans have clearer favorites. Reverse cases also occur, with divided humans and deterministic simulations.

GPT-5.2 reduces significantly different tasks to 38% and reaches 65% first-choice agreement, but the paper does not find a statistically significant change from GPT-4.1. Lower temperature produces 41% different tasks and lower top_p 38%, with entropy around 0.94. Generic and detailed mega-personas behave similarly: generic personas differ in 46% of tasks. Individual personas are clearly worse: 91% different tasks, Jensen-Shannon distance 0.45, entropy 0.28, and 1.82 unique choices versus 2.59 for mega-personas. This shows that simulation structure matters and contradicts a reading of identical failure under every configuration.

For open justifications, simulations have mean lexical similarity near 0.25 and semantic similarity around 0.70 to human responses. The authors describe genericity, overpraise, fixation on isolated elements, lengthy explanations without depth, irrelevant inferences, and some outputs they deem nonsensical. Closed-ended answers differ in 53% of questions. The warning is plausible, but the qualitative component provides no codebook, coder count, double coding, agreement, sampling rule, saturation criterion, or auditable quotations. Images, responses, and study contents are proprietary, so readers cannot determine whether an interpretation was truly incoherent or compare it with the quality of human explanations.

Statistics constrain several conclusions. The same 78 tasks recur under every configuration, yet binary indicators are compared through chi-squared tests on 156 observations and the missing appendix is described as using Mann-Whitney for continuous measures. These are paired comparisons, calling for methods such as McNemar and paired Wilcoxon, plus a multilevel model because 78 tasks are nested in 29 studies and may share participants, prompts, and stimulus families. Seventy-eight goodness-of-fit tests per configuration receive no multiplicity correction or expected-cell diagnostics. Percent significant therefore mixes effect magnitude, sample size, option count, and false positives. Interpreting p>0.05 as proof that model, temperature, top_p, or specificity have no effect would require equivalence tests, power, and intervals that are not reported.

Generative uncertainty is also omitted. The baseline was reportedly run three times with little variation, but values, seeds, and tests are absent; each reported configuration then uses one run. Individual and mega-persona conditions also differ structurally: one conversation per person versus batches of 20 whose members may condition one another. This confounds persona type with context, length, and response independence. Only GPT-4.1 and GPT-5.2 are tested, without a dated snapshot, endpoint, GPT-5.2 reasoning effort, seeds, image settings, budget, retry policy, or failure handling. The study therefore does not show that chain-of-thought generally fails and does not cover multimodal LLM diversity.

Real studies increase ecological relevance but do not guarantee external validity. The paper withholds the sampling frame, criteria, dates, organization types, refusals, countries, languages, per-task n, participant overlap, quality checks, and distributions. All studies come from consenting customers of one commercial platform. Heterogeneity broadens scenarios while also adding uncontrolled recruitment, wording, order, stimulus-quality, and question differences. Calling human responses “ground truth” is reasonable for their own task, not as universal human preference. “Universal failure” is also too strong: 53% match the winner and 56% of baseline tasks show no significant distribution difference.

There is an institutional-transparency issue. All three authors list UXtweak Research / UXtweak j.s.a.; the company supplies proprietary studies and is thanked for technical and expert support. Yet the declaration says there are no relevant financial or non-financial interests. The affiliation is visible, but employment, data-access control, and product implications are relevant interests that should be characterized alongside roles in selection, analysis, and publication. The ethics statement provides no committee, approval number, or secondary-use basis, and does not distinguish study-owner consent from consent by each participant.

The results are not reproducible. The final prompt is assigned to Appendix A and complete analyses to Appendix B, but the PDF and complete TeX end at the references: neither appendix exists. There are no task-level aggregates, synthetic outputs, prompts, code, statistical scripts, API logs, or environment. GPT-4.1 and GPT-5.2 references list an impossible 2024-03-24 access date for a GPT-5.2 page published in December 2025. The faithful conclusion is two-sided: the paper offers important evidence that GPT synthetic samples can miss concrete visual preferences and create a false impression of balance; it does not prove universal failure, moderator equivalence, guaranteed high external validity, or a general theory that LLMs lack reasoning. The correct recommendation is not to replace user research with unvalidated simulation, while leaving room to evaluate calibrated, human-supervised auxiliary uses.

Este preprint de 15 páginas pregunta si las preferencias de diseño producidas por simulaciones con LLM coinciden con las respuestas de usuarios reales. Su aportación principal es comparar los modelos con material procedente de práctica profesional, no solo con un benchmark artificial. Reúne 29 estudios de preference testing creados por 29 organizaciones en UXtweak: 2.073 participantes, 78 tareas de elección y 190 preguntas de seguimiento, 147 abiertas y 43 cerradas, sobre interfaces, componentes, layouts, navegación, notificaciones, ilustraciones y copy de varios dominios. La conclusión operativa más sólida es que una muestra sintética no debe sustituir a la audiencia real sin validación específica para esa tarea.

El sistema reproduce el flujo de cada estudio: recibe mensajes e imágenes originales, adopta un rol de participante y responde a las tareas y preguntas posteriores. El baseline usa GPT-4.1, temperatura 1, top_p 1 y una mega-persona que resume tamaño, demografía, personalidad y otra información disponible de la audiencia. Cuando faltan esos datos, los autores añaden distribuciones generales de género, edad, educación y Big Five. Las respuestas de mega-persona se generan en lotes de 20 y luego se fusionan. Cinco variantes cambian una sola pieza: GPT-5.2, temperatura 0,2, top_p 0,2, persona individual o mega-persona sin detalles. Catorce estudios se usaron para refinar iterativamente los prompts, pero después vuelven a formar parte de la evaluación; no hay holdout separado.

Para las elecciones se calculan diferencias chi-cuadrado por tarea, coincidencia en la opción ganadora y el ranking, distancia Jensen–Shannon, entropía normalizada y número de opciones elegidas. Para texto se usan similitud léxica TF-IDF, similitud y diversidad con all-MiniLM-L6-v2, Yule's K, legibilidad y longitud, además de un examen cualitativo. El baseline difiere significativamente de los humanos en el 44% de las 78 tareas, acierta la opción más popular en el 53%, obtiene acuerdo medio de ranking 0,53 y distancia Jensen–Shannon media 0,17. La entropía sintética es mayor, 0,93 frente a 0,86, compatible con la tendencia a repartir apoyo de forma demasiado equilibrada cuando los humanos tienen favoritos más claros. También existen casos inversos, con humanos divididos y simulaciones deterministas.

GPT-5.2 reduce las tareas con diferencia significativa al 38% y alcanza 65% de coincidencia en la primera opción, pero el artículo no encuentra una diferencia estadísticamente significativa respecto a GPT-4.1. Bajar temperatura produce 41% de tareas diferentes y bajar top_p 38%, con entropía próxima a 0,94. Las mega-personas genéricas y detalladas se comportan de forma parecida: 46% de diferencias para las genéricas. La persona individual es claramente peor: 91% de tareas diferentes, distancia Jensen–Shannon 0,45, entropía 0,28 y 1,82 opciones únicas frente a 2,59 en mega-persona. Esto prueba que la forma de simulación importa y contradice una lectura de fallo idéntico bajo cualquier configuración.

En las justificaciones abiertas, las simulaciones tienen similitud léxica media cercana a 0,25 y similitud semántica alrededor de 0,70 con las respuestas humanas. Los autores describen patrones de genericidad, elogio excesivo, fijación en elementos aislados, explicaciones largas sin profundidad, inferencias irrelevantes y algunos comentarios que consideran absurdos. Las respuestas cerradas difieren en el 53% de preguntas. La advertencia es plausible, pero la parte cualitativa carece de codebook, número de codificadores, doble codificación, acuerdo, criterio de muestreo, saturación y citas auditables. Las imágenes, respuestas y contenidos de estudio son propietarios, de modo que no puede verificarse si una interpretación era realmente incoherente ni compararla con la calidad de las explicaciones humanas.

La estadística limita varias conclusiones. Las mismas 78 tareas se repiten bajo todas las configuraciones, pero se comparan indicadores binarios con chi-cuadrado sobre 156 observaciones y el anexo ausente se describe como basado en Mann–Whitney para medidas continuas. Son comparaciones pareadas: corresponderían pruebas como McNemar y Wilcoxon pareado, además de un modelo multinivel porque 78 tareas están anidadas en 29 estudios y pueden compartir participantes, prompts y familias de estímulos. Los 78 tests de ajuste por configuración no tienen corrección de multiplicidad ni diagnóstico de celdas esperadas. Por tanto, el porcentaje de resultados significativos mezcla tamaño de efecto, tamaño muestral, número de opciones y falsos positivos. Además, interpretar p>0,05 como prueba de que modelo, temperatura, top_p o especificidad “no afectan” requiere tests de equivalencia, potencia e intervalos que no se presentan.

La incertidumbre generativa tampoco está representada. El baseline se ejecutó tres veces y se afirma que varió poco, pero no se muestran sus valores, semillas ni análisis; después cada configuración se ejecuta una sola vez. Persona individual y mega-persona también difieren en estructura: una conversación por individuo frente a lotes de 20 que pueden condicionarse mutuamente. Esa diferencia confunde tipo de persona con contexto, longitud e independencia de las respuestas. Solo se prueban GPT-4.1 y GPT-5.2, sin snapshot fechado, endpoint, reasoning effort de GPT-5.2, seeds, parámetros de imagen, presupuesto, reintentos o tratamiento de fallos. Por ello el estudio no demuestra que chain-of-thought falle en general ni cubre la diversidad de LLM multimodales.

El uso de estudios reales aporta relevancia ecológica, pero no garantiza validez externa. No se publican marco de muestreo, criterios, fechas, tipos de organización, rechazos, países, idiomas, n por tarea, solapamiento de participantes, control de calidad ni distribuciones. Todos los estudios proceden de clientes que aceptaron participar dentro de una sola plataforma comercial. La heterogeneidad amplía escenarios y también introduce diferencias no controladas de reclutamiento, wording, orden, calidad del estímulo y preguntas. Llamar a las respuestas humanas “ground truth” es aceptable como comparador de su propia tarea, no como verdad universal sobre preferencia humana. “Fallo universal” también es excesivo: el 53% coincide en ganador y el 56% de tareas no presenta diferencia significativa en el baseline.

Hay una cuestión de transparencia institucional. Los tres autores figuran afiliados a UXtweak Research / UXtweak j.s.a.; la empresa facilita los estudios propietarios y recibe agradecimiento por apoyo técnico y experto. Sin embargo, la declaración afirma que no hay intereses financieros o no financieros relevantes. La afiliación está visible, pero empleo, control del acceso a datos y posibles implicaciones para el producto son intereses relevantes que deberían describirse junto con los roles en selección, análisis y publicación. La declaración ética tampoco identifica comité, número de aprobación ni base concreta para reutilización secundaria, y no aclara la diferencia entre consentimiento del propietario del estudio y consentimiento de cada participante.

La reproducibilidad es nula para los resultados. El texto remite el prompt final al Apéndice A y los análisis completos al Apéndice B, pero el PDF y el paquete TeX terminan en referencias: ninguno de los anexos existe. Tampoco hay datos agregados por tarea, outputs sintéticos, prompts, código, scripts estadísticos, API logs o entorno. Las referencias de GPT-4.1 y GPT-5.2 muestran una fecha de consulta 2024-03-24 cronológicamente imposible para la página de GPT-5.2 publicada en diciembre de 2025. La conclusión fiel es doble: el trabajo ofrece evidencia importante de que las muestras sintéticas GPT pueden equivocarse en preferencias visuales concretas y producir una falsa sensación de equilibrio; pero no prueba fallo universal, equivalencia entre moderadores, alta validez externa garantizada ni una teoría general de que los LLM carezcan de razonamiento. La recomendación correcta es no sustituir investigación de usuarios por simulación no validada, manteniendo abierta la evaluación de usos auxiliares con humanos y calibración.