Distorted Perspectives of LLM-Simulated Preferences: Can AI Mislead Design?

Aplicaciones, sesgos y seguridad2026arXivRevisión editorial aprobada

Autores: Eduard Kuric, Peter Demcak, Matus Krajcovic

Palabras clave: LLM-simulated preferences, Visual design, UX research, Multimodal simulation, Algorithmic fidelity, Human ground truth, Persona prompting, Preference tests, Design misrepresentation, GPT-4.1, GPT-5.2, Semantic similarity

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

3
Autores
17
Hallazgos
20
Limitaciones
5
Evidencias

Resumen editorial

Español

Este preprint de 15 páginas pregunta si las preferencias de diseño producidas por simulaciones con LLM coinciden con las respuestas de usuarios reales. Su aportación principal es comparar los modelos con material procedente de práctica profesional, no solo con un benchmark artificial. Reúne 29 estudios de preference testing creados por 29 organizaciones en UXtweak: 2.073 participantes, 78 tareas de elección y 190 preguntas de seguimiento, 147 abiertas y 43 cerradas, sobre interfaces, componentes, layouts, navegación, notificaciones, ilustraciones y copy de varios dominios. La conclusión operativa más sólida es que una muestra sintética no debe sustituir a la audiencia real sin validación específica para esa tarea.

El sistema reproduce el flujo de cada estudio: recibe mensajes e imágenes originales, adopta un rol de participante y responde a las tareas y preguntas posteriores. El baseline usa GPT-4.1, temperatura 1, top_p 1 y una mega-persona que resume tamaño, demografía, personalidad y otra información disponible de la audiencia. Cuando faltan esos datos, los autores añaden distribuciones generales de género, edad, educación y Big Five. Las respuestas de mega-persona se generan en lotes de 20 y luego se fusionan. Cinco variantes cambian una sola pieza: GPT-5.2, temperatura 0,2, top_p 0,2, persona individual o mega-persona sin detalles. Catorce estudios se usaron para refinar iterativamente los prompts, pero después vuelven a formar parte de la evaluación; no hay holdout separado.

Para las elecciones se calculan diferencias chi-cuadrado por tarea, coincidencia en la opción ganadora y el ranking, distancia Jensen–Shannon, entropía normalizada y número de opciones elegidas. Para texto se usan similitud léxica TF-IDF, similitud y diversidad con all-MiniLM-L6-v2, Yule's K, legibilidad y longitud, además de un examen cualitativo. El baseline difiere significativamente de los humanos en el 44% de las 78 tareas, acierta la opción más popular en el 53%, obtiene acuerdo medio de ranking 0,53 y distancia Jensen–Shannon media 0,17. La entropía sintética es mayor, 0,93 frente a 0,86, compatible con la tendencia a repartir apoyo de forma demasiado equilibrada cuando los humanos tienen favoritos más claros. También existen casos inversos, con humanos divididos y simulaciones deterministas.

GPT-5.2 reduce las tareas con diferencia significativa al 38% y alcanza 65% de coincidencia en la primera opción, pero el artículo no encuentra una diferencia estadísticamente significativa respecto a GPT-4.1. Bajar temperatura produce 41% de tareas diferentes y bajar top_p 38%, con entropía próxima a 0,94. Las mega-personas genéricas y detalladas se comportan de forma parecida: 46% de diferencias para las genéricas. La persona individual es claramente peor: 91% de tareas diferentes, distancia Jensen–Shannon 0,45, entropía 0,28 y 1,82 opciones únicas frente a 2,59 en mega-persona. Esto prueba que la forma de simulación importa y contradice una lectura de fallo idéntico bajo cualquier configuración.

En las justificaciones abiertas, las simulaciones tienen similitud léxica media cercana a 0,25 y similitud semántica alrededor de 0,70 con las respuestas humanas. Los autores describen patrones de genericidad, elogio excesivo, fijación en elementos aislados, explicaciones largas sin profundidad, inferencias irrelevantes y algunos comentarios que consideran absurdos. Las respuestas cerradas difieren en el 53% de preguntas. La advertencia es plausible, pero la parte cualitativa carece de codebook, número de codificadores, doble codificación, acuerdo, criterio de muestreo, saturación y citas auditables. Las imágenes, respuestas y contenidos de estudio son propietarios, de modo que no puede verificarse si una interpretación era realmente incoherente ni compararla con la calidad de las explicaciones humanas.

La estadística limita varias conclusiones. Las mismas 78 tareas se repiten bajo todas las configuraciones, pero se comparan indicadores binarios con chi-cuadrado sobre 156 observaciones y el anexo ausente se describe como basado en Mann–Whitney para medidas continuas. Son comparaciones pareadas: corresponderían pruebas como McNemar y Wilcoxon pareado, además de un modelo multinivel porque 78 tareas están anidadas en 29 estudios y pueden compartir participantes, prompts y familias de estímulos. Los 78 tests de ajuste por configuración no tienen corrección de multiplicidad ni diagnóstico de celdas esperadas. Por tanto, el porcentaje de resultados significativos mezcla tamaño de efecto, tamaño muestral, número de opciones y falsos positivos. Además, interpretar p>0,05 como prueba de que modelo, temperatura, top_p o especificidad “no afectan” requiere tests de equivalencia, potencia e intervalos que no se presentan.

La incertidumbre generativa tampoco está representada. El baseline se ejecutó tres veces y se afirma que varió poco, pero no se muestran sus valores, semillas ni análisis; después cada configuración se ejecuta una sola vez. Persona individual y mega-persona también difieren en estructura: una conversación por individuo frente a lotes de 20 que pueden condicionarse mutuamente. Esa diferencia confunde tipo de persona con contexto, longitud e independencia de las respuestas. Solo se prueban GPT-4.1 y GPT-5.2, sin snapshot fechado, endpoint, reasoning effort de GPT-5.2, seeds, parámetros de imagen, presupuesto, reintentos o tratamiento de fallos. Por ello el estudio no demuestra que chain-of-thought falle en general ni cubre la diversidad de LLM multimodales.

El uso de estudios reales aporta relevancia ecológica, pero no garantiza validez externa. No se publican marco de muestreo, criterios, fechas, tipos de organización, rechazos, países, idiomas, n por tarea, solapamiento de participantes, control de calidad ni distribuciones. Todos los estudios proceden de clientes que aceptaron participar dentro de una sola plataforma comercial. La heterogeneidad amplía escenarios y también introduce diferencias no controladas de reclutamiento, wording, orden, calidad del estímulo y preguntas. Llamar a las respuestas humanas “ground truth” es aceptable como comparador de su propia tarea, no como verdad universal sobre preferencia humana. “Fallo universal” también es excesivo: el 53% coincide en ganador y el 56% de tareas no presenta diferencia significativa en el baseline.

Hay una cuestión de transparencia institucional. Los tres autores figuran afiliados a UXtweak Research / UXtweak j.s.a.; la empresa facilita los estudios propietarios y recibe agradecimiento por apoyo técnico y experto. Sin embargo, la declaración afirma que no hay intereses financieros o no financieros relevantes. La afiliación está visible, pero empleo, control del acceso a datos y posibles implicaciones para el producto son intereses relevantes que deberían describirse junto con los roles en selección, análisis y publicación. La declaración ética tampoco identifica comité, número de aprobación ni base concreta para reutilización secundaria, y no aclara la diferencia entre consentimiento del propietario del estudio y consentimiento de cada participante.

La reproducibilidad es nula para los resultados. El texto remite el prompt final al Apéndice A y los análisis completos al Apéndice B, pero el PDF y el paquete TeX terminan en referencias: ninguno de los anexos existe. Tampoco hay datos agregados por tarea, outputs sintéticos, prompts, código, scripts estadísticos, API logs o entorno. Las referencias de GPT-4.1 y GPT-5.2 muestran una fecha de consulta 2024-03-24 cronológicamente imposible para la página de GPT-5.2 publicada en diciembre de 2025. La conclusión fiel es doble: el trabajo ofrece evidencia importante de que las muestras sintéticas GPT pueden equivocarse en preferencias visuales concretas y producir una falsa sensación de equilibrio; pero no prueba fallo universal, equivalencia entre moderadores, alta validez externa garantizada ni una teoría general de que los LLM carezcan de razonamiento. La recomendación correcta es no sustituir investigación de usuarios por simulación no validada, manteniendo abierta la evaluación de usos auxiliares con humanos y calibración.

English

This 15-page preprint asks whether design preferences generated by LLM simulations match responses from real users. Its main contribution is comparison against material from professional practice rather than a purely artificial benchmark. It aggregates 29 preference-testing studies created by 29 organizations in UXtweak: 2,073 participants, 78 choice tasks, and 190 follow-up questions, 147 open and 43 closed, covering interfaces, components, layouts, navigation, notifications, illustrations, and copy across several domains. The strongest operational conclusion is that a synthetic sample should not replace a real audience without task-specific validation.

The system reproduces each study flow: it receives original messages and images, adopts a participant role, and answers preference tasks and follow-ups. The baseline uses GPT-4.1, temperature 1, top_p 1, and a mega-persona summarizing audience size, demographics, personality, and other available information. When such data are missing, the authors add general-population gender, age, education, and Big Five distributions. Mega-persona responses are generated in batches of 20 and merged. Five one-factor variants substitute GPT-5.2, temperature 0.2, top_p 0.2, individual personas, or a nondescript mega-persona. Fourteen studies were used for iterative prompt refinement and then remain in the reported evaluation; there is no separate holdout.

Choice metrics include per-task chi-squared difference, first-choice and ranking agreement, Jensen-Shannon distance, normalized entropy, and unique selection count. Text metrics include TF-IDF lexical similarity, all-MiniLM-L6-v2 semantic similarity and diversity, Yule's K, readability, and length, followed by qualitative examination. The baseline differs significantly from humans in 44% of 78 tasks, matches the most popular option in 53%, has mean rank agreement 0.53 and mean Jensen-Shannon distance 0.17. Synthetic entropy is higher, 0.93 versus 0.86, consistent with spreading support too evenly when humans have clearer favorites. Reverse cases also occur, with divided humans and deterministic simulations.

GPT-5.2 reduces significantly different tasks to 38% and reaches 65% first-choice agreement, but the paper does not find a statistically significant change from GPT-4.1. Lower temperature produces 41% different tasks and lower top_p 38%, with entropy around 0.94. Generic and detailed mega-personas behave similarly: generic personas differ in 46% of tasks. Individual personas are clearly worse: 91% different tasks, Jensen-Shannon distance 0.45, entropy 0.28, and 1.82 unique choices versus 2.59 for mega-personas. This shows that simulation structure matters and contradicts a reading of identical failure under every configuration.

For open justifications, simulations have mean lexical similarity near 0.25 and semantic similarity around 0.70 to human responses. The authors describe genericity, overpraise, fixation on isolated elements, lengthy explanations without depth, irrelevant inferences, and some outputs they deem nonsensical. Closed-ended answers differ in 53% of questions. The warning is plausible, but the qualitative component provides no codebook, coder count, double coding, agreement, sampling rule, saturation criterion, or auditable quotations. Images, responses, and study contents are proprietary, so readers cannot determine whether an interpretation was truly incoherent or compare it with the quality of human explanations.

Statistics constrain several conclusions. The same 78 tasks recur under every configuration, yet binary indicators are compared through chi-squared tests on 156 observations and the missing appendix is described as using Mann-Whitney for continuous measures. These are paired comparisons, calling for methods such as McNemar and paired Wilcoxon, plus a multilevel model because 78 tasks are nested in 29 studies and may share participants, prompts, and stimulus families. Seventy-eight goodness-of-fit tests per configuration receive no multiplicity correction or expected-cell diagnostics. Percent significant therefore mixes effect magnitude, sample size, option count, and false positives. Interpreting p>0.05 as proof that model, temperature, top_p, or specificity have no effect would require equivalence tests, power, and intervals that are not reported.

Generative uncertainty is also omitted. The baseline was reportedly run three times with little variation, but values, seeds, and tests are absent; each reported configuration then uses one run. Individual and mega-persona conditions also differ structurally: one conversation per person versus batches of 20 whose members may condition one another. This confounds persona type with context, length, and response independence. Only GPT-4.1 and GPT-5.2 are tested, without a dated snapshot, endpoint, GPT-5.2 reasoning effort, seeds, image settings, budget, retry policy, or failure handling. The study therefore does not show that chain-of-thought generally fails and does not cover multimodal LLM diversity.

Real studies increase ecological relevance but do not guarantee external validity. The paper withholds the sampling frame, criteria, dates, organization types, refusals, countries, languages, per-task n, participant overlap, quality checks, and distributions. All studies come from consenting customers of one commercial platform. Heterogeneity broadens scenarios while also adding uncontrolled recruitment, wording, order, stimulus-quality, and question differences. Calling human responses “ground truth” is reasonable for their own task, not as universal human preference. “Universal failure” is also too strong: 53% match the winner and 56% of baseline tasks show no significant distribution difference.

There is an institutional-transparency issue. All three authors list UXtweak Research / UXtweak j.s.a.; the company supplies proprietary studies and is thanked for technical and expert support. Yet the declaration says there are no relevant financial or non-financial interests. The affiliation is visible, but employment, data-access control, and product implications are relevant interests that should be characterized alongside roles in selection, analysis, and publication. The ethics statement provides no committee, approval number, or secondary-use basis, and does not distinguish study-owner consent from consent by each participant.

The results are not reproducible. The final prompt is assigned to Appendix A and complete analyses to Appendix B, but the PDF and complete TeX end at the references: neither appendix exists. There are no task-level aggregates, synthetic outputs, prompts, code, statistical scripts, API logs, or environment. GPT-4.1 and GPT-5.2 references list an impossible 2024-03-24 access date for a GPT-5.2 page published in December 2025. The faithful conclusion is two-sided: the paper offers important evidence that GPT synthetic samples can miss concrete visual preferences and create a false impression of balance; it does not prove universal failure, moderator equivalence, guaranteed high external validity, or a general theory that LLMs lack reasoning. The correct recommendation is not to replace user research with unvalidated simulation, while leaving room to evaluate calibrated, human-supervised auxiliary uses.

Pregunta de investigación

¿Hasta qué punto las muestras sintéticas multimodales de GPT-4.1/GPT-5.2 reproducen elecciones y justificaciones de audiencias reales en preference tests de diseño, y cambian esa fidelidad el modelo, sampling, tipo o detalle de persona?

Método

Comparación de 29 estudios propietarios de UXtweak, 2.073 participantes, 78 tareas y 190 follow-ups, con simulaciones multimodales. Baseline GPT-4.1 con mega-persona detallada, temperatura/top_p 1, y cinco variantes one-factor: GPT-5.2, temperatura 0,2, top_p 0,2, persona individual y mega-persona genérica. Se calculan ajuste chi-cuadrado, acuerdos, Jensen-Shannon, entropía, diversidad, TF-IDF, embeddings MiniLM, repetitividad, legibilidad y longitud. La auditoría revisó las 15 páginas, TeX/figuras, diseño pareado/anidado, validez externa, cualitativo, conflictos y reproducibilidad.

Muestra: 29 estudios de 29 organizaciones, 2.073 participantes, 78 tareas y 190 preguntas de seguimiento. El n por estudio/tarea, países, idiomas, reclutamiento, solapamiento y control de calidad no se publican. Las simulaciones intentan igualar el tamaño humano; mega-personas se generan en lotes de 20. Baseline ejecutado tres veces sin resultados publicados; cada configuración final usa una sola ejecución.

Hallazgos

  • El baseline difiere significativamente de humanos en 44% de tareas y coincide en la opción ganadora en 53%.
  • La entropía sintética media 0,93 supera la humana 0,86, señal de balance exagerado en promedio.
  • GPT-5.2 obtiene 38% de tareas diferentes y 65% de acuerdo en ganador, sin diferencia significativa reportada frente a GPT-4.1.
  • Temperatura/top_p bajos no mejoran sistemáticamente el baseline en la ejecución reportada.
  • Persona individual empeora con claridad: 91% de tareas diferentes y distancia Jensen-Shannon 0,45.
  • Mega-personas detalladas y genéricas tienen resultados agregados parecidos.
  • Las justificaciones sintéticas muestran baja similitud léxica y patrones cualitativos de genericidad, sobreelogio e irrelevancia según los autores.
  • La evidencia apoya no sustituir audiencias reales por muestras sintéticas no validadas.
  • No apoya fallo universal: 56% de tareas baseline no difieren significativamente y 53% coincide en ganador.
  • Las comparaciones entre configuraciones parecen usar tests independientes pese a repetir las mismas 78 tareas.
  • La anidación de 78 tareas en 29 estudios no se modela.
  • Una sola ejecución por configuración omite incertidumbre generativa.
  • Los 14 estudios de refinamiento de prompts no se separan en holdout.
  • No se pueden auditar las afirmaciones cualitativas ni la supuesta alta validez externa.
  • Los Apéndices A/B prometidos no existen en el PDF/TeX.
  • No hay datos, prompts, outputs, código ni análisis reproducible.
  • Los tres autores tienen afiliación UXtweak y acceso a datos de la empresa pese a declarar ningún interés relevante.

Limitaciones

  • Solo GPT-4.1 y GPT-5.2.
  • Sin snapshots, reasoning effort, seeds, run dates ni API logs.
  • Una ejecución por configuración.
  • Baseline de tres runs sin resultados publicados.
  • Persona individual y mega-persona confunden persona con batch/contexto.
  • Catorce estudios usados para prompt tuning y evaluación.
  • Sin marco de muestreo o criterios de estudios.
  • Sin n, opciones, países, idiomas o calidad por tarea.
  • Tasks anidadas en estudios y posible dependencia de participantes.
  • Chi-cuadrado/Mann-Whitney no respetan pairing entre configuraciones.
  • Sin corrección de multiplicidad ni diagnóstico de celdas esperadas.
  • No significación interpretada como ausencia de efecto.
  • Heterogeneidad de protocolos no controlada.
  • Ground truth limitado a self-report forced-choice por tarea.
  • Cualitativo sin codebook, codificadores, acuerdo o citas auditables.
  • Datos y estímulos propietarios.
  • Apéndices A y B ausentes.
  • Sin código, datos, outputs o entorno.
  • Declaración de intereses insuficiente respecto de UXtweak.
  • Ética sin comité, identificador ni detalle de secondary use.

Qué no demuestra

  • Fallo de LLM en todas las tareas o estudios.
  • Que todos los LLM multimodales fallen igual.
  • Equivalencia entre GPT-4.1 y GPT-5.2.
  • Ausencia de efecto de temperatura, top_p o detalle de persona.
  • Que chain-of-thought empeore preferencias en general.
  • Ground truth universal de preferencia humana.
  • Validez externa o ecológica garantizada.
  • Representatividad global de organizaciones o usuarios.
  • Que métricas de embeddings midan profundidad o razonamiento.
  • Que toda justificación sintética sea genérica o absurda.
  • Que cualquier uso auxiliar de LLM en UX deba evitarse.
  • Contaminación real de datasets por bots a partir de este experimento.
  • Corrección de p-values y effect sizes bajo pairing/clustering apropiado.
  • Reproducción independiente de resultados.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2605.18311v1, 15 pages; complete TeX and three figures audited; cited Appendices A/B absent; no public code/data artifact verified

Fuente consultada: https://arxiv.org/abs/2605.18311

Revisión: Codex 15-page visual, complete TeX/figure, sample, paired-statistics, clustering, qualitative, validity, conflicts, model-metadata and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • GPT-4.1, exact snapshot not reported
  • GPT-5.2, exact snapshot and reasoning effort not reported
  • all-MiniLM-L6-v2 for text embeddings

Instrumentos y métricas

  • UXtweak Preference Test forced-choice tasks
  • Per-task chi-squared goodness-of-fit
  • First-choice and rank-order agreement
  • Jensen-Shannon distance
  • Normalized entropy and unique selection count
  • TF-IDF centroid cosine similarity
  • all-MiniLM-L6-v2 semantic similarity and diversity
  • Yule's K, Flesch reading ease and word count
  • Undocumented qualitative examination
  • Independent paired-statistics, sampling, validity, conflicts and artifact audit

Datos utilizados

  • 29 proprietary UXtweak customer preference-test studies
  • 2,073 human participants
  • 78 preference tasks
  • 147 open-ended and 43 closed-ended follow-up questions
  • Six synthetic configuration outputs, not released
  • No public task-level human or synthetic dataset

Evidencia y localización

  • Método, resultados agregados, limitaciones, ética, afiliaciones y conflicto declarado: arXiv:2605.18311v1, 15 pages, sha256 a02fd33cf43a7455e4b5f4424fba3f947e31ad121860c52be11ed0e32314391b
  • Fuente completa y ausencia de Appendices A/B, prompts y análisis: arXiv source v1 sha256 7e88aca98dc5a8bda522fd1e1c7d9f71e8cf8a22f080f1486e85ac27e51e6ebb; main TeX sha256 1a88502d26f0b9746ac57ebcf3690b049613c8e5c87d93b4bd0ebb6489168d74
  • Metadatos de versión y estado de preprint: Official arXiv record for 2605.18311v1, checked 2026-07-17
  • Identificadores y capacidades oficiales de GPT-4.1/GPT-5.2: Official OpenAI model pages for gpt-4.1 and gpt-5.2, checked 2026-07-17
  • Auditoría independiente completa: reports/verification/article-326-llm-design-preference-ground-truth-paired-statistics-conflicts-and-reproducibility-audit.json