Este preprint de 15 páginas pregunta si las preferencias de diseño producidas por simulaciones con LLM coinciden con las respuestas de usuarios reales. Su aportación principal es comparar los modelos con material procedente de práctica profesional, no solo con un benchmark artificial. Reúne 29 estudios de preference testing creados por 29 organizaciones en UXtweak: 2.073 participantes, 78 tareas de elección y 190 preguntas de seguimiento, 147 abiertas y 43 cerradas, sobre interfaces, componentes, layouts, navegación, notificaciones, ilustraciones y copy de varios dominios. La conclusión operativa más sólida es que una muestra sintética no debe sustituir a la audiencia real sin validación específica para esa tarea.
El sistema reproduce el flujo de cada estudio: recibe mensajes e imágenes originales, adopta un rol de participante y responde a las tareas y preguntas posteriores. El baseline usa GPT-4.1, temperatura 1, top_p 1 y una mega-persona que resume tamaño, demografía, personalidad y otra información disponible de la audiencia. Cuando faltan esos datos, los autores añaden distribuciones generales de género, edad, educación y Big Five. Las respuestas de mega-persona se generan en lotes de 20 y luego se fusionan. Cinco variantes cambian una sola pieza: GPT-5.2, temperatura 0,2, top_p 0,2, persona individual o mega-persona sin detalles. Catorce estudios se usaron para refinar iterativamente los prompts, pero después vuelven a formar parte de la evaluación; no hay holdout separado.
Para las elecciones se calculan diferencias chi-cuadrado por tarea, coincidencia en la opción ganadora y el ranking, distancia Jensen–Shannon, entropía normalizada y número de opciones elegidas. Para texto se usan similitud léxica TF-IDF, similitud y diversidad con all-MiniLM-L6-v2, Yule's K, legibilidad y longitud, además de un examen cualitativo. El baseline difiere significativamente de los humanos en el 44% de las 78 tareas, acierta la opción más popular en el 53%, obtiene acuerdo medio de ranking 0,53 y distancia Jensen–Shannon media 0,17. La entropía sintética es mayor, 0,93 frente a 0,86, compatible con la tendencia a repartir apoyo de forma demasiado equilibrada cuando los humanos tienen favoritos más claros. También existen casos inversos, con humanos divididos y simulaciones deterministas.
GPT-5.2 reduce las tareas con diferencia significativa al 38% y alcanza 65% de coincidencia en la primera opción, pero el artículo no encuentra una diferencia estadísticamente significativa respecto a GPT-4.1. Bajar temperatura produce 41% de tareas diferentes y bajar top_p 38%, con entropía próxima a 0,94. Las mega-personas genéricas y detalladas se comportan de forma parecida: 46% de diferencias para las genéricas. La persona individual es claramente peor: 91% de tareas diferentes, distancia Jensen–Shannon 0,45, entropía 0,28 y 1,82 opciones únicas frente a 2,59 en mega-persona. Esto prueba que la forma de simulación importa y contradice una lectura de fallo idéntico bajo cualquier configuración.
En las justificaciones abiertas, las simulaciones tienen similitud léxica media cercana a 0,25 y similitud semántica alrededor de 0,70 con las respuestas humanas. Los autores describen patrones de genericidad, elogio excesivo, fijación en elementos aislados, explicaciones largas sin profundidad, inferencias irrelevantes y algunos comentarios que consideran absurdos. Las respuestas cerradas difieren en el 53% de preguntas. La advertencia es plausible, pero la parte cualitativa carece de codebook, número de codificadores, doble codificación, acuerdo, criterio de muestreo, saturación y citas auditables. Las imágenes, respuestas y contenidos de estudio son propietarios, de modo que no puede verificarse si una interpretación era realmente incoherente ni compararla con la calidad de las explicaciones humanas.
La estadística limita varias conclusiones. Las mismas 78 tareas se repiten bajo todas las configuraciones, pero se comparan indicadores binarios con chi-cuadrado sobre 156 observaciones y el anexo ausente se describe como basado en Mann–Whitney para medidas continuas. Son comparaciones pareadas: corresponderían pruebas como McNemar y Wilcoxon pareado, además de un modelo multinivel porque 78 tareas están anidadas en 29 estudios y pueden compartir participantes, prompts y familias de estímulos. Los 78 tests de ajuste por configuración no tienen corrección de multiplicidad ni diagnóstico de celdas esperadas. Por tanto, el porcentaje de resultados significativos mezcla tamaño de efecto, tamaño muestral, número de opciones y falsos positivos. Además, interpretar p>0,05 como prueba de que modelo, temperatura, top_p o especificidad “no afectan” requiere tests de equivalencia, potencia e intervalos que no se presentan.
La incertidumbre generativa tampoco está representada. El baseline se ejecutó tres veces y se afirma que varió poco, pero no se muestran sus valores, semillas ni análisis; después cada configuración se ejecuta una sola vez. Persona individual y mega-persona también difieren en estructura: una conversación por individuo frente a lotes de 20 que pueden condicionarse mutuamente. Esa diferencia confunde tipo de persona con contexto, longitud e independencia de las respuestas. Solo se prueban GPT-4.1 y GPT-5.2, sin snapshot fechado, endpoint, reasoning effort de GPT-5.2, seeds, parámetros de imagen, presupuesto, reintentos o tratamiento de fallos. Por ello el estudio no demuestra que chain-of-thought falle en general ni cubre la diversidad de LLM multimodales.
El uso de estudios reales aporta relevancia ecológica, pero no garantiza validez externa. No se publican marco de muestreo, criterios, fechas, tipos de organización, rechazos, países, idiomas, n por tarea, solapamiento de participantes, control de calidad ni distribuciones. Todos los estudios proceden de clientes que aceptaron participar dentro de una sola plataforma comercial. La heterogeneidad amplía escenarios y también introduce diferencias no controladas de reclutamiento, wording, orden, calidad del estímulo y preguntas. Llamar a las respuestas humanas “ground truth” es aceptable como comparador de su propia tarea, no como verdad universal sobre preferencia humana. “Fallo universal” también es excesivo: el 53% coincide en ganador y el 56% de tareas no presenta diferencia significativa en el baseline.
Hay una cuestión de transparencia institucional. Los tres autores figuran afiliados a UXtweak Research / UXtweak j.s.a.; la empresa facilita los estudios propietarios y recibe agradecimiento por apoyo técnico y experto. Sin embargo, la declaración afirma que no hay intereses financieros o no financieros relevantes. La afiliación está visible, pero empleo, control del acceso a datos y posibles implicaciones para el producto son intereses relevantes que deberían describirse junto con los roles en selección, análisis y publicación. La declaración ética tampoco identifica comité, número de aprobación ni base concreta para reutilización secundaria, y no aclara la diferencia entre consentimiento del propietario del estudio y consentimiento de cada participante.
La reproducibilidad es nula para los resultados. El texto remite el prompt final al Apéndice A y los análisis completos al Apéndice B, pero el PDF y el paquete TeX terminan en referencias: ninguno de los anexos existe. Tampoco hay datos agregados por tarea, outputs sintéticos, prompts, código, scripts estadísticos, API logs o entorno. Las referencias de GPT-4.1 y GPT-5.2 muestran una fecha de consulta 2024-03-24 cronológicamente imposible para la página de GPT-5.2 publicada en diciembre de 2025. La conclusión fiel es doble: el trabajo ofrece evidencia importante de que las muestras sintéticas GPT pueden equivocarse en preferencias visuales concretas y producir una falsa sensación de equilibrio; pero no prueba fallo universal, equivalencia entre moderadores, alta validez externa garantizada ni una teoría general de que los LLM carezcan de razonamiento. La recomendación correcta es no sustituir investigación de usuarios por simulación no validada, manteniendo abierta la evaluación de usos auxiliares con humanos y calibración.