PerceptUI: LLM Agents as Human-Aligned Synthetic Users for UI/UX Evaluation

PerceptUI predicts answers to UI/UX questions from a screenshot, answer options, and an optional participant profile, and also generates a textual rationale. It uses Qwen3-VL-8B-Instruct with QLoRA. First, GPT-5.5 receives each training example together with the observed human answer and writes a contrastive reflection covering visual evidence, profile relevance, and rejection of alternatives; the student learns to produce that reflection and label. Then, with weights frozen, GPT-5.5 evaluator, analyzer, optimizer, and auditor calls inspect development failures for 24 rounds and select an evolved prompt. Evaluation spans six public benchmarks and UXCar, a proprietary in-vehicle interface survey described only as approximately 500 participants and 30 questions. On WiserUI-Bench, PerceptUI reports 74.25% average and 44.30% order-consistent accuracy; on UIClip it reaches 79.28%. On LabintheWild it reports 43.51% exact accuracy, MAE .88, JSD .092, and rho .658, and on LabintheWild-UX 56.28%, .71, .072, and .703. On UXCar it obtains 62.15% accuracy, macro-F1 55.04, JSD .039, and 3.94/5 rationale quality, versus 48.93%, 39.30, .112, and 2.74 for answer-only SFT. When both question and participant are unseen, accuracy falls from 62.15 to 57.08. The human rationale evaluation samples 120 UXCar instances and assigns three ratings to each rationale: PerceptUI receives 3.91 for UI grounding, 3.74 for persona use, 3.88 for contrastiveness, and 3.94 overall, above the listed models. However, the repeated claim of human-level realism or performance is not operationalized. That table has no human rationale baseline, while the separate UICrit benchmark shows human designers clearly ahead: quality .75 and rank 1.5 versus PerceptUI .54 and 2.7. Predicting human labels better than other models is not evidence of human cognition. Training reflections are post-hoc: the teacher sees the recorded answer before justifying it, and no participant explanations exist against which to verify causal reasons. UXCar carries the persona, calibration, ablation, and generalization claims, but the survey, data, demographic distribution, recruitment, consent, ethics, exclusions, missing-data treatment, and exact split units are not published. The paper says examples are divided into training, development, and test sets but gives no sizes and does not establish whether the same participant, screenshot, or question crosses partitions; construction of unseen conditions is also undocumented. It is unclear whether one joint model or separate dataset-specific models are trained, and training sizes, mixture weights, and rationale counts are absent. Calibration has a further technical gap: the equations and soft aggregation require a full answer distribution, while disclosed prompts request text, one answer, and at most verbal confidence; token scoring, normalization, constrained decoding, and calibration are not explained. One curve and JS divergence do not establish general or subgroup calibration. The human study does not report the number of unique annotators, their identity or expertise, recruitment, compensation, exclusions, allocation, inter-rater reliability, dispersion, intervals, or tests for 32 mean comparisons; the appendix calls ratings expert-rated without defining expertise. Comparisons also mix budgets: PerceptUI uses supervised data, a GPT-5.5 teacher, auxiliary summaries, three paraphrases, 24 development-optimization rounds, and an LLM audit, while several references are zero-shot or values inherited from their original benchmarks. The three declared seeds are not exposed as per-seed results or uncertainty. Full prompts, including dataset-specific formats and the final evolved prompt, are expressly omitted. Code, weights, UXCar, splits, outputs, probabilities, annotations, and analysis scripts are also unavailable; exact-title and identifier searches found no official artifact. The defensible contribution is a promising supervised static-screening pipeline combining rationale distillation and prompt optimization, with reported improvements on several protocols. It does not demonstrate synthetic humans, cognitive causes, reproducibly calibrated probability, interactive generalization, absence of demographic shortcuts, or safety. It should complement rather than replace validation with real users, a boundary the paper's own discussion and ethics statement ultimately acknowledge.

PerceptUI es un sistema para predecir respuestas a preguntas UI/UX a partir de una captura, opciones y, cuando existe, un perfil de participante; además genera una justificación textual. Usa Qwen3-VL-8B-Instruct con QLoRA. Primero GPT-5.5 recibe cada ejemplo de entrenamiento junto con la respuesta humana observada y redacta una reflexión contrastiva sobre evidencia visual, relevancia del perfil y descarte de alternativas; el estudiante aprende a producir esa reflexión y la etiqueta. Después, con los pesos congelados, evaluador, analizador, optimizador y auditor GPT-5.5 revisan errores de desarrollo durante 24 rondas y seleccionan un prompt evolucionado. Se evalúa en seis benchmarks públicos y UXCar, una encuesta propietaria de interfaces de vehículo descrita solo como aproximadamente 500 participantes y 30 preguntas. En WiserUI-Bench, PerceptUI informa 74,25% de exactitud media y 44,30% de consistencia frente al orden; en UIClip alcanza 79,28%. En LabintheWild informa 43,51% de coincidencia exacta, MAE 0,88, JSD 0,092 y rho 0,658, y en LabintheWild-UX 56,28%, 0,71, 0,072 y 0,703. En UXCar obtiene 62,15% de exactitud, macro-F1 55,04, JSD 0,039 y 3,94/5 en calidad de explicación, frente a 48,93%, 39,30, 0,112 y 2,74 para SFT de solo respuesta. Cuando pregunta y participante son desconocidos, la exactitud baja de 62,15 a 57,08. La evaluación humana toma 120 instancias UXCar y asigna tres anotaciones a cada rationale: PerceptUI recibe 3,91 en anclaje visual, 3,74 en uso de persona, 3,88 en contraste y 3,94 global, por encima de los modelos listados. Sin embargo, la afirmación repetida de «realismo» o «rendimiento de nivel humano» no está operacionalizada. Esa tabla no contiene racionales humanas y el benchmark UICrit sí muestra a diseñadores humanos claramente por delante: calidad 0,75 y rango 1,5 frente a 0,54 y 2,7. Predecir etiquetas humanas mejor que otros modelos no equivale a simular cognición humana. Las reflexiones de entrenamiento son post hoc: el profesor ve la respuesta registrada antes de justificarla, y no existen explicaciones de los participantes con las que verificar motivos causales. UXCar sostiene las afirmaciones de persona, calibración, ablación y generalización, pero no se publican encuesta, datos, distribución demográfica, reclutamiento, consentimiento, ética, exclusiones, tratamiento de ausencias ni unidades exactas de partición. El paper dice separar ejemplos en entrenamiento, desarrollo y prueba, pero no da tamaños ni aclara si un mismo participante, screenshot o pregunta puede aparecer en más de una partición; tampoco documenta la construcción de las condiciones unseen. No queda claro si se entrena un único modelo conjunto o uno por dataset, ni los tamaños, pesos de muestreo o número de racionales. La calibración tiene además un vacío técnico: las ecuaciones y el promedio blando requieren una distribución completa sobre respuestas, mientras los prompts publicados piden texto, una respuesta y como máximo confianza verbal; no se explica scoring de tokens, normalización, decodificación restringida ni calibración. Una curva y JSD no establecen calibración general o por subgrupos. El estudio humano no informa cuántos anotadores únicos participaron, quiénes eran, captación, compensación, exclusiones, asignación, fiabilidad entre jueces, dispersión, intervalos o pruebas para 32 comparaciones de medias; el apéndice los llama «expertos» sin definir experiencia. Las comparaciones también mezclan presupuestos: PerceptUI usa datos supervisados, profesor GPT-5.5, resúmenes auxiliares, tres paráfrasis, 24 rondas de ajuste en desarrollo y auditor LLM, mientras varias referencias son zero-shot o cifras heredadas de sus benchmarks. Los tres seeds declarados no aparecen como resultados por seed ni con incertidumbre. Los prompts completos, incluidos formatos específicos de dataset y el prompt final evolucionado, se omiten expresamente. Tampoco se publican código, pesos, UXCar, splits, salidas, probabilidades, anotaciones o scripts; búsquedas por título e identificador no localizaron un artefacto oficial. La contribución defendible es una canalización supervisada prometedora para cribado temprano de capturas que combina distilación de justificaciones y optimización de prompt, con mejoras reportadas en varios protocolos. No demuestra usuarios humanos sintéticos, causas cognitivas, probabilidad calibrada reproducible, generalización interactiva, ausencia de atajos demográficos ni seguridad. Debe complementar y no sustituir validación con usuarios reales, límite que la propia discusión y la declaración ética finalmente reconocen.