Synthetic Personality Review

SalesSim: Benchmarking and Aligning Multimodal Language Models as Retail User Simulators

Aplicaciones, sesgos y seguridad2026arXivRevisión editorial aprobada

Autores: Yada Pruksachatkun, Elaine Wan, Lyanna Chen, Kai-Wei Chang, Chien-Sheng Wu

Palabras clave: Retail user simulation, Multimodal agents, Synthetic shopper personas, Persona adherence, Decision alignment, Tool-augmented dialogue, UserGRPO, Trajectory-level reinforcement learning, Conversational fidelity, Product constraint grounding

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

5
Autores
8
Hallazgos
18
Limitaciones
3
Evidencias

Resumen editorial

Español

SalesSim evalúa si modelos multimodales que actúan como compradores respetan perfiles, preferencias y restricciones explícitas en conversaciones de venta con herramientas. Reúne 674 personas sintéticas y 274 productos de seis categorías; seis backbones obtienen entre 0,324 y 0,786 de Decision Alignment, una métrica de compra o rechazo respecto a un conjunto predefinido de productos aceptables. UserGRPO se entrena una sola vez sobre Qwen3-VL-8B y ropa femenina; en cinco categorías no vistas alcanza 0,655 frente a 0,490 del baseline recalculado sobre esas mismas categorías (+16,5 puntos). El 13,8% del abstract mezcla el overall base de seis categorías con el de UserGRPO de cinco y en realidad expresa puntos absolutos. El resultado apoya una mejora en cumplimiento de restricciones sintéticas y uso de herramientas, no una simulación humana realista: no hay validación con decisiones humanas, las métricas conversacionales usan un corpus no emparejado, faltan tests estadísticos y detalles centrales de recompensa, existen denominadores/versiones inconsistentes y no se publican código, datos, outputs ni checkpoints.

English

SalesSim evaluates whether multimodal models acting as shoppers follow explicit profiles, preferences and constraints in tool-augmented sales conversations. It contains 674 synthetic personas and 274 products across six categories; six backbones score from 0.324 to 0.786 on Decision Alignment, a purchase-or-reject metric against a predefined acceptable-product set. UserGRPO is trained once on Qwen3-VL-8B and female clothing; on five unseen categories it reaches 0.655 versus a recalculated 0.490 base mean on those same categories (+16.5 points). The abstract’s 13.8% mixes the six-category base overall with the five-category UserGRPO overall and is actually an absolute-point difference. The evidence supports improved compliance with synthetic constraints and tool use, not realistic human simulation: no human purchasing decisions validate the benchmark, conversational metrics use an unmatched corpus, statistical tests and central reward details are missing, denominators/data versions conflict, and no code, data, outputs or checkpoints are released. Its strongest contribution is therefore a controlled synthetic benchmark result whose external validity remains an open empirical question.

Pregunta de investigación

¿Hasta qué punto los MLLM pueden simular compradores que mantengan restricciones explícitas de persona durante una interacción multimodal y multi-turno, y puede una recompensa de trayectoria multiobjetivo mejorar su decisión final, protocolo de herramientas y parecido conversacional con un corpus humano?

Método

SalesSim empareja un shopper MLLM con un vendedor fijo GPT-5.4 que recupera guías y productos. Las personas sintéticas incluyen background, preferencias, dealbreakers y un conjunto de productos aceptables. Decision Alignment puntúa compras aceptables o rechazo cuando ninguna recomendación es aceptable; se añaden errores de herramienta y tres proxies conversacionales comparados con 515 diálogos RecQuest. Se prueban dos modelos cerrados y cuatro abiertos con decodificación distinta. UserGRPO ajusta mediante LoRA un Qwen3-VL-8B durante 200 pasos sobre ropa femenina con una recompensa de seis componentes y se compara con prompting humano y SFT. Esta revisión inspeccionó las 24 páginas, todo el TeX, tablas, prompts, transcripciones, aritmética, fuentes de datos y disponibilidad de artefactos.

Muestra: El manuscrito reporta 674 pares persona-categoría: 73 ropa femenina, 77 ropa masculina, 147 anillos, 83 smart watches, 147 coches y 147 juegos, junto con 274 productos. Se evalúan seis backbones. UserGRPO y SFT se entrenan sólo en ropa femenina y se reportan en cinco categorías no vistas; el texto menciona ocho rollouts por item de entrenamiento, pero no informa el número exacto de trayectorias evaluadas, exclusiones ni unidad de independencia.

Hallazgos

  • Decision Alignment base: GLM-Thinking 0,324; GLM-Reasoning 0,443; Qwen 0,517; Gemini 0,539; Gemma3 0,592; ChatGPT-5.4 0,743; Gemma4 0,786.
  • UserGRPO obtiene 0,632, 0,513, 0,578, 0,803 y 0,748 en ropa masculina, anillos, smart watch, coches y juegos.
  • Sobre esas cinco categorías comunes, Qwen base promedia 0,4898 y UserGRPO 0,6548: +16,5 puntos.
  • El +13,8 del abstract es 0,655−0,517 y mezcla cinco categorías entrenadas con seis del baseline; además son puntos, no un 13,8% relativo.
  • SFT mejora cuatro de las cinco categorías comunes y el macro promedio de 0,4898 a 0,5272; es inferior a UserGRPO, pero no fracasa en generalizar de forma absoluta.
  • UserGRPO reporta 0% de terminación prematura y 1,64% de error de formato en las cinco categorías no vistas.
  • Gemma4 es el mejor baseline del benchmark con 0,786; UserGRPO no supera ese resultado global.
  • El entorno evidencia cumplimiento de restricciones explícitas, no fidelidad predictiva respecto a compradores humanos.

Limitaciones

  • Ground truth sintético sin protocolo completo, doble anotación, acuerdo ni QA exhaustivo de 674 personas y 274 productos.
  • Decision Alignment depende también de qué productos recupera y recomienda el vendedor GPT-5.4.
  • No métrica controlada de persuasión pese a afirmar susceptibilidad a sugerencias.
  • Sin ablation text-only; no se aísla la contribución de imágenes o multimodalidad.
  • Temperatura 0,7 y penalty 1,1 en modelos abiertos frente a temperatura 1,0 en cerrados; ICL sólo explicitado para abiertos.
  • Checkpoints/API revisions no fijados y nombres GLM/Gemma/Qwen inconsistentes entre texto y tablas.
  • Sin intervalos, tests, semillas repetidas o análisis jerárquico; “significantly” no tiene prueba estadística.
  • Overall base de seis categorías comparado con overall entrenado de cinco.
  • Rates de Smart Watch revelan denominadores 89 y 83 aunque la tabla de personas fija 83, señal de snapshots/exclusiones no explicados.
  • El apéndice dice siete categorías, mientras el benchmark final contiene seis y conserva laptops comentado.
  • El baseline humano RecQuest no está emparejado con catálogos, restricciones, imágenes ni protocolo SalesSim.
  • No se publica la media humana de criterios iniciales ni cómo se extraen criterios y completitud gramatical.
  • El delta de completitud UserGRPO es -0,089 en TeX comentado, pero la tabla publicada elimina el signo y muestra 0,09.
  • Recompensa y evaluación reutilizan el mismo ground truth de decisión y proxies relacionados con RecQuest.
  • Pesos, normalización, prompt/escala del juez, clasificador n-gram, targets de longitud y parámetros GRPO ausentes; el TeX conserva un TODO.
  • Un solo backbone, categoría de entrenamiento y run; sin ablation real de los seis rewards.
  • Fuentes comerciales e imágenes sin URLs, fechas, licencias o permisos; no se presupone infracción, pero no puede evaluarse redistribución.
  • No hay repositorio, dataset, entorno, transcripciones, métricas ejecutables, adaptador ni checkpoint público.

Qué no demuestra

  • Realismo de compradores o validez predictiva de decisiones humanas.
  • Representatividad de consumidores estadounidenses o prevención de sesgos distributivos.
  • Conclusiones económicas, sociotécnicas o de mercado a partir de estas personas.
  • Que los modelos sean persuadidos causalmente por un vendedor.
  • Que las imágenes mejoren la simulación o se usen en la decisión.
  • Comparación controlada entre modelos cerrados y abiertos.
  • Mejora relativa válida del 13,8% sobre un mismo conjunto.
  • Necesidad de GRPO frente a los rewards, datos y proxies concretos utilizados.
  • Generalización del entrenamiento a otras familias, escalas, vendedores o tareas.
  • Fluidez o naturalidad humana por reducir completitud gramatical y TF-IDF.
  • Licencia redistribuible del inventario y las imágenes.
  • Reproducción independiente.
  • Aceptación en NeurIPS, COLM u otra conferencia.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2605.08334v1; 24-page PDF and complete TeX package

Fuente consultada: https://arxiv.org/abs/2605.08334v1

Revisión: Codex 24-page visual full-text, complete TeX, persona-ground-truth, metric, denominator, human-baseline, GRPO, statistics, data-license and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • ChatGPT-5.4 shopper and fixed sales agent
  • Gemini-3-Flash
  • Gemma3-12B-Instruct
  • Gemma4-31B-Instruct
  • Qwen3-VL-8B
  • GLM-4.6V-Flash (9B)
  • GPT-4o for persona rewriting/validation

Instrumentos y métricas

  • SalesSim dual-agent retail environment
  • Precomputed acceptable-product sets
  • Decision Alignment
  • Premature termination rate
  • Tool/action format error rate
  • First-turn criteria count
  • Sentence-completeness gap
  • Within-category TF-IDF redundancy gap
  • GPT-5.4 reasoning-quality judge
  • N-gram human-vs-model linguistic discriminator
  • UserGRPO trajectory reward

Datos utilizados

  • SalesSim (not publicly released at audit time)
  • Nemotron-Personas-USA
  • Amazon Product Review Dataset
  • RecQuest/CRS: 515 human shopper-AI recommendation dialogues
  • Unspecified retailer, boutique, manufacturer and automaker listings

Evidencia y localización

  • Texto, tablas, prompts, transcripciones, fuentes y limitaciones: arXiv:2605.08334v1; PDF sha256 60f99da3379eef7e847652512bffce23b838ac300dd4f57333dd44c18c758b65; main TeX sha256 a203cd4e5e3fb7cef571d5a614c01ca86787e7cee012fec24ec55ae74e923ea9
  • Código, dataset, checkpoint y página oficial no encontrados: arXiv source package plus exact-title, Salesforce Research, GitHub and Hugging Face searches on 2026-07-17
  • Recalculos, denominadores, métricas humanas, reward overlap, gobernanza y reproducibilidad: reports/verification/article-345-salessim-persona-ground-truth-metric-denominator-human-baseline-grpo-statistics-data-license-and-reproducibility-audit.json