Task-Aware Automated User Profile Generation for Recommendation Simulation Using Large Language Models

Personas, identidad y agentes2026arXivRevisión editorial aprobada

Autores: Xinye Wanyan, Chenglong Ma, Danula Hettiachchi, Ziqi Xu, Jeffrey Chan

Palabras clave: Persona fidelity, User simulation, Multi-turn dialogue

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

5
Autores
4
Hallazgos
5
Limitaciones
3
Evidencias

Resumen editorial

Español

Pipeline sin entrenamiento: tres pasadas LLM extraen señales del historial, las consolidan según dataset y tarea y construyen relaciones contrafactuales entre rasgos y pasos de decisión. Se usa el 80% cronológico para el perfil y 20% para evaluar discriminación, ranking y rating en tres datasets, cinco ejecuciones y varios modelos.

Usuarios e interacciones de MovieLens-1M, Amazon Books y Amazon Beauty. No hay estudio con usuarios ni validación psicológica directa de los perfiles. APG4RecSim fue mejor en 16 de 24 comparaciones y segundo en 7. En generalización fue mejor en 14 de 24 y segundo en 7. La popularidad por sí sola dominó negativos aleatorios y redujo la ventaja al emparejar sesgo. El sistema mostró robustez descriptiva a posición y popularidad.

Los resultados pueden aprovechar memoria paramétrica o popularidad global. Los perfiles se evalúan aislados del resto de la arquitectura de agente. No hay experimento con usuarios reales. El PDF conserva metadatos ACM provisionales. La generación contrafactual es estocástica y no se valida como constructo psicológico. No demuestra que el perfil represente identidad o personalidad real. No valida sustitución de usuarios en evaluación de recomendadores. No separa completamente preferencias individuales de priors del modelo.

English

Training-free pipeline: three LLM passes extract signals from history, consolidate them for dataset and task, and build counterfactual links between traits and decision steps. The chronological 80% is used for profiles and 20% for discrimination, ranking, and rating across three datasets, five runs, and several models.

Users and interactions from MovieLens-1M, Amazon Books, and Amazon Beauty. There is no user study or direct psychological validation of profiles. APG4RecSim ranked first in 16 of 24 comparisons and second in 7. Under generalization it ranked first in 14 of 24 and second in 7. Popularity alone dominated random negatives and reduced the advantage under bias matching. The system showed descriptive robustness to position and popularity.

Results may exploit parametric memory or global popularity. Profiles are evaluated in isolation from the rest of the agent architecture. There is no real-user experiment. The PDF retains provisional ACM metadata. Counterfactual generation is stochastic and not validated as a psychological construct. It does not demonstrate that the profile represents real identity or personality. It does not validate replacing users in recommender evaluation. It does not fully separate individual preferences from model priors.

Pregunta de investigación

¿Pueden perfiles generados automáticamente desde historiales mejorar la simulación de decisiones de recomendación frente a perfiles manuales o baselines de memoria reciente?

Método

Pipeline sin entrenamiento: tres pasadas LLM extraen señales del historial, las consolidan según dataset y tarea y construyen relaciones contrafactuales entre rasgos y pasos de decisión. Se usa el 80% cronológico para el perfil y 20% para evaluar discriminación, ranking y rating en tres datasets, cinco ejecuciones y varios modelos.

Muestra: Usuarios e interacciones de MovieLens-1M, Amazon Books y Amazon Beauty. No hay estudio con usuarios ni validación psicológica directa de los perfiles.

Hallazgos

  • APG4RecSim fue mejor en 16 de 24 comparaciones y segundo en 7.
  • En generalización fue mejor en 14 de 24 y segundo en 7.
  • La popularidad por sí sola dominó negativos aleatorios y redujo la ventaja al emparejar sesgo.
  • El sistema mostró robustez descriptiva a posición y popularidad.

Limitaciones

  • Los resultados pueden aprovechar memoria paramétrica o popularidad global.
  • Los perfiles se evalúan aislados del resto de la arquitectura de agente.
  • No hay experimento con usuarios reales.
  • El PDF conserva metadatos ACM provisionales.
  • La generación contrafactual es estocástica y no se valida como constructo psicológico.

Qué no demuestra

  • No demuestra que el perfil represente identidad o personalidad real.
  • No valida sustitución de usuarios en evaluación de recomendadores.
  • No separa completamente preferencias individuales de priors del modelo.

Trazabilidad

Alcance: Texto completo

Versión: arxiv; 11-page full text reviewed 2026-07-18

Fuente consultada: https://arxiv.org/abs/2605.13497

Revisión: Codex full-text and visual 11-page methodological, statistical and claim-boundary review, 2026-07-18

Aprobación: Codex fidelity pass, 2026-07-18

Modelos evaluados

  • GPT-4o-mini
  • Llama-3.3-70B
  • GPT-5.1
  • DeepSeek-V3.2

Instrumentos y métricas

  • APG4RecSim
  • nDCG
  • Hit rate
  • RMSE
  • JSD

Datos utilizados

  • MovieLens-1M
  • Amazon Books
  • Amazon Beauty

Evidencia y localización

  • Pregunta, método, resultados y discusión: Texto completo, pp. 1-11, revisado visualmente el 18/07/2026
  • Cifras, tablas, figuras y límites: PDF primario sha256 d7f1ee24f475be82970c4f715fdbf131766e6f284b8c64c3c6d27331ec0be6f6; secciones de método, resultados, limitaciones y apéndices
  • Decisión editorial y frontera de afirmaciones: Ficha crítica article-410, contraste integral de 11 páginas