Task-Aware Automated User Profile Generation for Recommendation Simulation Using Large Language Models

Training-free pipeline: three LLM passes extract signals from history, consolidate them for dataset and task, and build counterfactual links between traits and decision steps. The chronological 80% is used for profiles and 20% for discrimination, ranking, and rating across three datasets, five runs, and several models.

Users and interactions from MovieLens-1M, Amazon Books, and Amazon Beauty. There is no user study or direct psychological validation of profiles. APG4RecSim ranked first in 16 of 24 comparisons and second in 7. Under generalization it ranked first in 14 of 24 and second in 7. Popularity alone dominated random negatives and reduced the advantage under bias matching. The system showed descriptive robustness to position and popularity.

Results may exploit parametric memory or global popularity. Profiles are evaluated in isolation from the rest of the agent architecture. There is no real-user experiment. The PDF retains provisional ACM metadata. Counterfactual generation is stochastic and not validated as a psychological construct. It does not demonstrate that the profile represents real identity or personality. It does not validate replacing users in recommender evaluation. It does not fully separate individual preferences from model priors.

Pipeline sin entrenamiento: tres pasadas LLM extraen señales del historial, las consolidan según dataset y tarea y construyen relaciones contrafactuales entre rasgos y pasos de decisión. Se usa el 80% cronológico para el perfil y 20% para evaluar discriminación, ranking y rating en tres datasets, cinco ejecuciones y varios modelos.

Usuarios e interacciones de MovieLens-1M, Amazon Books y Amazon Beauty. No hay estudio con usuarios ni validación psicológica directa de los perfiles. APG4RecSim fue mejor en 16 de 24 comparaciones y segundo en 7. En generalización fue mejor en 14 de 24 y segundo en 7. La popularidad por sí sola dominó negativos aleatorios y redujo la ventaja al emparejar sesgo. El sistema mostró robustez descriptiva a posición y popularidad.

Los resultados pueden aprovechar memoria paramétrica o popularidad global. Los perfiles se evalúan aislados del resto de la arquitectura de agente. No hay experimento con usuarios reales. El PDF conserva metadatos ACM provisionales. La generación contrafactual es estocástica y no se valida como constructo psicológico. No demuestra que el perfil represente identidad o personalidad real. No valida sustitución de usuarios en evaluación de recomendadores. No separa completamente preferencias individuales de priors del modelo.