Step-Level Preference Learning for Generative Agents in Social Simulations

Eight engineers use SimPref for four weeks to choose among three GPT-4o candidates in six modules. The study collects 57,239 pairs, trains Qwen2.5-7B/14B and Llama-3.1-8B with SFT and DPO, and evaluates ten held-out events with three three-day episodes and GPT-5.2 and DeepSeek-3.2 judges.

Eight annotators, 30 training events, and 10 held-out events with four to eight agents. Each step has one human label and there is no overlap for estimating agreement. GPT-4o top-1 agreement with humans ranged from 29.3% to 51.4% by module. SFT produced the largest gains; DPO added smaller and uneven gains. For Qwen-14B, behavioral KL to the human reference fell from .610 to .084. Idleness fell from 31% to 22% and coordination rose from 8% to 36% in one reported contrast.

Each step is labeled by one person. The distribution is dominated by two modules. Evaluation depends on two LLM judges. No statistical inference for differences is reported. General-capability retention and transfer to other environments are not tested. It does not validate that agents simulate real people. It does not demonstrate representativeness of eight engineers preferences. It does not isolate DPO as the primary cause of improvement.

Ocho ingenieros usan SimPref durante cuatro semanas para elegir entre tres candidatos generados por GPT-4o en seis módulos. Se reúnen 57.239 pares, se entrenan Qwen2.5-7B/14B y Llama-3.1-8B mediante SFT y DPO, y se evalúan diez eventos retenidos con tres episodios de tres días y jueces GPT-5.2 y DeepSeek-3.2.

Ocho anotadores, 30 eventos de entrenamiento y 10 eventos retenidos con cuatro a ocho agentes. Cada paso tiene una sola etiqueta humana y no existe solapamiento para estimar acuerdo. El top-1 de GPT-4o coincidió con humanos entre 29,3% y 51,4% según módulo. SFT produjo las mayores mejoras; DPO añadió ganancias menores e irregulares. En Qwen-14B, el KL de conducta respecto a referencia humana bajó de .610 a .084. La inactividad descendió de 31% a 22% y la coordinación de 8% a 36% en un contraste reportado.

Cada paso lo etiqueta una sola persona. La distribución está dominada por dos módulos. La evaluación depende de dos jueces LLM. No se reporta inferencia estadística de las diferencias. No se comprueba retención de capacidades generales ni transferencia a otros entornos. No valida que los agentes simulen personas reales. No demuestra representatividad de las preferencias de ocho ingenieros. No aísla DPO como causa principal de la mejora.