EpiPersona: Persona Projection and Episode Coupling for Pluralistic Preference Modeling

Pregunta de investigación

Si una representación discreta aprendida del historial de preferencias, separada conceptualmente del episodio actual y después acoplada a él, mejora la predicción de la respuesta que escogerá un usuario nuevo frente a resúmenes textuales, recuperación y modelos de recompensa personalizados existentes.

Método

Dos variantes con LoRA sobre Llama: EpiPersona-A codifica cada comparación histórica, la cuantiza en un codebook de persona, agrega los códigos, genera mediante destilación de Qwen-2.5-72B un JSON de preferencias y pide a GPT-OSS-120B o Llama-3.3-70B que juzgue dos respuestas. EpiPersona-B combina la representación latente, el episodio y cada respuesta en un modelo Bradley-Terry con Llama-3.2-3B o Llama-3.1-8B. Evalúa accuracy, permuta el orden de candidatos en A y añade ablaciones y análisis exploratorios de similitud, cantidad de historial y ventana.

Muestra: Arena: 131 usuarios y 1.338 pares; train 23 usuarios con 202 históricos/103 actuales, validación 19 con 155/80 y test 89 con 514/284. PRISM: 723 usuarios y 16.705 pares; train 280 con 4.192/2.177, validación 65 con 973/514 y test 378 con 5.816/3.033. En Task A cada par actual se juzga en los dos órdenes, duplicando observaciones pero no pares independientes. Los usuarios de test son nuevos para el entrenamiento, aunque su propio historial sí se entrega al sistema.

Hallazgos

• EpiPersona-A alcanza 59,38%/59,15% en PRISM y 66,07%/65,01% en Arena con los dos jueces; es máximo en cuatro columnas.
• Frente al mejor baseline de cada columna, la ventaja de A es solo 1,90, 1,48, 1,18 y 0,62 puntos; el aproximadamente 3-3,6% del texto compara selectivamente con PersonalLLM.
• EpiPersona-B obtiene 59,60%/58,54% en PRISM y 59,57%/57,45% en Arena; PAL alcanza 60,56% en Arena-3B y lo supera en esa columna.
• Eliminar VQ o el encoder reduce A entre 1,39 y 3,41 puntos, pero los intervalos se solapan y no hay test pareado ni distribución por seeds.
• Figure 3A muestra pendientes delta-y/delta-x de 0,043, 0,178 y 0,144; el texto las llama incorrectamente caídas absolutas de rendimiento.
• Los conteos publicados coinciden exactamente con los tamaños de las particiones oficiales de los datasets derivados en Hugging Face.

Limitaciones

• Los códigos se entrenan para predecir elecciones; no se validan contra rasgos, valores, identidad, estabilidad temporal o medidas externas.
• No hay prueba de disentanglement, leakage de episodio, semántica, utilización o colapso del codebook, invariancia o contrafactuales.
• Aunque el codebook no tiene ejes nombrados, la destilación impone persona, value, identification, style e intent y el prompt ordena inferir estabilidad desde una comparación.
• No hay análisis por minoría, país, cultura, demografía, worst group o equidad; la retórica de minorías no se contrasta.
• Predecir una elección entre respuestas existentes no evalúa generación alineada, bienestar, seguridad o resolución de preferencias colectivas.
• Unseen user significa usuario no usado en entrenamiento pero con historial propio en inferencia; no es generalización sin datos del individuo.
• La baja similitud Qwen3 es un corte exploratorio post hoc, no un shift temporal, causal o externo.
• Los valores más/menos reproducen intervalos binomiales ingenuos que cuentan las dos permutaciones y múltiples pares del mismo usuario como independientes.
• Las tablas llaman a los mismos valores desviaciones estándar e intervalos de confianza del 95%, dos conceptos incompatibles.
• No hay tests pareados, bootstrap por usuario, modelo jerárquico ni incertidumbre de la diferencia entre métodos.
• La figura reporta pendientes de accuracy respecto a similitud, pero la prosa las presenta como caídas de accuracy.
• Los análisis de sparsity y ventana carecen de denominadores exactos, tests y baselines completos; no se explica una ventana de hasta 60 con historiales Arena mayoritariamente cortos.
• Las ecuaciones principales de EpiPersona-B omiten el episodio e, mientras el algoritmo del apéndice sí lo incluye.
• Faltan optimizer, epochs/early stopping, seeds, número de runs, checkpoints exactos, EMA, K-means, construcción de ventanas, selección de checkpoint y configuración de destilación.
• No hay repo, código, checkpoints, outputs, perfiles generados, códigos latentes, entorno ni pipeline EpiPersona; la liberación se promete en futuro.
• Los datasets derivados están abiertos y verificables, pero sus cards solo contienen esquema/tamaño y no documentan licencia o acuerdo de uso.
• El paper reconoce privacidad, inferencia sensible, manipulación y vigilancia, pero no evalúa ataques de atributos, estereotipos, fairness, borrado o mitigaciones.

Qué no demuestra

• No demuestra que los códigos latentes representen personalidad estable ni que separen semánticamente persona y episodio.
• No establece una mejora estadísticamente fiable sobre los baselines: las diferencias son pequeñas y la dependencia se ignora.
• No prueba que EpiPersona-B sea siempre superior; PAL gana en Arena con 3B.
• No demuestra beneficio para minorías, equidad demográfica o alineamiento pluralista colectivo.
• No prueba generalización sin historial del nuevo usuario ni ante distribución temporal o externa.
• No evalúa un asistente generativo alineado, utilidad, seguridad o bienestar en despliegue.
• No permite reproducir entrenamiento y resultados de EpiPersona desde artefactos públicos.
• No convierte las pendientes 0,043/0,178/0,144 en caídas absolutas de accuracy; esa lectura del texto es incorrecta.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2603.28197v1

Fuente consultada: https://arxiv.org/abs/2603.28197v1

Revisión: Codex 20-page visual full-text, official arXiv metadata, upstream SynthesizeMe code, Hugging Face split, construct, statistical, minority-claim, ethics and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

• EpiPersona-A
• EpiPersona-B
• Llama-3.1-8B
• Llama-3.2-3B
• Llama-3.3-70B-Instruct
• GPT-OSS-120B
• Qwen-2.5-72B
• Qwen3-Embedding

Instrumentos y métricas

• Predicción de preferencia entre pares
• LLM-as-a-judge con permutación de orden
• Accuracy micro por comparación
• Ablaciones de VQ y encoder
• Similitud episodio-historial con Qwen3-Embedding
• Análisis exploratorio de cantidad de feedback y ventana

Datos utilizados

• MichaelR207/chatbot_arena_personalized_0125, derivado de Chatbot Arena para SynthesizeMe
• MichaelR207/prism_personalized_0125, derivado de PRISM para SynthesizeMe

Evidencia y localización

• Arquitectura, supuestos de persona estable, VQ y coupling: arXiv v1, pp. 1-5 and Appendix Algorithms 1-2
• Resultados Task A/B, ablation, similitud, sparsity y window: arXiv v1, pp. 6-8, Tables 1-3, Figure 3; Appendix Figure 6
• Particiones y tamaños por usuario/histórico-actual: arXiv v1, p. 12, Table 4; official Hugging Face dataset size endpoints inspected 2026-07-17
• Parámetros de entrenamiento, codebooks y pretraining Prism-Arena: arXiv v1, p. 13, Appendix A.5
• Ontología fija y prompts de inferencia estable/dinámica: arXiv v1, pp. 15-20, all six prompts visually inspected
• Disponibilidad del split heredado y ausencia de implementación EpiPersona: Official SALT-NLP/SynthesizeMe repository, MichaelR207 Hugging Face dataset metadata and official GitHub repository search inspected 2026-07-17
• Auditoría integral de constructo, estadística, minorías, artefactos y ética: reports/verification/article-380-epipersona-disentanglement-minority-generalization-statistics-artifacts-and-ethics-audit.json