Can Persona-Prompted LLMs Emulate Subgroup Values? An Empirical Analysis of Generalisability and Fairness in Cultural Alignment

Sociedad, cultura y comportamiento colectivo2026arXivRevisión editorial aprobada

Autores: Bryan Chen Zhengyu Tan, Zhengyuan Liu, Xiaoyuan Yi, Jing Yao, Xing Xie, Nancy F. Chen, Roy Ka-Wei Lee

Palabras clave: Persona conditioning, Safety and bias

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

7
Autores
9
Hallazgos
17
Limitaciones
5
Evidencias

Resumen editorial

Español

Tan y colaboradores estudian si un LLM puede predecir el valor modal de subgrupos demográficos de Singapur. Parten de 2.012 participantes de WVS Wave 7, conservan 214 preguntas y forman etiquetas agregadas por sexo, edad, etnia, religión y algunas intersecciones. Siete modelos abiertos reciben un epoch de LoRA para responder con la opción numérica más frecuente de cada subgrupo. En intersecciones reservadas de edad-religión, edad-etnia y etnia-religión, la exactitud media sube de 0,450 a 0,624 y NMAE baja de 0,269 a 0,173. La transferencia a texto libre frente a GPT-4.1 es mucho menor y desigual: +2,2 puntos de win rate en alineación de valor, +1,1 global y -0,6 en persona; varios intervalos incluyen cero y Phi-4-mini empeora. Tres anotadores respaldan mejor al juez automático en valor que en autenticidad de persona. La equidad depende de la métrica: la disparidad media baja con exactitud, pero aumenta con error ordinal. Este es un holdout de combinaciones demográficas, no de preguntas, personas ni culturas: las mismas 214 preguntas, categorías y 2.012 encuestados alimentan train y evaluación. La moda borra distribución y voces minoritarias, no hay baseline estadístico simple ni repeticiones de entrenamiento, el bootstrap ignora agrupación, y el texto discrepa entre 20.877 y 22.837 pares. No se publican código, datos derivados, outputs ni anotaciones; WVS prohíbe redistribuir sus ficheros, pero faltan también receta, versión/DOI oficial y artefactos reproducibles. El trabajo demuestra transferencia conductual dentro de una ontología fija, no valores individuales, autenticidad cultural ni una representación interna de persona.

English

Tan and colleagues study whether an LLM can predict the modal value of demographic subgroups in Singapore. They start from 2,012 WVS Wave 7 participants, retain 214 questions and build aggregate labels by sex, age, ethnicity, religion and selected intersections. Seven open models receive one epoch of LoRA training to output each subgroup's most frequent numerical option. On held-out age-religion, age-ethnicity and ethnicity-religion intersections, mean accuracy rises from 0.450 to 0.624 and NMAE falls from 0.269 to 0.173. Transfer to free text against GPT-4.1 is much smaller and heterogeneous: +2.2 win-rate points for value alignment, +1.1 overall and -0.6 for persona; several intervals include zero and Phi-4-mini worsens. Three annotators support the automatic judge more strongly for value than for persona authenticity. Fairness conclusions depend on the metric: average disparity falls under exact accuracy but rises under ordinal error. This is a holdout of demographic combinations, not questions, people or cultures: the same 214 questions, category levels and 2,012 respondents feed training and evaluation. Modal labels erase distributions and minority views, there is no simple statistical baseline or repeated training, the bootstrap ignores clustering, and the text disagrees between 20,877 and 22,837 pairs. No code, derived data, outputs or annotations are released; WVS prohibits redistribution of its files, but the execution recipe, official version/DOI and reproducibility artifacts are also missing. The study shows behavioral transfer within a fixed ontology, not individual values, cultural authenticity or an internal persona representation.

Pregunta de investigación

¿Puede el ajuste supervisado con respuestas modales de subgrupos enseñar a varios LLM a predecir valores de intersecciones demográficas no incluidas en entrenamiento y transferir esa conducta a texto abierto sin agravar disparidades?

Método

El estudio filtra la muestra de Singapur de WVS Wave 7 a 214 preguntas y define como objetivo la opción numérica modal de cada subgrupo con al menos 30 encuestados. Entrena siete LLM abiertos con LoRA durante un epoch en 50 subgrupos de ejes individuales y cruces con sexo, y evalúa 48 intersecciones reservadas de edad, etnia y religión. Mide exactitud y NMAE; para texto abierto, Mistral-Small-3.1-24B compara cada respuesta con GPT-4.1 en persona, valor y calidad global. Calcula rango normalizado y coeficiente de variación entre subgrupos, usa bootstrap pareado por par pregunta-subgrupo y valida al juez con tres anotadores sobre 100 comparaciones.

Muestra: La fuente primaria son 2.012 encuestados de Singapur. El dataset modelado declara 10.700 pares para 50 subgrupos de entrenamiento y 10.177 para 48 subgrupos de evaluación, 20.877 en total. Las filas no son personas independientes: cada respuesta individual contribuye a múltiples subgrupos solapados y cada una de las 214 preguntas reaparece entre subgrupos. La validación del juez usa tres anotadores singapurenses o residentes de al menos cinco años sobre 100 comparaciones.

Hallazgos

  • En el holdout de intersecciones, la media de siete modelos abiertos pasa de 0,450 a 0,624 en exactitud y de 0,269 a 0,173 en NMAE; Sailor2-8B logra el mayor salto, de 0,356 a 0,720.
  • Los intervalos bootstrap por par excluyen cero para las siete mejoras de exactitud, bajo una remuestra que no agrupa por pregunta, subgrupo ni encuestados solapados.
  • En texto abierto contra GPT-4.1, Value WR aumenta de 0,300 a 0,322 y Overall WR de 0,236 a 0,247, mientras Persona WR baja de 0,240 a 0,234; la dirección y significación varían por modelo.
  • Phi-4-mini empeora significativamente en Value y Overall WR; Llama-3.2 no cambia de forma distinguible y varias mejoras globales incluyen cero.
  • La disparidad media por exactitud baja, con rango 0,240 a 0,179 y CV 0,078 a 0,054, pero por NMAE aumenta, con rango 0,280 a 0,336 y CV 0,094 a 0,116.
  • El juez coincide con humanos mejor en valor, kappa 0,631, y global, 0,568, que en persona, 0,318; en persona queda también por debajo del acuerdo humano-humano de 0,388.
  • Religious Values encabeza tanto Modal Diversity Score como Wasserstein, pero la correlación entre ambas ordenaciones de categorías es solo 0,091, por lo que otras conclusiones de divisividad dependen de la métrica.
  • SFT reduce las salidas no parseables, incluidas abstenciones en cuestiones sensibles; el estudio no evalúa si esa reducción conserva seguridad o evita daño.
  • No aparece repositorio, dataset derivado, configuración ejecutable, salidas, decisiones del juez ni anotaciones humanas en el artículo, ACL, paquete fuente o búsquedas específicas.

Limitaciones

  • El split OOD reserva combinaciones de etiquetas, pero reutiliza todas las preguntas, niveles demográficos y encuestados; no mide generalización poblacional, cultural ni a preguntas nuevas.
  • Las mismas personas alimentan modas de subgrupos solapados en train y evaluación, de modo que los pares no son observaciones independientes.
  • Cada pregunta se ve en entrenamiento con otros subgrupos; sin un split por pregunta ni baselines de moda global, márgenes, interpolación o regresión demográfica, no se separa memorización temática de composición de persona.
  • La moda descarta dispersión, empates, incertidumbre y opiniones minoritarias; balancear filas por subgrupo no balancea personas ni representatividad.
  • El umbral N igual o mayor que 30 se denomina robusto sin análisis de potencia, precisión o probabilidad de cambio de la moda.
  • La correlación casi nula entre N y margen modal no prueba estabilidad: solo niega una asociación monotónica y no realiza remuestreo de etiquetas o validación externa.
  • El análisis de estabilidad dice usar 22.837 pares, mientras la composición final declara 20.877; la diferencia de 1.960 no se explica.
  • El bootstrap resamplea pares individuales y no respeta dependencia por pregunta, subgrupo o encuestado; sus intervalos pueden ser demasiado estrechos.
  • Se informa una única semilla global y no hay réplicas de entrenamiento; los intervalos no capturan variación entre fine-tunings.
  • Los cambios de disparidad no tienen intervalos, tests ni sensibilidad a ponderar estratos por personas, subgrupos o precisión.
  • Tres anotadores y 100 comparaciones son una calibración pequeña; kappas descriptivamente parecidas no prueban equivalencia entre juez humano y automático.
  • Un único juez 24B compara contra un único GPT-4.1 y ve el valor objetivo; no hay juez alternativo, escala absoluta ni réplica humana del experimento completo.
  • Las diferencias de rendimiento por grupo son sesgos frente a esta tarea y target, no evidencia causal de que los datos de preentrenamiento produzcan trato social discriminatorio.
  • El artículo reconoce esencialismo, silenciamiento de minorías, propaganda dirigida y riesgo de uso de perfiles agregados como si fueran individuos.
  • WVS prohíbe redistribuir sus ficheros, pero faltan también código, instrucciones de adquisición, versión y DOI oficial, hashes de insumos legales, adapters, outputs y comandos.
  • El artículo no cita en referencias el dataset oficial WVS Wave 7 con DOI 10.14281/18241.18 y no documenta revisión ética, consentimiento, reclutamiento ni compensación de los anotadores.
  • Reducir rechazos en temas de violencia, sexualidad, aborto o terrorismo puede debilitar abstenciones de seguridad; no se mide daño ni cumplimiento posterior.

Qué no demuestra

  • No demuestra valores, personalidad, identidad, autenticidad cultural, mente o experiencia individual en un LLM.
  • No permite atribuir a una persona real la respuesta modal de sus categorías demográficas.
  • No demuestra generalización a nuevas culturas, países, periodos, preguntas, encuestados, ejes demográficos o categorías no vistas.
  • No prueba que el modelo haya aprendido una representación interna de persona; solo observa cambios de salida después de SFT.
  • No establece una mejora general de texto abierto: el promedio es pequeño, un modelo empeora y varios cambios no son significativos.
  • No establece que el juez automático mida autenticidad de persona con fiabilidad alta; esa es precisamente su dimensión más débil.
  • No demuestra que menor disparidad en exactitud implique mayor equidad, porque NMAE se mueve en sentido contrario.
  • No identifica el preentrenamiento como causa de los patrones entre subgrupos ni demuestra impacto discriminatorio en usuarios.
  • No valida estabilidad de las etiquetas modales ni resuelve la discrepancia de conteo entre 20.877 y 22.837 pares.
  • No ofrece reproducción integral a partir de artefactos públicos, aunque sea un Long Paper revisado por pares de ACL 2026.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2604.12851v1; ACL 2026 final inspected as authoritative publication

Fuente consultada: https://arxiv.org/abs/2604.12851

Revisión: Codex dual 20-page visual full-text, TeX/source, ACL checklist, WVS provenance, split, construct, statistics, fairness, human-judge and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Llama-3.1-8B-Instruct
  • Llama-3.2-3B-Instruct
  • SEA-LION-v3-8B-Instruct
  • Phi-4-mini-instruct
  • Qwen2.5-7B-Instruct
  • Sailor2-8B-Chat
  • SeaLLMs-v3-7B-Chat
  • GPT-4.1
  • GPT-4o
  • GPT-4.1-mini
  • GPT-4o-mini
  • Mistral-Small-3.1-24B-Instruct-2503 como juez

Instrumentos y métricas

  • Exactitud de respuesta modal
  • Error absoluto medio normalizado, NMAE
  • Modal Diversity Score
  • Distancia de Wasserstein entre distribuciones
  • Win rate LLM-as-a-Judge con orden intercambiado
  • Rango normalizado y coeficiente de variación
  • Kappa ponderado y acuerdo humano
  • Bootstrap pareado de 2.000 remuestras

Datos utilizados

  • World Values Survey Wave 7, muestra de Singapur
  • 20.877 pares agregados pregunta-subgrupo declarados en la tabla principal
  • 214 preguntas WVS retenidas
  • 98 subgrupos demográficos con N igual o mayor que 30

Evidencia y localización

  • Publicación, diseño, resultados, prompts, apéndices, límites y ética: ACL 2026 Long Paper, DOI 10.18653/v1/2026.acl-long.1127, 20 páginas renderizadas e inspeccionadas
  • Fuente editable y alcance de artefactos, sin implementación ni datos: arXiv:2604.12851v1 source SHA-256 24c9c731bcb89624b626f86a444d34bcb02ae60fc81f1e6a54627e6ef4bc547c
  • Declaraciones de reproducibilidad, datos y evaluación humana: Responsible NLP Checklist SHA-256 8eb042bcccb49ed182c6df9d8d8e8e3eac36590bea0c1f2ccc40a7c3f1ea0547, 2 páginas inspeccionadas
  • Condiciones oficiales de uso y no redistribución de WVS: World Values Survey download license and Wave 7 documentation, inspected 2026-07-17
  • Auditoría de split, constructo, estadística, equidad, juez humano, datos y reproducibilidad: reports/verification/article-364-acl-subgroup-values-wvs-compositional-split-fairness-human-judge-data-and-reproducibility-audit.json