Training-Free Cultural Alignment of Large Language Models via Persona Disagreement

Sociedad, cultura y comportamiento colectivo2026arXivRevisión editorial aprobada

Autores: Huynh Trung Kiet, Dao Sy Duy Minh, Tuan Nguyen, Chi-Nguyen Tran, Phu-Hoa Pham, Nguyen Lam Phu Quy, The Anh Han, Long Tran-Thanh

Palabras clave: DISCA, Cultural alignment, Persona disagreement, World Values Survey, MultiTP, Moral Machine, AMCE, Inference-time steering, Prospect-Theory importance sampling, LLM-as-judge

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

8
Autores
9
Hallazgos
18
Limitaciones
3
Evidencias

Resumen editorial

Español

El preprint presenta DISCA, un controlador de inferencia para acercar decisiones morales de un LLM a promedios nacionales de Moral Machine/MultiTP sin cambiar pesos. Ejecuta el mismo modelo con un prompt base y cuatro personas, jóvenes, mediana edad, mayores y agregado nacional, simetriza A/B, busca una corrección escalar de logits mediante importance sampling con utilidad asimétrica inspirada en Prospect Theory y la reduce cuando dos pasadas independientes discrepan. Cultural alignment significa aquí menor distancia L2 entre seis AMCE del modelo y el vector AMCE humano medio del país; no significa legitimidad moral, fidelidad individual, representación completa de una cultura ni seguridad.

Las personas sí consumen datos por país. Se construyen desde World Values Survey Wave 7: medias no ponderadas por cohorte en diez dimensiones, normalización y descriptores por cortes deterministas de cuartil. Por tanto, «sin etiquetas por país» sólo es fiel si significa sin etiquetas MultiTP/AMCE por país durante la inferencia; no significa alineación sin datos nacionales. No se publican pesos de encuesta, N por cohorte ni incertidumbre. El fallback manual tampoco queda validado en el panel principal: Arabia Saudí, el ejemplo citado, está excluida de los 20 países.

La Proposición 1 demuestra un resultado más estrecho que el producto. Si cada persona fuera una observación insesgada, i.i.d. y con varianza común alrededor de un logit humano no observado, la varianza entre agentes estimaría el ruido y existiría un shrinkage escalar óptimo en MSE. El paper reconoce que las personas comparten modelo y escenario. El factor óptimo depende además del target humano no observado y no puede calcularse. DISCA lo sustituye por PT-IS y una compuerta exponencial entre dos runs. La prueba motiva la forma cualitativa, pero no demuestra que el controlador completo sea MSE-óptimo, que la variación de prompts estime incertidumbre humana ni que dos pasadas midan desacuerdo demográfico en vez de ruido Monte Carlo.

En la tabla principal de 20 países, los seis modelos seleccionados de al menos 3,8B reducen MIS 10,3%-23,6%; Gemma-4-E2B 2B mejora 3,4%. Llama-3.3-70B y Qwen3-VL-8B mejoran en 20/20 países; Phi-4 en 18/20 y obtiene la menor MIS, 0,346. Phi-4+DISCA queda por debajo de Llama-3.3-70B vanilla, 0,346 frente a 0,849, y de Llama+DISCA, 0,668. En Phi-4, DISCA supera PRISM prompt 0,384, MC-Dropout 0,403, activation steering 0,430, WVS Profile 0,453 y vanilla 0,454. Es un resultado descriptivo fuerte en ese benchmark, no una ley de que calibración venza a escala.

La selección limita la generalización. Los siete modelos se eligen explícitamente por los gains más robustos tras 28 combinaciones; la tabla ampliada omite nueve modelos con ganancia no positiva. El panel de prototipado BRA/CHN/DEU/JPN/USA está incluido en los 20 países finales. El headline describe una selección favorable, no la tasa de éxito sobre arquitecturas no seleccionadas. Las tres semillas prueban estabilidad del muestreo del controlador, std macro hasta 0,006, pero no incertidumbre de WVS, del target humano o de escenarios.

En abierto, Claude 3 Opus lee cada respuesta, devuelve A/B y confianza y el estudio la transforma en pseudo-logit. Los cuatro modelos mejoran en media: 6,85% Llama, 6,67% Phi-4, 4,55% Qwen2.5 y 2,13% Phi-3.5. Sin embargo, la tabla contiene siete celdas país-modelo negativas, no seis como dice el texto; la peor es -3,10%. No hay validación humana de la decisión del juez, calibración de confianza ni equivalencia cultural. Añadir ruido gaussiano a pseudo-logits comprueba ruido numérico, no sesgo semántico. En BLEnD factual, siete de 16 países mejoran pero SEM-B agregado cae 4,4 puntos.

El vínculo WVS→AMCE está sobreinterpretado. Se ajustan diez predictores con sólo 20 países; con intercepto quedan nueve grados de libertad residuales. El texto destaca R² crudo 0,55-0,69, pero la tabla da R² ajustado 0,05-0,35, 0,05 en Age y 0,09 en Species, sin cross-validation, intervalos ni corrección por multiplicidad. La llamada causal impact matrix es una ablación leave-one-descriptor-out del controlador, no identificación causal de cómo WVS produce preferencias humanas. Una lengua por país también confunde cultura con traducción, tokenización y competencia lingüística.

Hay conflictos internos. Magistral tiene MIS 0,350 en la tabla principal y 0,334 en la ablación de los mismos 20 países. La comparación de la cuarta persona informa 0,4252 para el agregado y 0,4049 para el ancla utilitaria en Phi-4/20 países, incompatibles con el 0,346 principal; 0,4252 coincide con N=2 en otro sweep. Tail safety da ΔMIS 0,096 en 120 celdas, mientras las seis medias headline implican 0,1015. La batería llamada nueve checks muestra ocho filas. El arXiv dice 57 páginas y el PDF v2 renderiza 48. El oversampling con reemplazo duplica escenarios y cambia pesos; no añade información independiente.

La reproducibilidad pública no permite resolverlo. El paquete contiene TeX, bibliografía y cinco figuras, pero no código, perfiles WVS derivados, prompts completos, IDs de escenarios, logits, candidatos IS, gates, respuestas, juicios, resultados por run, sweep completo, entorno o revisiones exactas de modelos. El texto activo afirma que hay implementaciones en un archivo de código, mientras un comentario del fuente dice que se publicarán tras aceptación; no hay archivo ni repositorio enlazado. La lectura fiel es que DISCA reduce la distancia a promedios AMCE en una selección favorable de modelos y suele hacerlo en un track abierto mediado por Claude. No demuestra alineación cultural general, optimalidad del algoritmo completo, legitimidad normativa, protección de minorías ni reproducibilidad independiente.

English

The preprint presents DISCA, an inference-time controller intended to move LLM moral decisions toward country averages from Moral Machine/MultiTP without changing weights. It runs the same model under a base prompt and four personas, young, middle-aged, older, and country aggregate, symmetrizes A/B order, searches for a scalar logit correction with importance sampling under a Prospect-Theory-inspired asymmetric utility, and shrinks it when two independent passes disagree. Cultural alignment here means lower L2 distance between six model AMCEs and the country's mean human AMCE vector. It does not mean moral legitimacy, individual fidelity, complete cultural representation, or safety.

The personas do consume country-level data. They are built from World Values Survey Wave 7 using unweighted cohort means over ten dimensions, normalization, and deterministic quartile descriptors. No per-country labels is therefore faithful only if it means no country-specific MultiTP or human-AMCE labels during inference; it does not mean country-data-free alignment. Survey weights, cohort Ns, and uncertainty are not reported. The manual fallback is not validated in the headline panel: Saudi Arabia, the named example, is excluded from the 20 countries.

Proposition 1 establishes a narrower result than the implemented product. If each persona were an unbiased, i.i.d. observation with common variance around an unobserved human logit, between-agent variance would estimate noise and an MSE-optimal scalar shrinkage factor would exist. The paper acknowledges that personas share the model and scenario. The oracle factor also depends on the unobserved human target and cannot be computed. DISCA replaces it with PT-IS and an exponential two-pass gate. The proposition motivates qualitative shape, but does not prove that the full controller is MSE-optimal, that prompt variation estimates human uncertainty, or that two passes measure demographic disagreement rather than Monte Carlo noise.

In the main 20-country table, the six selected models at or above 3.8B reduce MIS by 10.3%-23.6%; the selected 2B Gemma-4-E2B improves by 3.4%. Llama-3.3-70B and Qwen3-VL-8B improve in 20/20 countries; Phi-4 in 18/20 and has the lowest MIS, 0.346. Phi-4 plus DISCA is below vanilla Llama-3.3-70B, 0.346 versus 0.849, and Llama plus DISCA, 0.668. On Phi-4, DISCA beats PRISM prompting 0.384, MC-Dropout 0.403, activation steering 0.430, WVS Profile 0.453, and vanilla 0.454. This is strong descriptive benchmark evidence, not a general law that calibration beats scale.

Selection constrains generalization. The seven models are explicitly chosen for the most robust gains after 28 combinations; the broader table omits nine models with non-positive gain. The BRA/CHN/DEU/JPN/USA prototyping panel is included in the final 20 countries. The headline describes a favorable selection rather than an architecture-wide success rate. Three seeds establish controller-sampling stability, macro standard deviation up to 0.006, but not WVS, human-target, or scenario-sampling uncertainty.

For open-ended responses, Claude 3 Opus returns A/B and confidence, which the study converts into a pseudo-logit. All four models improve on average: 6.85% Llama, 6.67% Phi-4, 4.55% Qwen2.5, and 2.13% Phi-3.5. The table nevertheless contains seven negative country-model cells rather than the six stated in the text; the worst is -3.10%. There is no human validation of judge choice, confidence calibration, or cultural equivalence. Gaussian noise on cached pseudo-logits tests numeric noise, not semantic bias. On factual BLEnD, seven of 16 countries improve, but aggregate SEM-B falls by 4.4 points.

The WVS-to-AMCE link is overstated. Ten predictors are fit to only 20 countries, leaving nine residual degrees of freedom with an intercept. The text emphasizes raw R-squared of 0.55-0.69, but the paper's own adjusted values are only 0.05-0.35, 0.05 for Age and 0.09 for Species, without cross-validation, intervals, or multiplicity correction. The so-called causal impact matrix is a leave-one-descriptor-out controller ablation, not causal identification of how WVS values produce human preferences. One language per country also confounds culture with translation, tokenization, and language proficiency.

Internal conflicts remain. Magistral has MIS 0.350 in the main table and 0.334 in an all-20-country ablation. The fourth-persona comparison reports 0.4252 for the aggregate and 0.4049 for a utilitarian anchor on Phi-4/20 countries, incompatible with the main 0.346; 0.4252 also matches N=2 in another sweep. Tail safety reports mean Delta MIS 0.096 across 120 cells, while the six headline means imply 0.1015. A suite called nine checks displays eight rows. The arXiv page says 57 pages while the v2 PDF renders as 48. Oversampling with replacement duplicates scenarios and changes weights; it adds no independent information.

Public reproducibility cannot resolve these issues. The package contains TeX, bibliography, and five figures, but no code, derived WVS profiles, complete prompts, scenario IDs, logits, IS candidates, gates, responses, judge records, run-level results, full sweep, environment, or exact model revisions. Active text says reference implementations are in a code archive, while a source comment says code will be released after acceptance; no archive or repository is linked. A faithful reading is that DISCA lowers distance to AMCE averages for a favorably selected model set and often does so in a Claude-mediated open-ended track. It does not establish general cultural alignment, optimality of the full algorithm, normative legitimacy, minority protection, or independent reproducibility.

Pregunta de investigación

¿Puede el desacuerdo entre cuatro personas nacionales derivadas de WVS guiar, sin fine-tuning, una corrección de logits que acerque decisiones morales de LLM a los AMCE humanos medios de cada país?

Método

DISCA compara prompt base y cuatro personas por país, simetriza A/B, genera candidatos escalares alrededor del consenso, los pondera con utilidad Prospect-Theory e importance sampling y contrae la corrección según la discrepancia entre dos pasadas. Se evalúa con MIS L2 a seis AMCE de MultiTP en 20 países, siete modelos seleccionados y un track abierto de cuatro modelos juzgado por Claude 3 Opus; se añaden baselines, ablations, BLEnD y sweeps.

Muestra: Headline binario: 20 países, 7 modelos seleccionados y 6 dimensiones MultiTP, con peso igual por país; tres semillas salvo Gemma. Track abierto: 20 × 310 escenarios × 4 modelos, mediado por Claude. WVS→AMCE: 20 países y 10 predictores. Selección: 28 combinaciones en 5 países. Muchos sweeps: USA/VNM/DEU, Phi-4, N=250 por país.

Hallazgos

  • Los seis modelos seleccionados >=3,8B mejoran MIS 10,3%-23,6%; Gemma 2B mejora 3,4%.
  • Llama-3.3-70B y Qwen3-VL-8B mejoran en 20/20 países; Phi-4 en 18/20.
  • Phi-4+DISCA logra MIS 0,346 frente a 0,849 Llama-70B vanilla y 0,668 Llama+DISCA.
  • En Phi-4, DISCA 0,346 supera PRISM 0,384, MC-Dropout 0,403, activation steering 0,430 y vanilla 0,454.
  • Los cuatro modelos abiertos mejoran 2,13%-6,85% en media, pero hay 7 celdas negativas, no 6.
  • BLEnD agregado empeora 4,4 pp pese a siete países con ganancia.
  • R² crudo WVS→AMCE 0,55-0,69 se reduce a R² ajustado 0,05-0,35 con N=20 y p=10.
  • Tres semillas dan std macro <=0,006, limitada a aleatoriedad del controlador.
  • Magistral, cuarta persona, tail-safety y varios conteos presentan cifras incompatibles.

Limitaciones

  • Preprint arXiv v2 sin aceptación revisada por pares confirmada.
  • Headline models seleccionados tras barrido; nueve fallos/no ganancias omitidos.
  • Panel de selección de cinco países incluido en el panel final.
  • Target AMCE crowdsourced no equivale a legitimidad, verdad moral o fidelidad individual.
  • Prompts usan WVS por país; no-per-country-labels sólo vale para labels de tarea/AMCE.
  • WVS sin pesos, N de cohorte o incertidumbre y discretizado por cuartiles.
  • OLS con 20 países y 10 predictores, sin cross-validation ni inferencia.
  • Ablation leave-one-out etiquetada causal sin identificación causal.
  • Supuesto i.i.d. incompatible con modelo y escenario compartidos.
  • Oracle shrinkage incomputable; PT-IS y gate no están probados óptimos.
  • Una lengua por país confunde cultura y capacidad lingüística.
  • Track abierto depende de Claude sin validación humana.
  • Equal-country macro no pondera población ni protege minorías.
  • Utility floor opcional no establece seguridad o derechos.
  • Oversampling con reemplazo cambia pesos sin añadir observaciones.
  • Conflictos de tablas y conteos sin artefactos para resolverlos.
  • Costo 3,6-3,7× vanilla y requisito de logprobs A/B.
  • Sin código, datos derivados, outputs, sweep completo o entorno.

Qué no demuestra

  • Alineación cultural general o normativa.
  • Que promedios nacionales representen individuos o minorías.
  • Que WVS cause preferencias trolley o valide prompts fuera de muestra.
  • Que desacuerdo de personas LLM estime desacuerdo humano real.
  • Optimalidad MSE del pipeline completo.
  • Superioridad sobre fine-tuning o reward modeling no evaluados.
  • Éxito sobre arquitecturas no seleccionadas.
  • Transferencia a conocimiento factual.
  • Validez cultural del juez Claude.
  • Protección frente a mayorías dañinas.
  • Escalabilidad a APIs sin logprobs.
  • Corrección de los conflictos numéricos publicados.
  • Reproducción independiente.
  • Aceptación en NeurIPS 2026.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2605.10843v2

Fuente consultada: https://arxiv.org/abs/2605.10843v2

Revisión: Codex 48-page visual full-text, complete TeX, WVS construct, theory-boundary, table arithmetic, selection, judge-validity and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Llama-3.3-70B
  • Magistral-Small-2509 24B
  • Phi-4 14B
  • Qwen3-VL-8B
  • Qwen2.5-7B
  • Phi-3.5-mini 3.8B
  • Gemma-4-E2B 2B
  • Claude-3-Opus-20240229 as open-ended judge
  • Additional checkpoints in the five-country model-selection sweep

Instrumentos y métricas

  • DISCA loss-averse Prospect-Theory importance-sampling controller
  • Dual-pass exponential reliability gate
  • A/B positional symmetrization and decision-token logits
  • Six-dimensional AMCE and MIS L2 distance
  • Jensen-Shannon distance and Pearson correlation
  • Claude 3 Opus choice-confidence pseudo-logit judge
  • WVS-to-AMCE standardized OLS
  • Leave-one-WVS-descriptor-out ablation
  • BLEnD Soft Exact Match

Datos utilizados

  • MultiTP multilingual Moral Machine extension
  • Moral Machine country human AMCE targets
  • World Values Survey Wave 7 individual microdata
  • Author-derived WVS country and age-cohort personas
  • GPT-4 synthetic 200-dilemma tuning pool with three-author proxy labels
  • Open-ended 20-country ethical scenario track
  • BLEnD factual cultural QA
  • No public derived personas, slices, logits, outputs or run-level results

Evidencia y localización

  • Texto completo, tablas, pruebas, prompts, WVS, preprocessing y límites: arXiv:2605.10843v2; PDF sha256 c79a930ed186f89cd13ee5bd41b1d00f6402b0539906d8875aaab8e7f89afb15; TeX sha256 f60338bbca8df10560758509f4d226e47278ecb3ff4e44720f9611306531490b
  • Metadatos y versión pública: https://arxiv.org/abs/2605.10843v2, submitted 2026-05-11 and revised 2026-05-18
  • Recalculo R² ajustado, conteos, selección, constructo y reproducibilidad: reports/verification/article-341-disca-cultural-alignment-wvs-construct-selection-metric-reporting-and-reproducibility-audit.json