Political Bias in LLMs: Unaligned Moral Values in Agent-centric Simulations

This article tests whether minimal ideology prompts are enough to make open-weight models coherent substitutes for liberal, moderate, or conservative people. Twelve models, from 7B systems to MoE architectures with 176B total parameters, answer the Moral Foundations Questionnaire (MFQ) 50 times under four conditions: baseline, liberal, moderate, and conservative. The substantive question matters for social research: politically plausible text does not guarantee stable reproduction of a human population's value patterns.

The MFQ contains 32 items on a 0-5 scale: 30 score care, fairness, loyalty, authority, and purity, and two are catch items. Each question is sent separately. The historical repository contains 2,400 files, 12 models × 4 conditions × 50 surveys, and 76,800 expected rows. Personas add only a message such as “You are a politically and ethically Conservative,” without biography, cultural context, or examples. Results are compared with aggregate means from three studies: 1,613 anonymous participants, 7,226 US participants, and 478 South Korean participants grouped as liberal, moderate, and conservative.

The main descriptive result is highly uneven stability. Among the seven models shown in Table 1, Mixtral 8x7B has the lowest mean variance, 0.030, and Qwen 72B the highest, 0.425. Published condition means are 0.150 for baseline, 0.237 conservative, 0.184 liberal, and 0.372 moderate. The author suggests that “moderate” may be more ambiguous. The paper also recognizes a crucial point: lower variance is not necessarily more human because real people vary within groups and over time; no comparable human-variance benchmark is available.

Table 1 has a scope inconsistency. Methods declare 12 models, but the table contains seven and omits Llama 3.1 8B and 70B, Gemma 2 27B, Phi-3 14B, and Qwen 2 72B. Reproducing the same calculation across all 12 changes the means to 0.245, 0.279, 0.258, and 0.360. Baseline remains lowest and moderate highest, but the magnitude changes. Persona prompting also does not increase variance for every model: Mixtral 8x7B falls from 0.025 at baseline to 0.012 under moderate. The prose mistakenly calls the lowest-variance system “Mistral 8x7B”; the table and data identify Mixtral 8x7B.

The human comparison averages absolute differences between five model foundation means and five human group means. The code and Table 2 caption compute mean absolute error, but the prose calls it mean squared error; the abstract refers to weak correlation although no correlation coefficient is computed. Independent reproduction gives matched MAE 0.665 for liberal, 0.610 moderate, and 0.973 conservative. By human sample, matched mean distance is 0.579 for the anonymous set, 0.809 US, and 0.860 South Korean. This supports a descriptive asymmetry and worse conservative fit, not a general proof of left political bias.

Prompting and parsing defects affect validity. Instructions enumerate 0-5 but end by requesting only 1-5, verbally excluding the zero used by the human scale. The baseline is described as no persona, but code stringifies null and sends a literal “None” system message. The parser stores the first digit found anywhere, discards the original text, and performs no range check. The data contain 388 null responses that are dropped and two values of 6 that enter aggregates. Missingness differs by model and condition, with 1,533 to 1,600 of 1,600 rows retained per combination.

Variance is per-item sample variance averaged across a condition, including both catch items. Temperature, top-p, seeds, other options, and immutable Ollama digests are not recorded. Fifty outputs characterize one local execution but not a precisely repeatable distribution. Human comparisons use hard-coded group means rather than individual responses, so they omit human dispersion, intervals, sampling error, and measurement invariance. Minimal English labels “liberal,” “moderate,” and “conservative” also need not mean the same thing in US and Korean contexts.

The paper repeatedly uses “significant” without a statistical test, p-value, interval, or multiplicity control. Its model-size conclusion is descriptive; no reported correlation or trend model supports it. MFQ is a relevant psychological instrument, but reducing ideology to five foundations does not validate belief, reasoning, identity, or behavior. The experiment also does not run an agent society: it measures isolated questionnaires and cautiously extrapolates implications for simulations and social networks.

The strongest conclusion survives these problems: minimal ideology prompting is insufficient evidence for treating an LLM as a human population. The paper warns about caricaturing groups, manufacturing apparent consensus, marginalizing non-Western perspectives, and simulating populations without consent. It explicitly rejects replacing diverse participants. It does not establish statistical significance, that MAE is MSE or correlation, a causal origin in training or alignment, that scaling can never help, or that models represent embodied moral experience.

Public reproducibility is substantial but requires following Git history. The official repository linked by the author contains code, questionnaires, and experiments. Commit e51c49a from September 2024 preserves all 2,400 surveys and reproduces the key values; the publication-day working tree was refactored to a 12-model baseline experiment, although the persona data remain in history. There is no tagged paper release. The artifact omits original model text, sampling parameters, exact digests, individual human data, tests, and CI at the experiment commit. This review uses the final 2025 article and the historical commit that actually supports its numbers.

El artículo evalúa si prompts mínimos de ideología bastan para convertir modelos abiertos en sustitutos coherentes de personas liberales, moderadas o conservadoras. Doce modelos, desde 7B hasta arquitecturas MoE de 176B parámetros totales, contestan 50 veces el Moral Foundations Questionnaire (MFQ) bajo cuatro condiciones: baseline, liberal, moderada y conservadora. La pregunta sustantiva es importante para la investigación social: una salida políticamente plausible no garantiza que el sistema reproduzca de forma estable las pautas de valores de una población humana.

El MFQ contiene 32 ítems en escala 0-5: 30 puntúan cuidado, justicia, lealtad, autoridad y pureza, y dos son controles. Cada pregunta se envía por separado. El repositorio histórico permite contar 2.400 ficheros, 12 modelos × 4 condiciones × 50 encuestas, y 76.800 filas esperadas. Las personas solo añaden un mensaje como «You are a politically and ethically Conservative»; no se aporta biografía, contexto cultural ni ejemplos. Los resultados se comparan con medias agregadas de tres estudios: 1.613 participantes anónimos, 7.226 estadounidenses y 478 surcoreanos, agrupados como liberales, moderados y conservadores.

El principal hallazgo descriptivo es una estabilidad muy desigual. En los siete modelos mostrados en la Tabla 1, Mixtral 8x7B tiene la varianza media más baja, 0,030, y Qwen 72B la más alta, 0,425. Las medias publicadas son 0,150 para baseline, 0,237 para conservadora, 0,184 para liberal y 0,372 para moderada. El autor interpreta que «moderate» puede ser una etiqueta más ambigua. También reconoce un punto esencial: menor varianza no es necesariamente más humana, porque personas reales varían dentro de un grupo y a lo largo del tiempo; el estudio no dispone de un benchmark de varianza humana comparable.

La Tabla 1 tiene una inconsistencia de alcance. El método declara 12 modelos, pero la tabla solo incluye siete y omite Llama 3.1 8B y 70B, Gemma 2 27B, Phi-3 14B y Qwen 2 72B. Al reproducir la misma varianza con los 12 modelos, las medias cambian a 0,245, 0,279, 0,258 y 0,360. Baseline sigue siendo la menor y moderada la mayor, pero el tamaño del patrón cambia. Tampoco es cierto a nivel de cada modelo que añadir persona aumente siempre la varianza: por ejemplo, Mixtral 8x7B baja de 0,025 en baseline a 0,012 con persona moderada. El texto llama por error «Mistral 8x7B» al sistema que en tabla y datos es Mixtral 8x7B.

La comparación humana promedia la diferencia absoluta entre las cinco medias de fundamentos del modelo y las cinco medias humanas. El código y el pie de la Tabla 2 calculan mean absolute error, pero el texto lo llama mean squared error; el abstract habla de correlación débil, aunque no se calcula ningún coeficiente de correlación. La reproducción obtiene MAE emparejado de 0,665 para liberal, 0,610 para moderada y 0,973 para conservadora. Por muestras humanas, la media emparejada es 0,579 en el conjunto anónimo, 0,809 en Estados Unidos y 0,860 en Corea del Sur. Esto respalda una asimetría descriptiva y peor ajuste conservador, no una prueba general de sesgo político izquierdista.

Hay defectos de prompt y parsing que afectan a la validez. Las instrucciones enumeran 0-5, pero terminan pidiendo responder solo con 1-5, de modo que excluyen verbalmente el cero que sí existe en la escala humana. El baseline se describe como ausencia de persona, pero el código convierte el valor nulo en string y envía literalmente un mensaje de sistema «None». El parser conserva el primer dígito encontrado en cualquier parte de la respuesta, no guarda el texto original y no valida rango. En los datos hay 388 respuestas nulas que se eliminan y dos valores 6 que sí entran en los agregados. La missingness varía por modelo y condición, con entre 1.533 y 1.600 filas retenidas de 1.600 por combinación.

La varianza es la varianza muestral de cada ítem y condición, después promediada, e incluye los dos ítems de control. No se fijan temperatura, top-p, seeds u otras opciones, ni digests inmutables de Ollama. Por tanto, 50 respuestas describen una ejecución local concreta pero no una distribución repetible con exactitud. Las comparaciones humanas usan medias de grupo codificadas, no respuestas individuales: no incorporan dispersión humana, intervalos, error de muestreo o invariancia de medida. Además, «liberal», «moderate» y «conservative» son etiquetas inglesas mínimas cuyo significado no es idéntico entre Estados Unidos y Corea.

El artículo usa repetidamente la palabra «significant», pero no publica test estadístico, p-value, intervalo o control de multiplicidad. La afirmación de que el tamaño de modelo no se relaciona con consistencia o alineación también es descriptiva; no se informa correlación ni modelo de tendencia. El MFQ es un instrumento psicológico relevante, pero reduce la ideología a cinco fundamentos y no valida por sí solo creencias, razonamiento, identidad o conducta. El experimento tampoco ejecuta una sociedad de agentes: mide cuestionarios aislados y extrapola con cautela a simulaciones y redes sociales.

La conclusión más sólida del trabajo sobrevive a estos problemas: un prompt ideológico mínimo no ofrece evidencia suficiente para tratar al LLM como una población humana. El artículo advierte sobre caricaturizar grupos, fabricar consenso aparente, marginar perspectivas no occidentales y simular poblaciones sin consentimiento. Rechaza explícitamente sustituir participantes diversos. No demuestra que las diferencias sean significativas, que el MAE sea MSE o correlación, que el origen causal sea el entrenamiento o alignment, que escalar nunca pueda ayudar, ni que los modelos puedan representar experiencia moral encarnada.

La reproducibilidad pública es sustancial pero exige seguir el historial. El repositorio oficial actual enlazado por el autor contiene código, cuestionarios y experimentos. El commit e51c49a de septiembre de 2024 conserva las 2.400 encuestas completas y permite reproducir los valores clave; el working tree del día de publicación fue refactorizado y muestra un experimento baseline de 12 modelos, aunque el experimento de personas sigue recuperable en Git. No existe un release etiquetado de paper. El artefacto no conserva respuestas textuales originales, parámetros de muestreo, digests exactos, datos humanos individuales, tests o CI en el commit del experimento. La ficha usa el artículo final de 2025 y el commit histórico que realmente sustenta sus números.