Political Alignment in Large Language Models: A Multidimensional Audit of Psychometric Identity and Behavioral Bias

The paper audits political positioning expressed by LLMs, not an internal political identity or human personality. Version 2 combines four analyses: stability under repeated sampling, sensitivity to ten prompt paraphrases, comparison across three political questionnaires, and news-bias classification. It does not use one common 33-model cohort. Phase I(a) evaluates 26 models with ten identical administrations of Political Compass, SapplyValues, and 8Values; Phase I(b) uses seven other models with one run under each of ten semantic variants; the 1,063-article classification returns to the 26 Phase I(a) models. Figure 1 combines the two blocks into 33 points, although their inferences come from different designs.

In Phase I(a), 25 of 26 models, 96.154%, rounded to 96.3% in the abstract, fall in the Political Compass Libertarian-Left quadrant and one in Authoritarian Left. Combining all 33 points lowers the proportion to 93.939%: 31 Libertarian Left, one Authoritarian Left, and one Libertarian Right. This concentration describes aggregate responses to these questionnaires under the study's prompts and scoring; it does not establish beliefs, intentions, or latent ideology. All systems are accessed through OpenRouter at temperature 0.7, while exact provider snapshots and some operational state are not pinned well enough for longitudinal comparison.

Phase I(b) crosses seven models with ten similar-meaning prefixes. The additive ANOVA assigns most variance to model and little to the average prompt effect. In the public CSVs, model η² ranges from 0.485 for SapplyValues authority to 0.981 for 8Values economics; six of nine axes exceed 0.90. The largest prompt η² is 0.059, and no prompt main effect survives FDR. Thus “η² > 0.90” does not describe every axis. More importantly, there is one observation per model×prompt cell: the analysis omits interaction and cannot separate model-specific prompt sensitivity. A small average wording effect does not demonstrate individual invariance.

Economic axes correlate strongly: over 70 model×prompt points, PCT–8Values r=0.921 and PCT–SapplyValues r=0.906. The Political Compass social axis relates weakly to SapplyValues authority and more strongly to cultural progressivism. The abstract's highlighted r=−0.643 comes from model means in another cohort; the public Phase I(a) data supporting it are absent. In the public seven-model block, social–progressivism is r=−0.719 when 70 repeated observations are treated as independent; averaging by model first yields r=−0.754 with n=7 and p=0.0501. The effect size remains, but the paper's extremely small p-values are inflated by pseudoreplication and do not establish construct validity of these quizzes for LLMs.

The open-weight/closed-source comparison reports SapplyValues Progressive 4.543 versus 2.578, t=−12.494, p<10⁻²⁴. Its table uses n=110 per group, ten runs from eleven models per group, even though the cohort has 26 models; four exclusions are not clearly accounted for, and repeated runs from each model are treated as independent observations. Access type is also confounded with provider, family, scale, release date, data, and post-training. The discussion moderates the claim, but this contrast cannot causally attribute the difference to safety tuning or RLHF.

The base/instruction ablation covers only Llama-3 8B and 70B. It finds large, nonuniform shifts across axes; Llama-3-8B, for example, moves +3.29 on PCT social and +16.4 on 8Values societal. Base models are scored with conditional log probabilities because they do not reliably follow the response format, whereas instruction-tuned models emit categorical responses, so the measurement procedure is not identical. Code and raw answers for this experiment are absent; only three score JSON files are released. The result is exploratory evidence, not a causal estimate of post-training.

The downstream task presents headlines and lead paragraphs from 1,063 English articles and assigns each article its publication's Ground News bias label, itself aggregated from AllSides, Ad Fontes, and MBFC. Models are asked for a continuous −3 to +3 value and compared with seven discrete categories. The paper announces 27,638 predictions, but result tables total 27,432 observations: 206 are missing without a published exclusion mechanism. The distribution is highly imbalanced, 78 Far Left observations, 728 Far Right, and 9,182 Center. Exact accuracy is 19.2% for Far Left and 2.1% for Far Right, with MAE 1.305 and 1.880. Aggregate MDE is −0.26, a shift toward labels left of Ground News. These numbers measure disagreement with outlet-level labels rather than article-level ideological truth; imbalance, uneven model coverage, and missing failures prevent interpreting the asymmetry as intrinsic detection ability.

Three model-level regressions (n=26) link questionnaire scores to Far Right–Far Left MAE difference, Center directional error, and aggregate right-category MAE. No predictor reaches α=0.05; the closest is progressivism versus extreme-category asymmetry, β=−0.153 and p=0.066. This is an absence of statistical evidence under three small specifications, not proof of independence or “decoupling.” With n=26, many possible axes, noisy labels, and post hoc analyses, non-significance is also compatible with low power or misspecification.

The sakhadib/PolAlignLLM repository was audited at commit d8d4e428194694656f281636fe9d8bbdadc6c1c4. Python code compiles and, after dependency installation, regenerates public Phase I(b) analyses with floating-point-only numerical differences. It contains 178 questions, ten variants, 70 score rows per instrument, Selenium scoring scripts, and ANOVA/MTMM/clustering code. It has no license, tests, CI, lockfile, seeds, raw responses, web-scorer snapshots, or pinned environment. README links to responses.jsonl and or_modelrun.py, which are absent, and compiled __pycache__ artifacts are committed.

Public coverage does not reproduce the full paper. The runner configures only seven models×ten prefixes; it does not implement the 26-model repeated cohort, news classification, regressions, or base/instruct log-probability extraction. A safety fallback changes words such as “violence,” “terrorism,” “authoritarian,” or “war” only when a provider blocks an item, despite the paper's claims of fixed questionnaire wording and no model-specific overrides. Without responses.jsonl, one cannot audit which models received altered items or how many outputs failed.

There is also manuscript–artifact drift. Table 16 labels two Phase I(b) members “Mistral Medium” and “Qwen3 235B,” while Table 6 and the CSVs use Mistral Large 2512 and Qwen 3.5 Flash; means and standard deviations also differ from current CSVs. Full η² values in Table 17 and the MTMM summary in Table 18 differ from versioned outputs, for example, the repository reports monotrait–heteromethod mean 0.587 and significant fraction 0.714, versus 0.82 and 1.00 in the PDF. Selected main-text tables do match some CSVs. The repository therefore supports a bounded robustness check, not the central 26-model or downstream findings.

The useful contribution is to separate questionnaires, prompt robustness, and task behavior and to show why a single ideological projection is insufficient. The faithful conclusion is narrower than the framing: these models produce similar response profiles under three quizzes and one setup; profiles vary more between models than under the average effect of ten prefixes in seven systems; and they do not significantly predict three aggregate errors. The work does not establish political identity, psychometric validity for synthetic agents, causal effects of alignment, Ground News neutrality, or generalization across languages, tasks, versions, and deployments.

El artículo audita posicionamiento político expresado por LLM, no una identidad política interna ni personalidad humana. La versión 2 combina cuatro análisis: estabilidad bajo muestreo repetido, sensibilidad a diez reformulaciones del prompt, comparación entre tres cuestionarios políticos y clasificación de sesgo de noticias. El diseño no usa una única cohorte de 33 modelos: Phase I(a) evalúa 26 modelos con diez administraciones idénticas de Political Compass, SapplyValues y 8Values; Phase I(b) usa otros siete modelos con una ejecución por cada una de diez variantes semánticas; la clasificación de 1.063 artículos vuelve a usar los 26 de Phase I(a). La Figura 1 suma ambos bloques y muestra 33 puntos, pero las inferencias no proceden de un experimento común.

En Phase I(a), 25 de 26 modelos, 96,154 %, redondeado a 96,3 % en el abstract, caen en el cuadrante Libertarian Left del Political Compass y uno en Authoritarian Left. Al combinar los 33 puntos de ambas fases, el porcentaje baja a 93,939 %: 31 Libertarian Left, uno Authoritarian Left y uno Libertarian Right. Esta concentración describe respuestas agregadas a esos cuestionarios, con sus prompts y scoring, y no demuestra creencias, intenciones o una ideología latente. Todos los modelos se consultan a través de OpenRouter a temperatura 0,7; la versión concreta del proveedor y parte del estado operativo no quedan fijados de forma suficiente para una comparación longitudinal.

La prueba de robustez Phase I(b) cruza siete modelos con diez prefijos de significado parecido. El ANOVA aditivo atribuye gran parte de la varianza al modelo y poca al efecto promedio del prompt. En los CSV públicos, η² de modelo va de 0,485 en autoridad SapplyValues a 0,981 en economía 8Values; seis de nueve ejes superan 0,90. El mayor η² de prompt es 0,059 y ningún efecto principal del prompt sobrevive FDR. Por tanto, “η² > 0,90” no describe todos los ejes. Más importante, hay una sola observación por celda modelo×prompt: el análisis omite la interacción y no puede separar sensibilidad específica de cada modelo. Un efecto promedio pequeño del wording no demuestra invariancia individual.

Las correlaciones muestran acuerdo alto entre ejes económicos: en los 70 puntos modelo×prompt, PCT–8Values r=0,921 y PCT–SapplyValues r=0,906. El eje social de Political Compass se relaciona poco con autoridad SapplyValues y más con progresivismo cultural. El r=−0,643 destacado en abstract procede del análisis de medias de otra cohorte; los datos públicos de Phase I(a) que lo sostienen no están liberados. En el bloque público de siete modelos, la correlación social–progresivismo es r=−0,719 al tratar 70 observaciones repetidas como independientes; al promediar primero por modelo queda r=−0,754 con n=7 y p=0,0501. El tamaño del efecto persiste, pero las p extremadamente pequeñas del paper están infladas por pseudorreplicación y no prueban validez de constructo de los cuestionarios para LLM.

La comparación open-weight/closed-source reporta SapplyValues Progressive 4,543 frente a 2,578, t=−12,494 y p<10⁻²⁴. La tabla usa n=110 por grupo, es decir, diez runs de once modelos por grupo, aunque la cohorte contiene 26; no explica con claridad los cuatro modelos omitidos y trata runs del mismo modelo como observaciones independientes. Además, access type está confundido con proveedor, familia, escala, fecha, datos y post-training. El paper modera la interpretación en discusión, pero el contraste no permite atribuir causalmente la diferencia a safety tuning o RLHF.

La ablation base/instruction compara solo Llama-3 8B y 70B. Encuentra desplazamientos grandes y no uniformes entre ejes; por ejemplo, Llama-3-8B cambia +3,29 en el eje social PCT y +16,4 en societal 8Values. Sin embargo, los modelos base se puntúan mediante log-probabilidades condicionales porque no siguen bien el formato, mientras los instruct producen respuestas categóricas; no es el mismo procedimiento de medición. El código y las respuestas de este experimento no están publicados, solo tres JSON de scores, así que es evidencia exploratoria y no una estimación causal del efecto de post-training.

La tarea downstream toma el titular y lead de 1.063 artículos en inglés y hereda para cada artículo la etiqueta de sesgo del medio en Ground News, agregada a su vez desde AllSides, Ad Fontes y MBFC. Se solicitan valores continuos de −3 a +3 y se comparan con siete clases discretas. El paper anuncia 27.638 predicciones, pero las tablas de resultados suman 27.432 observaciones: faltan 206 y no se publica su mecanismo de exclusión. La distribución es muy desequilibrada: solo 78 observaciones Far Left frente a 728 Far Right y 9.182 Center. La accuracy exacta es 19,2 % para Far Left y 2,1 % para Far Right; MAE es 1,305 y 1,880, respectivamente. El MDE agregado es −0,26, una desviación hacia etiquetas más a la izquierda respecto a Ground News. Estas cifras describen desacuerdo con etiquetas de medio, no verdad ideológica a nivel de artículo; el desequilibrio, la cobertura por modelo y los fallos faltantes impiden interpretar la asimetría como capacidad intrínseca.

Tres regresiones con una observación agregada por modelo (n=26) relacionan scores de cuestionario con: diferencia de MAE Far Right–Far Left, error direccional Center y MAE de categorías de derecha. Ningún predictor alcanza α=0,05; el resultado más cercano es progresivismo frente a asimetría extrema, β=−0,153 y p=0,066. Esto aporta ausencia de evidencia estadística bajo tres especificaciones pequeñas; no demuestra independencia o “decoupling”. Con n=26, múltiples ejes posibles, etiquetas ruidosas y análisis post hoc, un resultado no significativo también es compatible con falta de potencia o mala especificación.

El repositorio sakhadib/PolAlignLLM se auditó en el commit d8d4e428194694656f281636fe9d8bbdadc6c1c4. El código Python compila y, tras instalar dependencias, regenera los análisis públicos de Phase I(b) con diferencias solo de precisión flotante. Incluye 178 preguntas, las diez variantes, 70 scores por instrumento, scripts Selenium de scoring y análisis ANOVA/MTMM/clustering. No incluye licencia, tests, CI, lockfile, seeds, respuestas crudas, snapshots de los scorers web ni un entorno fijado. El README referencia responses.jsonl y or_modelrun.py, que no existen, y el repositorio contiene bytecode __pycache__.

La cobertura pública no reproduce el artículo completo. El runner solo configura siete modelos×diez prefijos; no implementa la cohorte de 26 con diez repeticiones, la clasificación de noticias, las regresiones ni la extracción logprob base/instruct. El fallback de seguridad cambia palabras como “violence”, “terrorism”, “authoritarian” o “war” solo cuando un proveedor bloquea un ítem, pese a que el paper afirma conservar wording fijo y no introducir overrides específicos. Sin responses.jsonl no puede auditarse qué modelos recibieron ítems alterados ni cuántos outputs fallaron.

También hay drift entre manuscrito y artefacto. La Tabla 16 llama “Mistral Medium” y “Qwen3 235B” a dos miembros de Phase I(b), mientras Table 6 y los CSV usan Mistral Large 2512 y Qwen 3.5 Flash; sus medias y desviaciones tampoco coinciden con los CSV actuales. Las η² completas de Table 17 y el resumen MTMM de Table 18 difieren de los resultados versionados; por ejemplo, el repositorio da media monotrait–heteromethod 0,587 y fracción significativa 0,714, frente a 0,82 y 1,00 en el PDF. Las tablas principales seleccionadas sí coinciden con algunos CSV. El repositorio permite comprobar una parte acotada de la robustez, no los resultados centrales de 26 modelos ni el downstream.

La contribución útil es separar cuestionarios, robustez de prompt y conducta en tarea, y mostrar que una sola proyección ideológica es insuficiente. La conclusión fiel es más limitada que el framing: estos modelos producen perfiles de respuesta parecidos bajo tres quizzes y una configuración, esos perfiles varían más entre modelos que por el efecto promedio de diez prefijos en siete sistemas, y no predicen significativamente tres errores agregados. No establece identidad política, validez psicométrica para agentes sintéticos, causalidad de alignment, neutralidad de Ground News ni generalización a otros idiomas, tareas, versiones o despliegues.