The Hidden Bias: A Study on Explicit and Implicit Political Stereotypes in Large Language Models

This paper studies how eight LLMs' political-questionnaire responses change when a sociodemographic persona is assigned or the same propositions are presented in another language. It is relevant to synthetic personality as persona conditioning, but it does not measure psychometric personality, persistent identity, or internal ideology. The audited source is the Findings of EACL 2026 publication, pp. 2235–2252; arXiv v2, the Responsible NLP Checklist, and all six files in the official repository were also reviewed.

The instrument starts from Political Compass Test propositions but does not use its proprietary scoring algorithm. The authors label each proposition as left/right and libertarian/authoritarian and force binary agree=1 or disagree=0 answers. Values are therefore scores from a bespoke adaptation, not official Political Compass coordinates. The paper acknowledges that the PCT is not psychometrically validated, its propositions are not standardized, and the original evaluation criteria are not public. Collapsing responses to binary agreement removes intensity and the new instrument is not independently validated.

The tested endpoints are Gemini 2.0 Flash, Gemini 2.0 Flash-Lite, Gemini 2.5 Flash, GPT-4.1-mini-2025-04-14, Llama 3.3 70B Instruct, Llama 4 Scout 17B-16E Instruct, DeepSeek Coder V2 Lite Instruct, and DeepSeek R1, all reported at temperature zero. Baseline is the English questionnaire. Nineteen explicit personas cover three gender identities, four ethnicities, six Anglosphere countries, and six “German speaking person”-style language personas; every instruction is in English and all propositions are submitted in one structured call. The condition called implicit removes the persona and translates the questionnaire into Italian, German, French, Polish, Czech, or Spanish.

Table 1 places all eight endpoints at negative values on both axes under this scoring scheme: economic scores range from -.567 to -.917 and social scores from -.254 to -.814. This describes agreement with author-created labels, not a validated ideological measure. The text calls the pattern consistent and significant, but reports no test, interval, or inferential unit. Several endpoints also lack immutable dated snapshots and only eight selected systems are studied, so the pattern cannot be generalized to LLMs as a class or causally attributed to training data or RLHF.

Demographic personas produce highly model-dependent changes. Gemini 2.0 Flash with “person of white ethnicity” shifts +.6083 economically and +.2453 socially; Gemini 2.5 Flash with “non-binary person” shifts -.3833 and -.2578; GPT-4.1-mini with “person from the United States” shifts +.1917 and +.1438. Llama 3.3 and Llama 4 have many null or small changes, although neither is fully invariant. These are textual-instruction effects on questionnaire output, not evidence that real people hold those positions or that a model possesses human stereotypes as a mental state.

The language tables do support a narrower descriptive tendency. Recomputing vector magnitudes for their 48 paired comparisons gives a mean of .223 for explicit language personas and .288 for translated questions; translation is larger in 35 pairs and smaller in 13. Heterogeneity matters: translation is larger for all six GPT-4.1-mini and both Gemini 2.0 pairs, but only one of six Llama 4 pairs. The paper does not prespecify a norm, paired contrast, or uncertainty interval, so “more pronounced” describes these rounded tables rather than a general statistical conclusion.

The design also does not identify an implicit stereotype. The explicit condition combines an English questionnaire with an English persona; the implicit condition changes language, wording, translation, cultural context, language competence, tokenization, and possible safety behavior, without a persona. These are not matched interventions differing only in visibility of the same attribute. Cross-language differences may be real and deployment-relevant, but the design cannot separate a latent stereotype from semantic equivalence, language proficiency, or wording sensitivity. The subset of translations said to be meticulously checked has no reported size, instructions, annotator count, agreement, or adjudication.

The explicit/implicit alignment claim has no formal criterion either. No correlation, angle, sign concordance, or test is reported. As one transparent check, 36 of 48 pairs have a positive two-dimensional dot product, but other definitions produce different counts. Turning directional resemblance into model transparency or awareness is anthropomorphic: two similar shifts do not establish self-knowledge. The European political-proximity explanation is likewise speculative because no non-European language comparison can test it.

The annotation release drifts from the paper. The method names three LLM annotators, but Annotations_raw contains four model columns, 4omini, llama3.3, llama-4, and gpt-4.1, plus Human1–3. Final formulas average A:F and silently exclude Human3. In this dataset the 120 rounded final labels happen to be unchanged if all seven columns or the six described B:G columns are used, so exclusion does not alter the released classes; it does alter the protocol and agreement statistics. Among the three stated model columns, 19 of 120 items contain disagreement under the ordinary not-all-equal definition, not five. Direct nominal alpha is .709 over all seven columns, .712 over B:G, and .672 over the A:F columns actually averaged; none reproduces .726. Without code, measurement level, and exact policy, alpha and its 90% interval cannot be replicated.

There is also an item-count mismatch. Annotations_final has 60 propositions times two axes, while Data.xlsx publishes 61 multilingual propositions. The extra item has only three human social annotations in the raw sheet and is excluded from the final sheet. With no item-level responses or scoring code, it is unknown whether model calls and scores used 60 or 61. The checklist further confirms that full human instructions and demographics are absent; annotators were uncompensated undergraduates.

The stereotype equation prints S = Bias_baseline − Bias_persona, while the tables use the opposite subtraction. Gemini 2.0 Flash moves from -.8083 to -.8167 under man and Table 2 reports -.0083; the printed formula yields +.0083. More seriously, tables do not share one baseline. Flash-Lite Table 1 uses the mean of ten runs (-.7000, -.2537), while explicit differences use only the first (-.6500, -.2203): the published man shift is -.0833, -.2448 rather than -.0333, -.2113 relative to Table 1. Llama 4 excludes the first social baseline from Table 1 and reuses it for explicit differences. DeepSeek R1 combines undocumented selections and its row is not the mean of all ten observations.

The official repository at commit db9020813c6e002a730f9aa73eef6c12525e47cb has three commits and only six CSV/XLSX files. scores.xlsx has 586 derived rows: 62 baselines, 104 demographic personas, and 420 translated runs. There is no code, item-level output, API request, parser, scoring implementation, statistical analysis, figure generation, environment, seed, date, tests, CI, README, or license. Of the 96 language-summary rows in Tables 5–6, released score sources cover 42: all 48 explicit language personas and all six DeepSeek R1 translations are missing. No table can be reproduced end to end from raw outputs.

The defensible contribution is that, under an author-annotated binary instrument, some identity prompts and language changes heterogeneously alter political responses from eight endpoints; multilingual differences are descriptively larger in 35 of 48 comparisons. This is useful evidence of persona, language, and wording sensitivity. It does not establish official political coordinates, stable personality or ideology, latent stereotypes, bias awareness, training causality, statistical significance, or full reproducibility.

El artículo estudia cómo cambian las respuestas políticas de ocho LLM cuando se les asigna una persona sociodemográfica o cuando las mismas proposiciones se presentan en otro idioma. Es pertinente para personalidad sintética como caso de condicionamiento por persona, pero no mide personalidad psicométrica, identidad persistente ni una ideología interna. La versión auditada es la publicación de Findings of EACL 2026, pp. 2235–2252; también se revisaron arXiv v2, el checklist responsable y las seis hojas del repositorio oficial.

El instrumento parte de proposiciones del Political Compass Test, pero no usa su algoritmo propietario. Los autores anotan cada proposición como izquierda/derecha y libertaria/autoritaria y fuerzan respuestas binarias agree=1 o disagree=0. Por tanto, los valores no son coordenadas oficiales del Political Compass, sino scores de una adaptación propia. El propio paper reconoce que el PCT no está psicométricamente validado, que sus proposiciones no están estandarizadas y que los criterios originales no son públicos. La reducción binaria elimina intensidad de respuesta y tampoco recibe una validación independiente.

Se evalúan Gemini 2.0 Flash, Gemini 2.0 Flash-Lite, Gemini 2.5 Flash, GPT-4.1-mini-2025-04-14, Llama 3.3 70B Instruct, Llama 4 Scout 17B-16E Instruct, DeepSeek Coder V2 Lite Instruct y DeepSeek R1, todos declarados a temperatura 0. El baseline es el cuestionario en inglés. Las 19 personas explícitas cubren tres identidades de género, cuatro de etnia, seis países anglófonos y seis personas del tipo “German speaking person”; todas se expresan en inglés y todas las proposiciones se envían en una sola llamada estructurada. La condición denominada implícita elimina la persona y traduce el cuestionario a italiano, alemán, francés, polaco, checo o español.

La Tabla 1 coloca a los ocho endpoints en valores negativos de ambos ejes bajo este scoring: de −0,567 a −0,917 en economía y de −0,254 a −0,814 en lo social. Esto describe acuerdo con las etiquetas creadas por los autores, no una medición validada de ideología. El texto llama al patrón “consistent and significant”, pero no presenta test, intervalo ni unidad inferencial. Además, varios endpoints no están fijados por snapshot inmutable y solo se estudian ocho sistemas seleccionados, por lo que no puede atribuirse el patrón a los LLM en general ni causalmente a datos de entrenamiento o RLHF.

En las personas demográficas aparecen cambios muy dependientes de modelo. Gemini 2.0 Flash con “person of white ethnicity” se mueve +0,6083 en economía y +0,2453 en lo social; Gemini 2.5 Flash con “non-binary person” cambia −0,3833 y −0,2578; GPT-4.1-mini con “person from the United States” cambia +0,1917 y +0,1438. Llama 3.3 y Llama 4 muestran muchos cambios nulos o pequeños, aunque tampoco son completamente invariantes. Estos son efectos de instrucciones textuales sobre respuestas a un cuestionario, no evidencia de que las personas reales compartan esas posiciones ni de que el modelo posea estereotipos humanos como estado mental.

Las tablas lingüísticas sí apoyan una tendencia descriptiva acotada. Recalculando las magnitudes vectoriales de sus 48 pares, la media es 0,223 para la persona lingüística explícita y 0,288 para las preguntas traducidas; la traducción es mayor en 35 pares y menor en 13. La heterogeneidad importa: es mayor en los seis pares de GPT-4.1-mini y de los dos Gemini 2.0, pero solo en uno de seis de Llama 4. El paper no define antes del análisis una norma, contraste emparejado o intervalo, de modo que “más pronunciado” es una descripción de las tablas, no una conclusión estadística general.

Tampoco queda identificado un estereotipo “implícito”. La condición explícita combina cuestionario inglés y persona inglesa; la implícita cambia el idioma, las palabras, la traducción, el contexto cultural, la competencia lingüística, la tokenización y posibles conductas de seguridad, sin persona. No son intervenciones emparejadas que difieran solo en visibilidad del mismo atributo. Una diferencia entre idiomas puede ser real y relevante para despliegue multilingüe, pero este diseño no separa estereotipo latente de equivalencia semántica, dominio del idioma o sensibilidad a la formulación. La verificación “meticulosa” de un subconjunto traducido no informa tamaño, instrucciones, anotadores, acuerdo o adjudicación.

La afirmación de alineación entre estereotipos explícitos e implícitos tampoco tiene criterio formal. No se reportan correlación, ángulo, concordancia de signos o test. Como comprobación transparente, 36 de 48 pares tienen producto escalar positivo, pero otros criterios producen conteos diferentes. Convertir esa similitud en “transparency” o “awareness” antropomorfiza la regularidad: dos cambios direccionalmente parecidos no prueban autoconocimiento del modelo. La explicación sobre proximidad política de lenguas europeas también es especulativa porque no se incluye ningún idioma no europeo que la contraste.

La auditoría de las anotaciones encuentra drift entre texto y artefacto. El paper nombra tres anotadores LLM, pero Annotations_raw contiene cuatro columnas de modelo: 4omini, llama3.3, llama-4 y gpt-4.1, además de Human1–3. Las fórmulas finales promedian A:F y excluyen Human3. En estos datos concretos las 120 etiquetas redondeadas coinciden si se usan las siete columnas o las seis descritas B:G, por lo que la exclusión no cambia las clases finales; sí cambia el protocolo y los estadísticos de acuerdo. Entre las tres columnas de modelo declaradas hay discrepancia en 19 de 120 ítems bajo la definición natural de que no todas coinciden, no cinco. Un alfa nominal directo es 0,709 con las siete columnas, 0,712 con B:G y 0,672 con las A:F realmente promediadas; ninguna ruta reproduce 0,726. Sin código, nivel de medida y política exacta, el alfa y su IC del 90 % no son reproducibles.

También existe una discordancia de tamaño: Annotations_final tiene 60 proposiciones por dos ejes, mientras Data.xlsx publica 61 proposiciones multilingües. La extra solo tiene tres anotaciones humanas sociales en la hoja cruda y queda fuera de la final. Sin respuestas por ítem ni código de scoring no se sabe si las llamadas y scores usaron 60 o 61. El checklist confirma además que no se publican instrucciones humanas completas ni demografía; los anotadores eran estudiantes de grado no remunerados.

La ecuación de estereotipo imprime S = Bias_baseline − Bias_persona, pero todas las tablas usan la resta opuesta. Por ejemplo, Gemini 2.0 Flash pasa de −0,8083 a −0,8167 con man y la tabla informa −0,0083; la fórmula impresa produciría +0,0083. Más grave, las tablas no comparten un baseline uniforme. Para Flash-Lite, la Tabla 1 usa la media de diez ejecuciones (−0,7000, −0,2537), mientras las diferencias explícitas usan solo la primera (−0,6500, −0,2203): el shift de man publicado es −0,0833, −0,2448, no −0,0333, −0,2113 respecto al baseline de Tabla 1. Llama 4 excluye la primera ejecución social de su Tabla 1 y la reutiliza para diferencias explícitas. DeepSeek R1 combina selecciones no documentadas y su fila no es la media de las diez observaciones.

El repositorio oficial, commit db9020813c6e002a730f9aa73eef6c12525e47cb, tiene tres commits y solo seis hojas CSV/XLSX. scores.xlsx contiene 586 filas derivadas: 62 baselines, 104 personas demográficas y 420 ejecuciones traducidas. No hay código, respuestas por ítem, llamadas, parser, scoring, estadística, figuras, dependencias, seeds, fechas, tests, CI, README o licencia. De las 96 filas resumen de lenguaje de las Tablas 5–6, se publican fuentes de score para 42: faltan las 48 personas lingüísticas explícitas y las seis traducciones de DeepSeek R1. No puede reconstruirse de extremo a extremo ninguna tabla desde salidas brutas.

La contribución defendible es que, bajo una adaptación binaria y anotada por los autores, ciertos prompts de identidad y cambios de idioma alteran de manera heterogénea las respuestas políticas de ocho endpoints; las diferencias multilingües son descriptivamente mayores en 35 de 48 comparaciones. Es una señal útil sobre sensibilidad a persona, idioma y formulación. No demuestra coordenadas políticas oficiales, personalidad o ideología estable, estereotipos latentes, conciencia del sesgo, causalidad de entrenamiento, significación estadística ni reproducibilidad integral.