Analysing LLM Persona Generation and Fairness Interpretation in Polarised Geopolitical Contexts

Sociedad, cultura y comportamiento colectivo2026arXivRevisión editorial aprobada

Autores: Maida Aizaz, Quang Minh Nguyen

Palabras clave: Persona conditioning, Human simulation, Safety and bias

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

2
Autores
7
Hallazgos
22
Limitaciones
6
Evidencias

Resumen editorial

Español

Este trabajo compara cómo cinco LLM, Gemma 3 27B, Qwen 3 32B, Llama 3.3 70B Instruct, Gemini 2.5 Pro y GPT-4.1, completan perfiles palestinos e israelíes bajo contexto de guerra o no guerra, edad y cinco roles. Con 640 configuraciones por modelo, 3.200 perfiles base, observa que la guerra desplaza con más frecuencia los perfiles palestinos hacia clase baja, ocupaciones de supervivencia y descriptores de fatiga o lesión, mientras los israelíes permanecen mayoritariamente en clase media y empleos especializados. Añadir una advertencia contra supuestos dañinos no corrige el patrón de forma estable: según el modelo cambia pronombres, converge hacia estudiante o altera la apariencia, pero persisten diferencias socioeconómicas. Es un diagnóstico valioso de disparidad representacional y sensibilidad al prompt, no una medida de personas reales. No hay referencia demográfica ni definición operativa de justicia; se usa una sola generación por celda a temperatura 0,7, sin intervalos ni pruebas. El prompt obliga a los niños a haber trabajado y reduce género y clase a categorías cerradas. Además, el análisis de razones cuenta palabras incluidas en la propia advertencia, y el SAE de otro Llama se aplica a textos, no a activaciones internas. No hay datos ni código para reproducir los resultados. La figura 9 oficial intercambia las series de Llama, Qwen y GPT respecto de la tabla 1. El artículo apoya auditar asociaciones inducidas por prompts, no simular fielmente poblaciones ni demostrar razonamiento justo.

English

This study compares how five LLMs, Gemma 3 27B, Qwen 3 32B, Llama 3.3 70B Instruct, Gemini 2.5 Pro and GPT-4.1, complete Palestinian and Israeli profiles across war versus no-war context, age framing and five roles. Across 640 configurations per model and 3,200 baseline profiles, war more often shifts Palestinian profiles toward lower socioeconomic status, survival-oriented occupations and fatigue or injury descriptors, while Israeli profiles remain predominantly middle class and professionally specialised. Adding a warning against harmful assumptions does not correct the pattern consistently: depending on the model it changes pronouns, converges occupations toward student or alters appearance, while socioeconomic differences persist. This is useful evidence of representational disparity and prompt sensitivity, not a measurement of real people. There is no demographic reference or operational fairness target; the design appears to use one generation per cell at temperature 0.7, without intervals or tests. The prompt forces children to have worked and reduces gender and class to closed categories. Its rationale analysis also counts words supplied by the warning itself, while an SAE from another Llama is applied to text rather than target-model activations. No data or code supports regeneration. Official Figure 9 permutes the Llama, Qwen and GPT series relative to Table 1. The paper supports auditing prompt-induced associations, not faithful population simulation or demonstrated fair reasoning.

Pregunta de investigación

Cómo representan cinco LLM las identidades palestina e israelí al generar personas bajo variaciones de guerra, edad y rol; cómo cambia esa representación al pedir que eviten supuestos dañinos; y qué muestran sus justificaciones textuales sobre esa respuesta al concepto de justicia.

Método

Diseño factorial en inglés ejecutado mediante OpenRouter a temperatura 0,7. Cada modelo completa una plantilla con pronombre, edad, residencia, ocupación, clase socioeconómica y apariencia para identidad, guerra/no guerra, niño/persona, cinco roles y condiciones de género/SES fijas o inferidas. Se reportan 640 perfiles por modelo. Una segunda condición añade una advertencia antiesereotipos. Los autores normalizan ocupaciones y lugares, clasifican manualmente palabras de apariencia en nueve grupos, cuentan dos listas de vocabulario en razones post-hoc y aplican InterpEmbed con un SAE de Llama 3.1 8B a los textos. También examinan tokens de razonamiento de Qwen y un resumen de API de Gemini.

Muestra: Cinco modelos, 640 respuestas por modelo y 3.200 perfiles base. Los factores incluyen dos identidades, guerra/no guerra, niño/persona y cinco roles, además de ramas con género y clase fijados o inferidos. El artículo no presenta una tabla completa que derive las 640 celdas ni reconcilia el total base con las generaciones emparejadas con advertencia, las razones y los tokens/resúmenes de razonamiento. Parece haber una única muestra estocástica por celda.

Hallazgos

  • En guerra, los perfiles palestinos se asocian con más frecuencia a clase baja, venta ambulante, labores de supervivencia, fatiga y lesión; los israelíes conservan más clase media y profesiones especializadas.
  • En el prompt infantil aparecen más vendedores o trabajadores para palestinos y más estudiantes para israelíes, aunque la plantilla obliga a todos los niños a haber 'trabajado como'.
  • El rol asignado parece afectar menos que el modelo, la identidad y el contexto.
  • La advertencia antiesereotipos no genera una corrección común: produce desplazamientos distintos por modelo y no elimina de forma consistente las diferencias socioeconómicas.
  • Las razones con vocabulario de sesgo aumentan +21,34% en Gemma, +18,02% en Qwen, +15,84% en Llama, +10,66% en Gemini y +22,66% en GPT.
  • Los rasgos SAE más frecuentes tras la advertencia se relacionan con precaución, daño, evitación y estereotipos, compatible con que el modelo haya recogido el lenguaje del prompt.
  • La tabla 1 reporta distribuciones de pronombre por modelo, pero la figura 9 etiqueta bajo Llama datos de GPT, bajo Qwen datos de Llama y bajo GPT datos de Qwen.

Limitaciones

  • Es una auditoría descriptiva de salidas, sin población humana, verdad de referencia o distribución demográfica con la que medir fidelidad.
  • No define operativamente qué resultado sería justo o no sesgado; no puede demostrar corrección, representatividad ni equidad absoluta.
  • Parece usar una sola generación por celda a temperatura 0,7, sin réplicas, seeds ni sensibilidad a variación estocástica.
  • No ofrece intervalos, tests, modelos jerárquicos, control de multiplicidad ni incertidumbre; significativo se usa de manera descriptiva.
  • No reconcilia los 3.200 perfiles base con la condición de advertencia, razones, fallos, retries y exclusiones en un flujo completo.
  • No enumera en una tabla todas las celdas factoriales, niveles fijados/inferidos y denominadores.
  • Los alias exactos/snapshots, fechas, top-p, límites de tokens, seeds, retries, costes y errores por modelo no están documentados.
  • La codificación manual de apariencia y normalización de ocupación/lugar carece de mapeos completos, número e independencia de anotadores, acuerdo y adjudicación.
  • La advertencia contiene harmful assumptions or stereotypes y la lista contada incluye harmful, assumption y stereotyp; parte del efecto verbal es fuga directa del prompt.
  • Las razones solicitadas después de generar no son una explicación causal fiel de la decisión original.
  • El SAE pertenece a Llama 3.1 8B y se usa como extractor sobre texto ajeno; no inspecciona activaciones de los cinco modelos objetivo.
  • No se valida umbral de presencia, universo de selección, transferencia entre dominios ni comparaciones múltiples en el análisis SAE.
  • El resumen de razonamiento oculto de Gemini no es comparable con los tokens más completos de Qwen.
  • La plantilla restringe género a he/she/they y equipara they con no binario; mide pronombre forzado, no identidad de género validada.
  • La clase socioeconómica se fuerza a baja/media/alta sin instrumento validado ni referencia poblacional.
  • La plantilla infantil exige 'worked as a [job]', lo que prima ocupación y trabajo infantil y limita la interpretación del resultado.
  • El binario palestino/israelí y el uso variable de identidad, etnia y lado ocultan heterogeneidad intragrupo.
  • Los mapas no especifican fuente de fronteras o convención geopolítica; el texto llama a Tel Aviv capital de Israel de forma imprecisa.
  • No hay consulta documentada con personas palestinas/israelíes, expertos regionales o comunidades afectadas pese al contexto de guerra activa.
  • No se liberan perfiles, razones, razonamiento, prompts estructurados, mapeos, código, logs, scripts ni datos de figuras.
  • La figura 9 oficial permuta Llama/Qwen/GPT en v1 y v2; sin datos/código no se puede excluir el mismo riesgo en otras figuras.
  • La frase de que solo Qwen reconoce no binario es excesiva: la tabla 1 da 8,75% de they a Llama en no guerra, aunque Qwen sea más consistente.

Qué no demuestra

  • No demuestra que los perfiles generados sean fieles a personas palestinas o israelíes reales.
  • No demuestra simulación humana, precisión demográfica ni representatividad poblacional.
  • No establece una métrica objetiva de justicia ni que la advertencia haga los perfiles más justos.
  • No atribuye causalmente los patrones al entrenamiento, a una percepción interna o a un mecanismo del modelo.
  • No valida razones post-hoc como trazas fieles de decisión.
  • No convierte rasgos SAE de texto en evidencia mecanística sobre GPT-4.1, Gemini, Gemma, Qwen o Llama 3.3.
  • No separa por completo asociaciones del modelo de restricciones y priming introducidos por la plantilla.
  • No sustenta inferencia estadística o estabilidad de los porcentajes entre muestras estocásticas.
  • No permite regenerar las tablas o figuras con artefactos públicos.
  • No hace fiable la figura 9 para comparar pronombres por Llama, Qwen y GPT.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2603.22837v1; cross-checked against ACL Anthology 2026.eacl-srw.51 Version 2, DOI 10.18653/v1/2026.eacl-srw.51

Fuente consultada: https://arxiv.org/abs/2603.22837

Revisión: Codex 21-page arXiv plus official ACL v1/v2 visual full-text, construct, prompt-leakage, statistical, figure-integrity, reproducibility and ethics audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Gemma 3 27B
  • Qwen 3 32B
  • Llama 3.3 70B Instruct
  • Gemini 2.5 Pro
  • GPT-4.1
  • Goodfire Llama 3.1 8B layer-19 sparse autoencoder

Instrumentos y métricas

  • Plantilla factorial de persona geopolítica
  • Advertencia 'avoid harmful assumptions or stereotypes'
  • Normalización manual de ocupaciones y lugares
  • Taxonomía manual de nueve categorías de apariencia
  • Dos listas manuales de palabras de estrategia/justicia
  • InterpEmbed con SAE de Llama 3.1 8B
  • Distribuciones descriptivas y mapas de residencia
  • Razones post-hoc y salidas de razonamiento Qwen/Gemini

Datos utilizados

  • 3,200 baseline persona profiles: 640 per target model, not released
  • Debiasing-condition profiles and rationales, total accounting unclear and not released
  • Qwen reasoning outputs and Gemini API reasoning summaries, not released
  • LMSYS-Chat-1M as the reported training corpus of the external SAE

Evidencia y localización

  • Diseño, prompts, 640 respuestas por modelo, métodos, resultados, límites y ética: ACL Anthology 2026.eacl-srw.51 current Version 2, 21/21 pages rendered and individually inspected
  • Persistencia del fallo de etiquetas de la figura 9: Official ACL Version 1 and current Version 2, Appendix Figure 9 compared visually with Table 1
  • Publicación, DOI, versiones, paginación y licencia: Official ACL Anthology landing page inspected 2026-07-17
  • Estado arXiv y metadatos originales: Official arXiv abstract and Atom records for 2603.22837 inspected 2026-07-17
  • Ausencia actual de artefactos enlazados o localizables por título/ID: Paper, ACL/arXiv records and exact-title/arXiv-ID public web and GitHub repository searches on 2026-07-17
  • Auditoría integral de constructo, fuga del prompt, estadística, figura, reproducibilidad y ética: reports/verification/article-385-geopolitical-persona-fairness-construct-prompt-leakage-statistics-figure-label-reproducibility-and-ethics-audit.json