Personality Shapes Gender Bias in Persona-Conditioned LLM Narratives Across English and Hindi: An Empirical Investigation

Aplicaciones, sesgos y seguridad2026arXivRevisión editorial aprobada

Autores: Tanay Kumar, Shreya Gautam, Aman Chadha, Vinija Jain, Francesco Pierri

Palabras clave: Persona-conditioned generation, Gender stereotypes, English-Hindi evaluation, HEXACO, Dark Triad, Occupational narratives, IndicSBERT, Centroid bias metric, Human annotation, Corpus integrity, Fairness, Reproducibility

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

5
Autores
7
Hallazgos
14
Limitaciones
3
Evidencias

Resumen editorial

Español

Este preprint estudia si descripciones explícitas de personalidad cambian el lenguaje estereotípico de género en artefactos profesionales en inglés e hindi. Cruza seis LLM, 50 ocupaciones de India, dos idiomas, género de persona y 18 condiciones de rasgo, niveles alto y bajo de seis dimensiones HEXACO y tres Dark Triad, más baselines sin personalidad. La medida incrusta cada frase con IndicSBERT y resta su similitud a centroides estereotípicos femenino y masculino; cada historia recibe la puntuación firmada de su frase con máximo sesgo absoluto. Los resultados publicados asocian Maquiavelismo y Psicopatía con desplazamientos masculinos positivos, Narcisismo con uno menor, y HEXACO con un patrón heterogéneo: Honestidad-Humildad, Amabilidad y Responsabilidad también aumentan la alineación masculina, mientras Apertura y Emocionalidad la reducen y Extraversión no muestra efecto significativo. El hindi presenta un baseline más masculino en cinco de seis modelos, pero la modulación por personalidad es mayor en inglés. Tres anotadores juzgan como más estereotipada la historia condicionada en el 66% de 50 pares ingleses y el 72% de 50 pares hindi. La auditoría confirma exactamente 23.400 filas públicas, pero no 23.400 historias válidas y distintas: hay 17 textos vacíos y 126 duplicados excedentes en 45 grupos que reutilizan relatos entre condiciones; un relato aparece 19 veces y algunas filas femeninas conservan pronombres masculinos. El código anónimo devuelve 401 y los datos no incluyen puntuaciones, embeddings, regresiones ni anotaciones. La métrica depende de léxicos estereotípicos traducidos, un único encoder y la frase extrema; la media cambia de dirección frente al máximo en el 12,8% de historias. La regresión no publica tabla completa, errores, p-valores exactos, R² ni diagnóstico, y la Tabla 18 ejecuta 216 t-tests sin corrección. Por tanto, la conclusión fiel es que las descripciones de rasgo se asocian con cambios en una medida concreta de estereotipo bajo este diseño factorial; no que Dark Triad sea universalmente más sesgada que HEXACO, que los rasgos prosociales atenúen en general, ni que idioma, cultura, gramática o escala del modelo causen las diferencias.

English

This preprint asks whether explicit personality descriptions change gender-stereotypical language in English and Hindi occupational artifacts. It crosses six LLMs, 50 India-grounded occupations, two languages, persona gender, and 18 trait conditions, high and low descriptions for six HEXACO and three Dark Triad dimensions, plus no-personality baselines. Its metric embeds each sentence with IndicSBERT and subtracts similarity to female from male stereotype centroids; each story receives the signed score of its maximum-absolute-bias sentence. The published results associate Machiavellianism and Psychopathy with positive male-stereotypical shifts, Narcissism with a smaller shift, and HEXACO with a heterogeneous pattern: Honesty-Humility, Agreeableness, and Conscientiousness also increase male alignment, while Openness and Emotionality reduce it and Extraversion is not significant. Hindi has a more male-leaning baseline in five of six models, whereas personality modulation is larger in English. Three annotators judge the conditioned story more stereotyped in 66% of 50 English pairs and 72% of 50 Hindi pairs. The audit confirms exactly 23,400 public rows but not 23,400 valid distinct stories: 17 stories are empty and 126 excess duplicates in 45 groups reuse text across conditions; one story appears 19 times, and some female-labeled rows retain male pronouns. The anonymous code endpoint returns 401, and the data omit bias scores, embeddings, regressions, and annotation rows. The metric depends on translated stereotype lexicons, one encoder, and an extreme sentence; mean aggregation reverses direction relative to max-abs for 12.8% of stories. Regression reporting omits a complete coefficient table, errors, exact p-values, R-squared, and diagnostics, while Table 18 runs 216 uncorrected t-tests. The faithful conclusion is that trait descriptions are associated with shifts in one stereotype-alignment metric under this factorial prompt design; the study does not establish that Dark Triad is universally more biasing than HEXACO, that prosocial traits generally attenuate bias, or that language, culture, grammar, or model scale causes the differences.

Pregunta de investigación

¿Cómo se asocian las descripciones HEXACO y Dark Triad con la dirección y magnitud de una medida de estereotipo de género en artefactos profesionales generados por seis LLM en inglés e hindi, y cómo interactúan con género, ocupación, idioma y modelo?

Método

Se construye un diseño factorial de 23.400 filas: por modelo, 300 baselines (tres géneros por 50 ocupaciones por dos idiomas) y 3.600 casos condicionados (dos géneros por 18 descripciones rasgo-nivel por 50 ocupaciones por dos idiomas). Cada prompt pide un artefacto en primera persona de 6–8 frases. Las frases se segmentan, se incrustan con indic-sentence-similarity-sbert y se puntúan por diferencia de coseno frente a centroides masculino y femenino formados con léxicos curados; la historia hereda la frase con máximo valor absoluto. Se ajusta OLS con género, condición de personalidad, idioma, ocupación y modelo como categorías, más modelos estratificados. Tres anotadores comparan 100 pares condicionado-baseline. La auditoría inspeccionó las 34 páginas, el TeX, los 24 CSV del commit de Hugging Face y comprobó recuentos, vacíos, duplicados, métrica, agregación, estadística, anotación y disponibilidad del código.

Muestra: Seis modelos aportan 3.900 filas cada uno: 300 baselines y 3.600 condiciones con personalidad, para 23.400 filas. La descarga auditada contiene 23.383 historias no vacías y 23.257 textos únicos; 17 filas están vacías y 126 son duplicados exactos excedentes entre condiciones. La validación humana usa 100 pares, 50 por idioma, evaluados por tres anotadores. La estabilidad usa solo 180 historias repetidas para 36 configuraciones en una ocupación inglesa.

Hallazgos

  • Maquiavelismo y Psicopatía muestran desplazamientos positivos hacia el centroide masculino; Narcisismo tiene un efecto positivo menor en el análisis agregado.
  • HEXACO no es uniformemente protector: Honestidad-Humildad, Amabilidad y Responsabilidad también muestran desplazamientos positivos comparables, Apertura y Emocionalidad negativos y Extraversión no significativa.
  • Cinco de seis modelos tienen un baseline hindi más masculino que el inglés; la modulación atribuida a personalidad es mayor en inglés.
  • La anotación por mayoría identifica la historia condicionada como más estereotipada en 66% de pares ingleses y 72% de pares hindi; Fleiss kappa es 0,660 y 0,688.
  • Los 24 CSV suman exactamente 23.400 filas, pero incluyen 17 historias vacías y 126 duplicados excedentes reutilizados entre condiciones distintas.
  • La mayor contaminación está en Mixtral: 16 de 17 vacíos y 98 de 126 duplicados excedentes aparecen en sus archivos de personalidad.
  • El máximo absoluto y la media coinciden en dirección en 87,2%, lo que también implica inversión de signo en 12,8% de historias.

Limitaciones

  • El código enlazado en 4open.science devolvió HTTP 401 y no pudo auditarse ni ejecutarse.
  • Los datos no incluyen puntuaciones, segmentación, embeddings, centroides, matrices OLS, resúmenes estadísticos, anotaciones ni entradas de figuras/tablas.
  • La tarjeta de Hugging Face es un fragmento YAML mínimo, sin licencia, documentación de riesgo, cita, versiones de modelos ni contrato de campos.
  • Las 17 historias vacías y los duplicados entre condiciones contradicen la afirmación de regenerar toda salida defectuosa hasta obtener un artefacto válido.
  • La medida operacionaliza alineación con léxicos estereotípicos predefinidos, no daño, discriminación, competencia profesional ni severidad general de sesgo.
  • Las 50 ocupaciones se seleccionan y separan de antemano como estereotípicamente masculinas o femeninas; no representan el mercado laboral indio.
  • El léxico hindi deriva del inglés y toda la geometría depende de un único IndicSBERT; no se valida invarianza entre idiomas.
  • Elegir la frase más extrema descarta el resto de la historia y puede depender de longitud y segmentación.
  • La anotación humana cubre 100 pares, es forzada y relativa al baseline; no valida magnitud continua, dirección o severidad absoluta.
  • SD3 solo comprueba cumplimiento de prompts Dark Triad en GPT-5 nano; HEXACO y los otros cinco modelos no reciben validación equivalente.
  • La regresión trata historias como independientes, no documenta covarianza robusta/agrupada y no publica resultados diagnósticos completos.
  • Los 216 tests de Tabla 18 usan p<0,05 sin corrección por comparaciones múltiples.
  • Una historia principal por celda no estima variabilidad generativa; la repetición de cinco muestras se limita a una ocupación en inglés.
  • El experimento no reproduce interacción real, distribución de usuarios ni consecuencias de despliegue.

Qué no demuestra

  • No demuestra que Dark Triad sea siempre más sesgada que HEXACO o que los rasgos prosociales atenúen el sesgo.
  • No demuestra que personalidad tenga un efecto mayor que género en general o fuera de esta métrica y prompts.
  • No identifica gramática, cultura o idioma como causa de las diferencias inglés-hindi.
  • No identifica tamaño o arquitectura del modelo como causa de los efectos entre familias no emparejadas.
  • No valida psicométricamente las personalidades generadas en los seis modelos.
  • No prueba daño o discriminación real hacia mujeres, hombres o trabajadores de las ocupaciones listadas.
  • No permite reproducir regresiones, tablas y figuras desde los artefactos públicos disponibles al auditar.
  • No generaliza a diálogo multivuelta, otros idiomas, ocupaciones no estereotipadas o categorías interseccionales.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2604.23600v2

Fuente consultada: https://arxiv.org/abs/2604.23600

Revisión: Codex 34-page visual full-text, TeX, Hugging Face 24-CSV corpus, metric, statistical, annotation and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • GPT-5 nano
  • Llama-3.3-70B-Instruct
  • Gemma-3-1b-it
  • DeepSeek-R1
  • Mixtral-8x7B-Instruct
  • Falcon-Mamba-7B-Instruct
  • indic-sentence-similarity-sbert

Instrumentos y métricas

  • Six HEXACO high/low descriptions
  • Three Dark Triad high/low descriptions
  • Short Dark Triad SD3 prompt-compliance check
  • English and Hindi stereotype lexicons
  • IndicSBERT stereotype centroids
  • Sentence cosine-difference bias score
  • Maximum-absolute story aggregation
  • Treatment-coded OLS
  • Forced pairwise human annotation
  • Fleiss kappa and pairwise Cohen kappa

Datos utilizados

  • Personality-Gendered-Artifacts revision da4b1fcc6ae6136cd7a281e75847e27d8828fbb7
  • 24 English/Hindi model CSV files with 23,400 rows
  • 50 India-grounded occupation-artifact-scenario mappings
  • English and Hindi male/female stereotype word lists
  • Unreleased human annotation rows
  • Unreleased sentence scores, embeddings and regression outputs

Evidencia y localización

  • Diseño, prompts, modelos, métrica, regresión, resultados, limitaciones, ética y apéndices completos: arXiv:2604.23600v2, 34 páginas inspeccionadas; §§3–5 y Apéndice A
  • Corpus público, esquema, recuento por archivo, historias vacías, duplicados y documentación: Hugging Face unknown-submission/Personality-Gendered-Artifacts revision da4b1fcc6ae6136cd7a281e75847e27d8828fbb7
  • Auditoría de integridad, métrica, estadística, artefactos y límites de interpretación: reports/verification/article-359-gender-bias-persona-corpus-metric-statistics-data-and-claim-audit.json