Invisible Influences: Investigating Implicit Intersectional Biases through Persona Engineering in Large Language Models

Pregunta de investigación

¿Cambian las asociaciones lingüísticas interpretadas como sesgo interseccional cuando cinco LLM responden a clases de identidad compuestas y adoptan seis marcos de persona, y puede BADx resumir dirección, sensibilidad, estabilidad y palabras influyentes mejor que medidas estáticas?

Método

Task 1 selecciona seis clases de un corpus curado y puntúa respuestas con variantes ad hoc denominadas CEAT, I-WEAT e I-SEAT. Task 2 cruza seis personas y un control neutral con cinco preguntas y cinco etiquetas de modelo; BAD promedia diferencias firmadas persona-control, PSI promedia BAD entre cinco prompts y la tabla de volatilidad calcula su desviación entre prompts. El artículo afirma cinco generaciones por celda y LIME sobre outputs. La auditoría del repositorio muestra una sola respuesta por celda, un CSV sintético construido con parámetros manuales y un predictor LIME dummy no conectado a las respuestas.

Muestra: El repositorio contiene 261 frases en 21 etiquetas incluida Neutral: 160 frases interseccionales y 101 neutrales. Task 1 conserva 150 respuestas crudas para 6 clases x 5 prompts x 5 modelos, pero su CSV tiene 140 filas y omite dos prompts para los cinco modelos. Task 2 conserva una respuesta por 7 condiciones de persona/control x 5 prompts x 5 modelos y un CSV de 175 puntuaciones sintéticas; no están las cinco generaciones por celda que afirma el artículo.

Hallazgos

• El artículo informa perfiles distintos: GPT-4o sensible y volátil, DeepSeek-R1 supresor pero inestable, LLaMA-4 estable, Claude equilibrado y Gemma de baja volatilidad.
• La tabla BAD asigna signo negativo a todas las personas A-C etiquetadas marginalizadas y positivo a todas las D-F etiquetadas privilegiadas, en todos los modelos y prompts.
• PSI es la media aritmética de los cinco BAD publicados por persona y modelo; la volatilidad de la tabla es su desviación entre prompts, no entre generaciones.
• Las respuestas públicas muestran cualitativamente que el marco de persona cambia el contenido y el énfasis de una contestación.
• El repositorio aporta corpus, respuestas, notebooks, CSV y suplementos, permitiendo detectar discrepancias que el artículo no hace visibles.
• El notebook de Task 2 genera puntuaciones sintéticas desde parámetros manuales y no analiza las respuestas publicadas.
• La tabla BADx del artículo no se reproduce con el CSV: GPT-4o/Persona A/Prompt 1 publica -0,086, mientras su fórmula aplicada al CSV da +0,472.
• Las listas LIME guardadas se etiquetan como simuladas y repiten la misma lista por modelo para todas las personas y preguntas.

Limitaciones

• Las tablas cuantitativas centrales no tienen una ruta reproducible desde las respuestas y el código publicados.
• Task 2 usa perfiles de sesgo, multiplicadores de persona y ajustes de prompt fijados a mano; sus resultados son sintéticos.
• El LIME de Task 2 es un predictor dummy de longitud más ruido y no explica puntuaciones o respuestas del modelo.
• El LIME de Task 1 usa reglas de palabras sobre el prompt, no sobre los outputs ni sobre las medidas de embeddings.
• El artículo y los artefactos discrepan en Claude y Gemma; el notebook de Task 1 también nombra LLaMA-3.
• El artículo afirma cinco generaciones y semilla 42, pero solo hay una respuesta y una puntuación por celda.
• La volatilidad publicada se calcula entre cinco preguntas diferentes, confundiendo heterogeneidad de prompt con inestabilidad estocástica.
• BAD se describe como diferencia absoluta pero la fórmula conserva el signo; PSI permite cancelaciones pese a llamarse magnitud.
• No existe fórmula que combine BAD, PSI, volatilidad y LIME en una puntuación BADx única.
• Las implementaciones no reproducen los procedimientos estándar CEAT, WEAT o SEAT y mezclan direcciones incompatibles.
• El ejemplo I-WEAT del corpus se cancela algebraicamente a cero para cualquier frase.
• El notebook del corpus muestra salidas incompatibles con su propio código y no regenera las 261 puntuaciones publicadas.
• La semilla de Task 2 usa hash() de Python, variable entre procesos si no se fija PYTHONHASHSEED.
• Las frases interseccionales contienen estereotipos y exclusión explícitos, mientras muchos controles contienen éxito e inclusión; no son pares léxicamente equivalentes.
• Las seis clases se eligen por sus puntuaciones altas en el mismo corpus, sin validación fuera de muestra.
• Las identidades están agrupadas sin condiciones de eje único o diseño factorial, por lo que no se identifican interacciones interseccionales.
• La clasificación D-F como privilegiadas se presupone pese a combinar desempleo, bajos ingresos o inmigración.
• No hay validación humana de sesgo percibido, acuerdo de anotadores, criterio conductual o benchmark externo.
• No se reportan pruebas inferenciales, intervalos ni incertidumbre que sostengan la palabra significativamente.
• El umbral 0,2 se atribuye a Cohen aunque estas puntuaciones ad hoc no son Cohen's d.
• El corpus real tiene 261 filas y 101 controles, no 260 y 100; el artículo también oscila entre seis, veinte y veintiuna clases.
• Faltan snapshots de API, endpoints, fechas de ejecución, IDs de petición, reintentos y trazabilidad entre outputs y tablas.
• El repositorio no incluye requirements.txt pese al README, ni lockfile, tests, CI, releases o licencia detectable.

Qué no demuestra

• No valida BADx como medida unificada, psicométrica o de fairness.
• No demuestra que BADx supere a CEAT, WEAT o SEAT estándar.
• No establece modulación estadísticamente significativa por persona.
• No sustenta una clasificación fiable de qué modelo es más sesgado, estable o apto para despliegue.
• No identifica efectos causales de identidad marginalizada o privilegiada ni interacciones propiamente interseccionales.
• No demuestra volatilidad entre cinco generaciones porque esas generaciones no están publicadas.
• No valida las palabras influyentes de LIME como explicaciones del comportamiento de los LLM.
• No distingue sesgo implícito del contenido estereotípico insertado explícitamente en frases y personas.
• No generaliza más allá de cinco preguntas, una redacción por persona, inglés y versiones de modelo ambiguas.
• No permite reproducir exactamente los resultados sin pipeline conectado, dependencias versionadas, modelos inmutables y semillas estables.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2604.06213v1; ACM DOI 10.1145/3795766.3799772

Fuente consultada: https://arxiv.org/abs/2604.06213

Revisión: Codex 11-page article plus 27-page supplement visual full-text, repository, metric-validity, synthetic-score, model-identity, LIME, statistical and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

• GPT-4o
• DeepSeek-R1
• LLaMA-4
• Claude 4.0 Sonnet (artículo; artefactos usan etiquetas Claude-3.5-Sonnet y Claude-4o Sonnet)
• Gemma-3n E4B (artículo; artefactos usan etiquetas Gemma-2o-8B y Gemma-3n 4B)
• RoBERTa-base vía SentenceTransformer como encoder de puntuación

Instrumentos y métricas

• Variantes ad hoc de CEAT, I-WEAT e I-SEAT
• BAD/BADx
• Persona Sensitivity Index (PSI)
• Volatilidad por desviación estándar
• LIME
• Implicit Intersectional Bias Score (IIBS)

Datos utilizados

• Corpus público del estudio: 261 frases, 160 interseccionales y 101 neutrales
• Respuestas Markdown de Task 1 y Task 2
• outputs/task1_bias_scores_with_synthetic.csv
• outputs/task2_bias_scores.csv

Evidencia y localización

• Diseño, fórmulas, tablas, discusión, limitaciones, ética y referencias: arXiv:2604.06213v1, 11/11 PDF pages rendered and individually inspected
• Publicación ACM, DOI, páginas, autores, fechas y licencia CC BY 4.0: Official arXiv record and Crossref DOI metadata inspected 2026-07-17
• Corpus, respuestas, notebooks, CSV, historial, ausencia de release y licencia, y discrepancias de modelos: bias-in-LLMs/Bias-in-LLMs commit b31b0a938cd161759d13bd58397491c68e8d8593 inspected 2026-07-17
• Configuración sintética, recuentos y ausencia de barras de error: All 27/27 pages of Appendix.pdf and five Supplementary PDFs rendered and individually inspected
• Generación sintética de Task 2, LIME dummy, pipeline desconectado, bug I-WEAT, semilla hash y no reproducción de BADx: reports/verification/article-391-badx-intersectional-persona-synthetic-scores-metric-validity-model-identity-lime-statistics-and-reproducibility-audit.json