Fairness Testing of Large Language Models in Role-Playing

Aplicaciones, sesgos y seguridad2026ACMRevisión editorial aprobada

Autores: Xinyue Li, Zhenpeng Chen, Jie M. Zhang, Ying Xiao, Tianlin Li, Weisong Sun, Yang Liu, Yiling Lou, Xuanzhe Liu

Palabras clave: BiasLens, Role-playing prompts, Fairness testing, Social bias, Adversarial test generation, LLM-as-judge, Demographic roles, Test oracle validation

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

9
Autores
10
Hallazgos
14
Limitaciones
7
Evidencias

Resumen editorial

Español

Este artículo publicado en FSE 2026 presenta BiasLens, un generador de pruebas adversariales para descubrir respuestas socialmente sesgadas cuando un LLM recibe un rol. GPT-4o genera 50 roles para cada una de 11 categorías y 20 preguntas Yes/No, 20 Choice y 20 Why por rol. Tras retirar 136 preguntas con marcadores Group A/B, el conjunto efectivo contiene 32.864 preguntas, no 33.000. Diez modelos contestan cada pregunta tres veces en conversaciones independientes, produciendo 985.920 respuestas crudas. Para cada combinación modelo–pregunta, BiasLens aplica mayoría de dos de tres: Yes y Choice usan reglas predefinidas; Why usa tres votos independientes de GPT-4o-mini por respuesta y después mayoría entre las tres respuestas. Los 107.580 casos informados no son respuestas individuales, sino combinaciones modelo–pregunta clasificadas como sesgadas entre 328.640 posibles: 32,73% dentro de este test adversarial. Los recuentos por modelo oscilan entre 7.579 para GLM-4.5 y 16.963 para Llama-3-8B. Al eliminar el prefijo de rol de las mismas preguntas, el total publicado baja de 107.580 a 81.497: 24,80% de los casos y 7,94 puntos porcentuales menos; el artículo informa una reducción relativa media por modelo de 23,8%. Este contraste pareado es el resultado más útil: en preguntas diseñadas expresamente para provocar estereotipos, añadir estos roles aumenta de forma consistente las detecciones en los diez sistemas. No es una estimación de prevalencia en uso real. Los roles se generan pidiendo grupos con mayor probabilidad de discriminar y las preguntas se redactan para elicitar sesgo; categorías como character, social y victim tampoco son atributos demográficos homogéneos. La validez del oráculo es desigual. En muestras humanas, la regla universal No para Yes/No coincide en 94,6% y la última opción para Choice en 94,4%; los ítems cuyo oráculo es incorrecto no se eliminan del total. Para Why, el juez coincide con humanos solo en 80,7% de 384 pares, y estas preguntas aportan 54.538 detecciones. La publicación destaca 2,6% de sesgos omitidos, pero no libera la matriz de confusión necesaria para explicar el 19,3% de desacuerdo. La auditoría del repositorio encuentra un error adicional: el parser Choice considera neutral cualquier texto que contenga una C mayúscula. Respuestas como A) Children y A. College graduates se clasifican como opción C. Una relectura conservadora por opción inicial cambia 6.383 casos con rol; en Qwen1.5-110B, el recuento pasa de 7.754 a aproximadamente 13.278. Esta recalculación no sustituye una nueva anotación humana, pero invalida comparaciones exactas y rankings basados en el parser actual. El efecto agregado de quitar el rol permanece descriptivamente grande porque el mismo defecto afecta ambas condiciones. El artículo usa además un z-test de dos proporciones como si las muestras fueran independientes, aunque cada pregunta se observa con y sin rol; corresponde un análisis pareado. El artefacto publica casi dos millones de respuestas, preguntas y resultados, lo que aporta mucho valor, pero no es autoconsistente: las respuestas GLM actuales regeneran 22 detecciones menos con rol y 19 menos sin rol que las tablas; faltan anotaciones humanas, generador de roles y el paso que construye final; varios scripts apuntan a carpetas inexistentes, no hay versiones fijadas, tests, CI ni archivo LICENSE. La conclusión defendible es que ciertos prefijos de rol amplifican detecciones de sesgo en un banco adversarial, no que el 32,73% de las interacciones reales sea sesgado ni que el ranking publicado mida de forma estable la equidad general de los modelos.

English

This FSE 2026 paper presents BiasLens, an adversarial test generator for exposing socially biased responses when an LLM is assigned a role. GPT-4o generates 50 roles for each of 11 categories and 20 Yes/No, 20 Choice, and 20 Why questions per role. After removing 136 questions containing Group A/B placeholders, the effective set contains 32,864 questions rather than 33,000. Ten models answer every question three times in independent conversations, producing 985,920 raw responses. For each model-question combination, BiasLens uses a two-of-three majority: Yes and Choice use predefined rules, while Why uses three independent GPT-4o-mini votes per response followed by a majority across the three responses. The reported 107,580 cases are not individual responses. They are model-question combinations classified as biased among 328,640 possible combinations, or 32.73% within this adversarial test. Per-model counts range from 7,579 for GLM-4.5 to 16,963 for Llama-3-8B. Removing the role prefix from the same questions lowers the published total from 107,580 to 81,497, or 24.80% of cases and an absolute reduction of 7.94 percentage points. The paper reports a mean model-level relative reduction of 23.8%. This paired contrast is the most useful result: for questions expressly designed to trigger stereotypes, adding these roles consistently increases detections across all ten systems. It is not an estimate of prevalence in ordinary use. Roles are generated by requesting groups likely to discriminate and questions are written to elicit bias; categories such as character, social, and victim are not homogeneous demographic attributes either. Oracle validity is uneven. In human samples, the universal No rule for Yes/No agrees in 94.6% of cases and the final-option Choice rule in 94.4%; items with an invalid oracle are not removed from the headline total. For Why, the judge agrees with humans on only 80.7% of 384 sampled pairs, and Why questions contribute 54,538 detections. The paper highlights a 2.6% missed-bias rate but does not release the confusion matrix needed to explain the total 19.3% disagreement. The repository audit finds an additional defect: the Choice parser treats any text containing an uppercase C as neutral. Answers such as A) Children and A. College graduates are therefore read as option C. A conservative first-option reparse changes 6,383 role-conditioned model-question cases. For Qwen1.5-110B, the count changes from 7,754 to approximately 13,278. This audit reparse is not a substitute for new human annotation, but it invalidates exact parser-based comparisons and rankings. The aggregate role-removal effect remains descriptively large because the same defect affects both conditions. The paper also applies a two-proportion z-test as if the samples were independent even though each question is observed with and without the role; a paired analysis is required. The artifact releases nearly two million responses, questions, and result files, which is valuable, but it is not self-consistent. Current GLM raw responses regenerate 22 fewer detections with roles and 19 fewer without roles than the saved tables. Human annotations, the role generator, and the code that creates the final judge label are absent; several scripts target nonexistent directories, and there are no pinned versions, tests, CI, or LICENSE file. The defensible conclusion is that specific role prefixes amplify bias detections in an adversarial test bank, not that 32.73% of real interactions are biased or that the published ranking stably measures general model fairness.

Pregunta de investigación

¿Puede un marco automatizado generar roles, preguntas y oráculos que expongan respuestas socialmente sesgadas de LLM durante role-playing, y cuánto cambian las detecciones al retirar la asignación de rol?

Método

BiasLens usa GPT-4o para generar 550 roles y preguntas adversariales Yes/No, Choice y Why en 11 categorías. Diez LLM contestan 32.864 preguntas tres veces con configuración por defecto, tanto con rol como sin el prefijo de rol. Las reglas consideran Yes sesgado en Yes/No y cualquier opción distinta de la última en Choice; las respuestas Why se juzgan con votos repetidos de GPT-4o-mini. Dos anotadores expertos y un árbitro evalúan muestras de roles, preguntas, oráculos y categorías. El artículo compara proporciones con un z-test y estudia consistencia entre tres rondas.

Muestra: 32.864 preguntas retenidas: 10.975 Yes/No, 10.917 Choice y 10.972 Why. Diez modelos y tres rondas producen 985.920 respuestas crudas por condición, o 328.640 combinaciones modelo–pregunta tras mayoría. Evaluación humana: 372 preguntas de cada formato cerrado, 384 pares Why, 380 preguntas para tipos de sesgo y 372 preguntas por formato para naturalidad; los 550 roles se revisan manualmente.

Hallazgos

  • El total publicado de 107.580 equivale a 32,73% de 328.640 combinaciones modelo–pregunta con rol, no a 107.580 respuestas crudas independientes.
  • Llama-3-8B registra el máximo publicado, 16.963 casos, y GLM-4.5 el mínimo, 7.579; estas comparaciones quedan afectadas por errores del parser y deriva del artefacto.
  • Sin prefijo de rol, el total baja a 81.497, 24,80%; la diferencia agregada es 7,94 puntos porcentuales y todos los modelos disminuyen descriptivamente.
  • El artículo informa una reducción relativa media por modelo de 23,8% al quitar el rol.
  • 60,7% de las preguntas que activan alguna detección lo hacen en más de tres modelos y 14,0% en los diez, según los scores publicados.
  • Culture y race concentran los mayores recuentos medios publicados entre las 11 categorías; el análisis es de exposición adversarial, no de prevalencia poblacional.
  • Las respuestas mantienen la misma etiqueta sesgo/no sesgo en las tres rondas para 97,1% de Yes/No, 83,2% de Choice y 79,3% de Why en promedio.
  • Las muestras humanas califican 92,8% de las preguntas como buenas en relevancia y 96,4% como buenas en claridad por ambos anotadores.
  • La regla Yes/No coincide con humanos en 94,6%, Choice en 94,4% y el juez Why en 80,7% de los pares muestreados.
  • El repositorio contiene todos los volúmenes esperados de CSV: 330 archivos y 985.920 respuestas por condición, sin claves duplicadas en la auditoría.

Limitaciones

  • El banco es deliberadamente adversarial: roles y preguntas se generan para maximizar la exposición de estereotipos, por lo que las tasas no estiman frecuencia en conversaciones naturales.
  • Las 11 categorías mezclan atributos demográficos, ocupaciones, carácter, estatus social y victimización; no forman un marco uniforme de grupos protegidos.
  • Las reglas cerradas son incorrectas en aproximadamente 5,4% de Yes/No y 5,6% de Choice según la propia muestra humana, pero los ítems no se corrigen antes del total principal.
  • El juez Why tiene 80,7% de acuerdo global con humanos; no se publica matriz de confusión, etiquetas, selección exacta ni adjudicaciones.
  • El parser Choice busca una C mayúscula en cualquier posición, confundiendo contenido como Children o College con la opción neutral C y alterando miles de casos.
  • El parser Yes/No busca substrings yes y no; errores, respuestas vacías y explicaciones fuera de formato pueden convertirse en etiquetas sin una categoría de fallo explícita.
  • La comparación con/sin rol es pareada por pregunta y modelo, pero usa un z-test para dos proporciones independientes; no modela pareado, clustering por pregunta/rol ni multiplicidad por diez modelos.
  • La afirmación de ausencia de correlación capacidad–sesgo no presenta coeficiente, incertidumbre ni prueba; se apoya en rankings mutables y ejemplos de orden.
  • Los diez sistemas se sirven mediante OpenAI, DeepSeek, OpenRouter y AIMLAPI con configuraciones por defecto y alias mutables; modelo, host, plantilla y fecha quedan confundidos.
  • No se fijan temperatura, seed, digest de pesos, versión de API ni fecha por cada archivo de respuesta; tres rondas caracterizan variación pero no garantizan repetibilidad.
  • Los datos GLM crudos actuales no regeneran sus tablas guardadas y 29 registros Llama-3-70B no emparejan exactamente entre rondas.
  • Faltan el generador de roles, el paso que crea la columna final, anotaciones humanas y matrices de validación; varios scripts tienen rutas y configuraciones parciales no ejecutables.
  • No hay lock, versiones de dependencias, tests, CI, checksums, release ni archivo LICENSE, aunque el README declara MIT.
  • La validación de tipos de sesgo cuenta como correcta cualquier predicción automática que contenga todas las etiquetas humanas, sin penalizar etiquetas adicionales; el 93,68% no es coincidencia exacta de conjuntos.

Qué no demuestra

  • No establece que 32,73% de las interacciones ordinarias con LLM sean sesgadas; la cifra pertenece a prompts adversariales seleccionados para provocar sesgo.
  • No mide equidad global de un modelo ni permite un ranking estable entre proveedores mientras el parser Choice y las versiones de servicio no estén corregidos y fijados.
  • No demuestra que los 107.580 casos sean respuestas independientes; son decisiones de mayoría por combinación modelo–pregunta construidas a partir de tres respuestas.
  • No valida perfectamente los oráculos: el desacuerdo humano es 5-6% para formatos cerrados y 19,3% para Why.
  • No prueba causalidad general de role-playing; identifica el efecto de prefijos concretos sobre las mismas preguntas adversariales y bajo proveedores concretos.
  • No demuestra que capacidad y fairness carezcan de relación ni que puedan optimizarse simultáneamente; no realiza un análisis de correlación o trade-off.
  • No demuestra generalización a otros roles, idiomas, tareas, conversaciones multi-turno o despliegues reales.
  • No permite reconstruir de extremo a extremo todas las tablas desde un clon limpio con los scripts y datos actuales.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2411.00585v2; published in Proceedings of the ACM on Software Engineering 3 (FSE 2026), 2211-2234, DOI 10.1145/3808106

Fuente consultada: https://arxiv.org/pdf/2411.00585

Revisión: Codex 24-page full-text visual, TeX, publication, data-quality, oracle, parser, statistical, repository, executable-artifact, reproducibility and claim audit, 2026-07-16

Aprobación: Codex fidelity pass, 2026-07-16

Modelos evaluados

  • GPT-4o-mini
  • GPT-5-mini
  • Qwen1.5-110B-Chat
  • Qwen3-235B-A22B-Instruct-2507
  • Llama-3-8B-Chat
  • Llama-3-70B-Chat
  • Gemini-2.5-Flash
  • GLM-4.5
  • DeepSeek-V2.5 / deepseek-chat endpoint
  • Mistral-7B-Instruct-v0.3
  • GPT-4o question generator
  • GPT-4o-mini test-oracle judge

Instrumentos y métricas

  • BiasLens role and adversarial question generator
  • Rule-based Yes/No oracle with No predefined as unbiased
  • Rule-based Choice oracle with the last option predefined as unbiased
  • Repeated GPT-4o-mini majority judge for Why responses
  • Three independent response trials per model-question pair
  • Three-point human relevance and clarity scale
  • Cohen's kappa for annotator agreement
  • Role-present versus role-removed prompt comparison
  • Two-proportion z-test
  • DataMuse pairwise lexical-semantic similarity

Datos utilizados

  • BiasLens benchmark: 550 roles and 32,864 retained adversarial questions
  • 985,920 raw role-conditioned model responses
  • 985,920 raw role-removed model responses
  • Saved per-model majority classifications and analysis tables
  • Unreleased human validation labels and adjudications

Evidencia y localización

  • Publicación, DOI, páginas y autoría oficial corregida: Crossref DOI 10.1145/3808106 and FSE 2026 official program, checked 2026-07-16
  • Generación de roles/preguntas, oráculos y diseño de tres rondas: arXiv 2411.00585v2, Sections 3 and 4
  • Tamaño efectivo, 985.920 respuestas, 107.580 mayorías y resultados por modelo: arXiv v2, Sections 4.3 and 5.1, Tables 2-3
  • Validación humana de roles, preguntas, oráculos y tipos de sesgo: arXiv v2, Sections 5.2-5.4 and Table 4
  • Efecto de retirar el rol y consistencia entre rondas: arXiv v2, Sections 5.5-5.6 and Tables 5-6
  • Integridad de CSV, parser Choice, deriva GLM, rutas rotas y artefactos ausentes: Official BiasLens repository at commit 7c655ee4f8e7462547e10962105aa9577e8173d2
  • Auditoría consolidada de datos, oráculos, estadística, código y reproducibilidad: reports/verification/article-288-fse-biaslens-adversarial-prevalence-oracle-parser-pairing-artifact-and-claim-audit.json