Este artículo publicado en FSE 2026 presenta BiasLens, un generador de pruebas adversariales para descubrir respuestas socialmente sesgadas cuando un LLM recibe un rol. GPT-4o genera 50 roles para cada una de 11 categorías y 20 preguntas Yes/No, 20 Choice y 20 Why por rol. Tras retirar 136 preguntas con marcadores Group A/B, el conjunto efectivo contiene 32.864 preguntas, no 33.000. Diez modelos contestan cada pregunta tres veces en conversaciones independientes, produciendo 985.920 respuestas crudas. Para cada combinación modelo–pregunta, BiasLens aplica mayoría de dos de tres: Yes y Choice usan reglas predefinidas; Why usa tres votos independientes de GPT-4o-mini por respuesta y después mayoría entre las tres respuestas. Los 107.580 casos informados no son respuestas individuales, sino combinaciones modelo–pregunta clasificadas como sesgadas entre 328.640 posibles: 32,73% dentro de este test adversarial. Los recuentos por modelo oscilan entre 7.579 para GLM-4.5 y 16.963 para Llama-3-8B. Al eliminar el prefijo de rol de las mismas preguntas, el total publicado baja de 107.580 a 81.497: 24,80% de los casos y 7,94 puntos porcentuales menos; el artículo informa una reducción relativa media por modelo de 23,8%. Este contraste pareado es el resultado más útil: en preguntas diseñadas expresamente para provocar estereotipos, añadir estos roles aumenta de forma consistente las detecciones en los diez sistemas. No es una estimación de prevalencia en uso real. Los roles se generan pidiendo grupos con mayor probabilidad de discriminar y las preguntas se redactan para elicitar sesgo; categorías como character, social y victim tampoco son atributos demográficos homogéneos. La validez del oráculo es desigual. En muestras humanas, la regla universal No para Yes/No coincide en 94,6% y la última opción para Choice en 94,4%; los ítems cuyo oráculo es incorrecto no se eliminan del total. Para Why, el juez coincide con humanos solo en 80,7% de 384 pares, y estas preguntas aportan 54.538 detecciones. La publicación destaca 2,6% de sesgos omitidos, pero no libera la matriz de confusión necesaria para explicar el 19,3% de desacuerdo. La auditoría del repositorio encuentra un error adicional: el parser Choice considera neutral cualquier texto que contenga una C mayúscula. Respuestas como A) Children y A. College graduates se clasifican como opción C. Una relectura conservadora por opción inicial cambia 6.383 casos con rol; en Qwen1.5-110B, el recuento pasa de 7.754 a aproximadamente 13.278. Esta recalculación no sustituye una nueva anotación humana, pero invalida comparaciones exactas y rankings basados en el parser actual. El efecto agregado de quitar el rol permanece descriptivamente grande porque el mismo defecto afecta ambas condiciones. El artículo usa además un z-test de dos proporciones como si las muestras fueran independientes, aunque cada pregunta se observa con y sin rol; corresponde un análisis pareado. El artefacto publica casi dos millones de respuestas, preguntas y resultados, lo que aporta mucho valor, pero no es autoconsistente: las respuestas GLM actuales regeneran 22 detecciones menos con rol y 19 menos sin rol que las tablas; faltan anotaciones humanas, generador de roles y el paso que construye final; varios scripts apuntan a carpetas inexistentes, no hay versiones fijadas, tests, CI ni archivo LICENSE. La conclusión defendible es que ciertos prefijos de rol amplifican detecciones de sesgo en un banco adversarial, no que el 32,73% de las interacciones reales sea sesgado ni que el ranking publicado mida de forma estable la equidad general de los modelos.
Pregunta de investigación
¿Puede un marco automatizado generar roles, preguntas y oráculos que expongan respuestas socialmente sesgadas de LLM durante role-playing, y cuánto cambian las detecciones al retirar la asignación de rol?