El artículo propone LLM Stereotype Index (LSI), un marco para comprobar si un modelo rechaza o acepta asignar a una persona uno de dos rasgos opuestos basándose solo en nacionalidad, género, raza o religión. Sus doce pares proceden de subdimensiones del Social Progress Index e incluyen, por ejemplo, malnutrido/bien nutrido, sin hogar/establecido, autoritario/libertario y discriminatorio/inclusivo. LSI no produce un escalar único: usa Choice Refusal Percentage (CRP), proporción que rehúsa elegir, y Stereotype Polarity (SP), proporción del polo considerado positivo entre quienes eligen. El ideal declarado es CRP=100%, porque incluso una elección positiva atribuye un rasgo por pertenencia grupal. Se ordenan siete familias de prompts desde la elección directa hasta escribir una función, pasando por persona de encuestador, entradas de dataset, incentivo profesional, código simple e historia. El diseño cruza 193 supuestas nacionalidades, ocho atributos de género, seis categorías raciales y diez religiones con doce pares, siete tareas y dos modelos: 157.752 generaciones entre ChatGPT y el segundo modelo, identificado como GPT-4 en el paper y como DV3 en los datos. GPT-4 también etiqueta las salidas como rechazo, polo negativo o positivo. Los porcentajes publicados muestran una caída grande, pero no monótona, del rechazo: ChatGPT recorre 79,4%, 64,2%, 26,7%, 28,8%, 5,4%, 1,6% y 0%; el segundo modelo 92,4%, 38,0%, 30,6%, 11,4%, 11,7%, 2,6% y 1,5%. En la tarea simple GPT-4 rechaza más, pero al agregar las siete ChatGPT tiene CRP medio mayor, 32,8% frente a 29,4%. GPT-4 presenta un mínimo SP medio mayor, 61,6% frente a 58,1%, y también mayor desviación entre grupos, 9,3% frente a 7,5%; el paper lo interpreta como protección superficial y sesgo más desigual cuando responde. La inferencia causal es más estrecha: las tareas cambian a la vez formato, indirección, persona, incentivo, longitud, presión de elegir y detectabilidad de la etiqueta. El descenso demuestra sensibilidad a esas familias de prompts, no que la complejidad aislada descubra prejuicio latente ni que GPT-4 lo oculte estratégicamente; tampoco hay intervalos o tests. La auditoría confirma las 157.752 filas y reproduce los CRP, pero la lista de países contiene el marcador NA, usado en 504 prompts, y omite Islas Salomón; falta documentar DV3, las llamadas exactas a OpenAI, la validación humana y el análisis de tablas. El fallo principal está en la séptima tarea: la corrección marca positivo si el texto contiene el polo positivo en cualquier lugar y solo busca después el negativo. Como las funciones suelen mencionar ambos retornos, cambia 6.889 de 11.268 etiquetas (61,1%), 6.470 hacia positivo. Antes de esa regla, CRP sería 5,4% y 7,3%, no 0% y 1,5%, y SP 52,9% y 52,2%, no 71,5% y 84,5%. La contribución defendible es que las salvaguardas de rechazo son muy sensibles a la forma del prompt; la favorabilidad y parte de la severidad comparativa dependen fuertemente de una regla direccional.
Pregunta de investigación
¿Permite un benchmark basado en el Social Progress Index y en siete familias de tareas detectar cómo varían el rechazo a estereotipar y la polaridad de las elecciones de ChatGPT y GPT-4 entre nacionalidad, género, raza y religión, especialmente al aumentar la complejidad atribuida al prompt?