Cheng, Durmus y Jurafsky proponen Marked Personas para estudiar estereotipos en texto abierto sin partir de una lista cerrada de atributos. El procedimiento genera descripciones en primera o tercera persona de grupos demográficos y compara cada grupo marcado con referencias definidas de antemano como no marcadas: White para raza/etnicidad y man para género en el contexto estadounidense e inglés analizado. Marked Words aplica log-odds ponderado con prior informativo, siguiendo Fightin' Words, y conserva términos con z > 1,96; para una identidad interseccional, el término debe distinguirla tanto del referente racial como del de género. Es una medida de diferencias léxicas dentro del corpus generado, no un detector universal ni exhaustivo de estereotipos.
El experimento principal cruza cinco categorías raciales o étnicas, Asian, Black, Latine, Middle-Eastern y White, con man, woman y nonbinary, usa seis prompts y obtiene 15 respuestas por combinación. Son 1.350 personas de GPT-4 y 1.350 de text-davinci-003, 2.700 en total. Como controles, los autores calculan divergencia Jensen-Shannon y entrenan SVM one-vs-all sobre bolsas de palabras anonimizadas; las SVM separan los grupos con exactitud 0,96 ± 0,02 en GPT-4 y 0,92 ± 0,04 en GPT-3.5. Para comparar con escritura humana reutilizan 1.230 respuestas de 615 participantes de Prolific, Black o White, recogidas por Kambhatla et al.: cada persona se describió a sí misma y también desde una identidad racial imaginada. Con los léxicos de Ghavami y Peplau, las salidas generadas contienen una proporción mayor de atributos raciales estereotípicos que las respuestas humanas. El resultado de GPT-3.5 es además anómalo: sus personas White contienen más palabras del léxico de estereotipos Black que sus personas Black, una señal de que una lista fija no describe bien qué narrativa está produciendo el modelo.
La aportación central es cualitativa y contextual. Los términos significativos para grupos marcados no son principalmente insultos: GPT-4 y GPT-3.5 producen textos muy positivos según VADER, medias 0,83 y 0,93; desviaciones 0,27 y 0,15, y ninguna de las palabras destacadas tiene sentimiento negativo. Sin embargo, almond-shaped, petite y smooth en mujeres Asian sostienen exotización y docilidad; vibrant, curvy, passionate, dancing y rhythm en mujeres Latine reproducen tropicalismo e hipersexualización; hijab, faith y religious reducen identidades Middle-Eastern a religión; culture, heritage, traditional y proud definen a minorías por su diferencia respecto de la blancura no marcada. Strength, resilient y resilience se concentran sobre todo en mujeres Black y otras mujeres racializadas, renovando el mandato de fortaleza frente a estructuras adversas. Incluso embrace, authentic, independent, leader o powerful pueden funcionar como antiestereotipos marcados: aparecen precisamente en los grupos históricamente privados de esas propiedades y vuelven a convertir su identidad en explicación total.
El patrón se traslada a una prueba de generación narrativa con 30 historias por cada uno de los 15 grupos. En grupos no marcados predominan palabras neutrales; en los demás aparecen martial arts para personajes Asian y guiones de esfuerzo, determinación y sueños para minorías, especialmente mujeres de color. Los autores recomiendan medir intersecciones, estudiar estereotipos positivos en vez de limitar la seguridad a lenguaje denigrante, transparentar las mitigaciones y considerar la negativa crítica: un sistema puede rechazar una solicitud cuando describir una identidad como si implicara rasgos esenciales exige estereotipar. ChatGPT efectivamente rechaza algunos prompts, aunque el rechazo depende mucho de su formulación y desaparece en las dos primeras variantes.
La auditoría del artefacto matiza la reproducibilidad. El repositorio congelado en el commit 9b3ae82 contiene los 1.350 textos equilibrados y sin duplicados de cada modelo principal; el script Marked Words se ejecuta y recupera, por ejemplo, los términos publicados para Black woman. Pero no ofrece licencia, dependencias fijadas, tests ni CI; varios notebooks apuntan a data/separate.csv, que no está incluido, por lo que la comparación humano-modelo y las figuras principales no se reproducen desde el depósito. Otros paths del README no existen. El generador de GPT-4 itera W pero comprueba F, de modo que el código publicado trataría woman como man; además etiqueta cualquier modelo como gpt4. El CSV de historias tiene 449 filas en lugar de las 450 descritas y los archivos de ChatGPT mezclan numeraciones, etiquetas y 604 duplicados en el subconjunto llamado main.
Hay además un problema concreto en el cálculo por léxicos: los notebooks usan text_clean.count(word), que cuenta subcadenas y no tokens. En los datos liberados, el cálculo publicado para GPT-4 da 0,956% de palabras del léxico White en personas Black y 1,358% en personas White; al exigir tokens completos da 0,880% y 0,837%, respectivamente, e invierte esa comparación estrecha. La dirección de los resultados Black-lexicon para GPT-4 y de ambos léxicos para text-davinci-003 se mantiene. Esta robustez editorial no invalida el hallazgo más amplio de narrativas marcadas, que se apoya también en Marked Words y lectura cualitativa, pero sí impide tratar cada barra del análisis de léxicos como una estimación limpia.
La conclusión defendible es que prompts aparentemente neutrales pueden producir diferencias sistemáticas, interseccionales y socialmente cargadas incluso cuando el lenguaje es positivo. No demuestra una esencia psicológica de ningún grupo ni mide actitudes internas del modelo: caracteriza 2.700 salidas de dos sistemas OpenAI de 2022–2023 bajo categorías, prompts y referencias estadounidenses elegidas por los autores. Su valor está en ampliar la auditoría desde palabras ofensivas hacia patrones narrativos; su uso responsable exige actualizar modelos, contextos culturales, identidades y pruebas de impacto, y corregir las carencias del artefacto antes de tomar las cifras como benchmark plenamente reproducible.