Who Gets the Callback? Generative AI and Gender Bias

This paper audits binary gender decisions from six 7–9B-parameter LLMs over 332,044 English-language job ads from India's National Career Services portal, active from July 2020 through November 2022. For each ad, the prompt asserts that Mr. X and Ms. X have the same skills and background and forces the model to select one for interview using only the job title and description. There are no resumes, experience records, or candidate data: the outcome is a forced label preference under an asserted tie, not a qualification assessment or real callback. The source is a 74-page CC BY 4.0 arXiv v1 preprint; every page was rendered and visually inspected.

The models are Llama-3-8B-Instruct, Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, Granite-3.1-8B-it, Ministral-8B-Instruct-2410, and Gemma-2-9B-it. Their original female rates are 73.24%, 17.30%, 41.02%, 61.33%, 1.39%, and 87.33%, respectively. The abstract's statement that most models favor men therefore does not literally match Table 1: three of six are below 50% and three above. Four families also lack stable preferences. Reversing the order of Mr. and Ms. raises female choice to 99.86% Ministral, 99.46% Llama 3, 99.17% Gemma, and 79.64% Granite. Qwen changes only to 19.55% and Llama 3.1 remains at 41.13%. For the first four, the principal evidence is extreme position or label sensitivity; Llama 3.1 is selected for deeper analysis because it alone is relatively stable.

The female rate excludes abstentions. Llama 3.1 refuses to make a gender choice on 5.88% of ads versus 1.51% or less for the others. In a task demanding discrimination between declared equals, refusal can be substantively appropriate. Removing it from the denominator while also treating it as a safeguard invokes two evaluative rules that the study does not combine into a validated measure of utility, quality, and fairness. Gender is also reduced to Mr./Ms.; non-binary people, neutral names, presentation, and intersectional identities are absent.

The paper labels 6,403 ads, 1.93%, as containing an explicit gender request using a simple rule: male without female or the reverse. Kappa between that label and model choice ranges from 55.10% Granite to 92.42% Ministral. The rule is not manually validated and can confuse negation, equal-opportunity text, comparisons, or descriptive uses. High agreement demonstrates sensitivity to those tokens under the heuristic; it does not establish employer intent in every ad or model agreeableness.

For occupational separation, every Indian posting is forced to its closest US 2018 SOC occupation among 867 categories by comparing all-mpnet-base-v2 embeddings with O*NET summaries. No labeled validation set, accuracy, confidence threshold, ambiguity audit, or error propagation is reported; the underlying method is cited as an unpublished manuscript. For Llama 3.1, female rate ranges from 31.24% in Construction and Extraction to 49.83% in Personal Care and Service, with an original six-digit dissimilarity index of 8.25%. This describes model-label distributions over inferred SOC categories, not segregation among workers, applicants, interviews, or hires.

Thirty-six percent of ads, n=119,740, contain a wage range and its midpoint is used. Without controls, Gemma, Granite, and Llama 3.1 attach the female label to lower-wage jobs; Qwen has no gap, while Ministral and Llama 3 associate women with higher-wage jobs. Llama 3.1's raw three-log-point female penalty reverses with fixed effects and disappears entirely after occupation, state, month-year, education, experience, sector, organization, and job-type controls in n=89,660. This is not unequal pay for the same work. Threshold-imposed parity produces model-dependent gaps shaped by the mapping from logits to tokens; the procedure is not evaluated as a hiring policy.

Job language is related to Llama 3.1 female probability through 37 skill categories, TF-IDF unigram Lasso, and more than 100 LIWC-22 categories. The TF-IDF model reaches 49.80% held-out R-squared. Traditional associations appear: care, writing, recruitment, communication, and prosocial language raise the female label, while development, hardware, finance, money, power, and technology reduce it. Direct correlations with employer-female words and words associated with more female applicants are only 9.5% and 15.8%, which the paper itself calls modest. The abstract's strong alignment wording is too strong. These are observational text-output associations potentially confounded by occupation, employer, and geography; no word intervention holds the job constant. Multiplicity and post-Lasso selection uncertainty are also unaddressed.

The personality study conditions only Llama 3.1 on ten P2 descriptions: high and low openness, conscientiousness, extraversion, agreeableness, and emotional stability. No inventory is administered afterward to establish reliability, convergence, or trait discrimination. The descriptions also mix constructs with task-relevant cues. High openness says views are liberal and low openness says conservative; high agreeableness includes morality, altruism, and doing the right thing, while low agreeableness includes immorality, selfishness, and exploiting others. Low conscientiousness instructs carelessness and irresponsibility, and low emotional stability anxiety and paralysis. High openness producing 95.4% female choice, high agreeableness 78.6%, low agreeableness 11.0%, or low conditions increasing refusal can be literal compliance with political, moral, and behavioral wording rather than isolated personality effects.

A second approach asks Llama 3.1 to simulate 99 historical figures and has the same model rate them with ten TIPI-style items repeated ten times. Identities add ideology, gender, fame, biography, moral valence, and safety triggers. Mary Wollstonecraft yields 99.11% female choice; Hitler triggers 98.81% refusal and is then excluded. The same model generates both decisions and personality predictors, creating shared-method and model-knowledge dependence. One perceived-openness point is associated with 9.42 percentage points more female choice; openness and agreeableness with more dissimilarity, extraversion with less, and openness with greater absolute wage disparity. These are associations between outputs of the same model, not human-personality evidence or identified trait causation. Claims about internal risk scores or communist history are speculative because those mechanisms are not observed.

The stated 40,177,324 recommendation queries reproduce exactly: six base and six reversed-order model conditions, ten Big Five prompts, and 99 identities, each over 332,044 ads. Another 9,900 TIPI queries are excluded because they are ratings rather than recommendations. Despite this scale, the paper omits model-file revision, runtime, quantization, temperature, top-p, seed, hardware, and execution dates, and releases no code, frozen corpus, 40-million-row outputs, logits, parsed labels, SOC mapping, or persona results. No official public repository was found. Scale narrows descriptive error for these ads but does not repair measurement bias, prompt dependence, or non-reproducibility.

The defensible contribution is large-scale evidence that six open-weight checkpoints react very differently to an artificial binary tie and that Llama 3.1 associates occupational language with gender under this protocol. Personas and historical names also change choices and refusals. The paper does not establish real callbacks, causal weight discrimination, observed segregation or wages, validated personality, recruiter-agreeableness effects, or a safe mitigation. A faithful reading must foreground the order collapse, disappearance of the adjusted wage gap, and severe trait-prompt confounding.

El trabajo audita decisiones binarias de género de seis LLM de 7–9B parámetros sobre 332.044 anuncios de empleo en inglés del portal National Career Services de India, activos entre julio de 2020 y noviembre de 2022. Para cada anuncio, el prompt afirma que «Mr. X» y «Ms. X» tienen las mismas habilidades y antecedentes y obliga al modelo a elegir a uno para una entrevista usando solo el título y la descripción del puesto. No hay currículos, experiencia o datos de candidatos: el resultado es una preferencia de etiqueta bajo empate forzado, no una evaluación de cualificación ni un callback real. La fuente es arXiv v1, preprint CC BY 4.0 de 74 páginas; todas fueron renderizadas e inspeccionadas visualmente.

Los modelos son Llama-3-8B-Instruct, Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct, Granite-3.1-8B-it, Ministral-8B-Instruct-2410 y Gemma-2-9B-it. Sus tasas femeninas originales son 73,24 %, 17,30 %, 41,02 %, 61,33 %, 1,39 % y 87,33 %, respectivamente. Por tanto, la frase del abstract según la cual «la mayoría» favorece a hombres no coincide literalmente con la Tabla 1: tres de seis quedan por debajo de 50 % y tres por encima. Tampoco son preferencias estables en cuatro familias. Al invertir el orden de «Mr.» y «Ms.», Ministral sube a 99,86 %, Llama 3 a 99,46 %, Gemma a 99,17 % y Granite a 79,64 %. Qwen apenas cambia a 19,55 % y Llama 3.1 permanece en 41,13 %. La evidencia principal para los cuatro primeros es una enorme sensibilidad de posición o etiqueta; Llama 3.1 se selecciona para los análisis detallados porque es el único relativamente estable.

La tasa excluye abstenciones. Llama 3.1 se niega a elegir género en 5,88 % de los anuncios, frente a 1,51 % o menos en los demás. En una tarea que exige discriminar entre candidatos declarados iguales, negarse puede ser una respuesta apropiada. Excluirla del denominador y, al mismo tiempo, interpretarla como salvaguarda introduce dos criterios distintos que el estudio no reúne en una métrica de utilidad, calidad y equidad. El diseño también reduce género a Mr./Ms.; no contempla personas no binarias, nombres neutros, presentación de género o intersecciones.

El artículo identifica 6.403 anuncios, 1,93 %, con una petición explícita de género mediante una regla muy simple: contiene «male» sin «female» o viceversa. Los kappas entre esa etiqueta y la elección del modelo van de 55,10 % en Granite a 92,42 % en Ministral. La regla no se valida manualmente y puede confundir negaciones, texto de igualdad de oportunidades, comparaciones o usos descriptivos. La alta conformidad demuestra sensibilidad a esos tokens según esa heurística; no prueba intención del empleador en cada anuncio ni «agreeableness» del modelo.

Para medir separación ocupacional, cada anuncio indio se fuerza a la ocupación estadounidense 2018 SOC más próxima entre 867 categorías, comparando embeddings all-mpnet-base-v2 del anuncio con resúmenes O*NET. No se publica un conjunto etiquetado, precisión, umbral de confianza, análisis de ambigüedad o propagación de error; el método base se cita como manuscrito no publicado. En Llama 3.1, la tasa femenina va de 31,24 % en Construction and Extraction a 49,83 % en Personal Care and Service y el índice de disimilitud original a seis dígitos es 8,25 %. Esto describe cómo se distribuyen etiquetas del modelo sobre categorías SOC inferidas; no mide segregación de trabajadores, candidaturas, entrevistas o contrataciones reales.

El 36 % de los anuncios, 119.740, ofrece un rango salarial y se usa su punto medio. Sin controles, Gemma, Granite y Llama 3.1 asignan la etiqueta femenina a puestos con salarios menores; Qwen no muestra brecha, mientras Ministral y Llama 3 la asocian a puestos mejor pagados. En Llama 3.1, la penalización bruta es de tres puntos logarítmicos, pero se invierte con efectos fijos y desaparece por completo al controlar ocupación, estado, mes-año, educación, experiencia, sector, organización y tipo de empleo en n=89.660. No es evidencia de diferente paga por el mismo trabajo. Al imponer paridad mediante umbrales de probabilidad, las brechas dependen mucho del modelo y de cómo sus logits se convierten en tokens; el procedimiento no se evalúa como política de contratación.

El lenguaje de los anuncios se relaciona con la probabilidad femenina de Llama 3.1 mediante 37 categorías de habilidades, Lasso sobre unigramas TF-IDF y más de 100 categorías LIWC-22. El modelo TF-IDF obtiene R² de 49,80 % en un 10 % reservado. Se observan asociaciones tradicionales: cuidado, escritura, reclutamiento, comunicación o prosocialidad elevan la etiqueta femenina; desarrollo, hardware, finanzas, dinero, poder o tecnología la reducen. Sin embargo, las correlaciones directas con palabras que empleadores asocian a mujeres y con palabras ligadas a más candidatas son solo 9,5 % y 15,8 %, que el propio texto denomina modestas. El abstract las llama «strong alignment», una formulación demasiado fuerte. Son asociaciones observacionales entre texto y salida; ocupación, empresa y geografía pueden confundirlas, y no se hacen perturbaciones contrafactuales manteniendo el puesto constante. Tampoco se corrige la multiplicidad ni se incorpora la selección Lasso a la inferencia post-Lasso.

La parte de personalidad condiciona solo Llama 3.1 con diez descripciones P2: nivel alto y bajo de apertura, responsabilidad, extraversión, amabilidad y estabilidad emocional. No se administra después un inventario para comprobar fiabilidad, convergencia o discriminación de los rasgos. Además, las descripciones mezclan el constructo con señales directamente relevantes. Apertura alta dice que las opiniones son liberales y apertura baja que son conservadoras; amabilidad alta incluye moralidad, altruismo y «hacer lo correcto», mientras la baja incluye inmoralidad, egoísmo y aprovecharse de otros. Responsabilidad baja ordena descuido e irresponsabilidad y estabilidad baja ansiedad y parálisis. Que apertura alta produzca 95,4 % de elección femenina, amabilidad alta 78,6 % y baja 11,0 %, o que las condiciones bajas aumenten rechazos, puede ser cumplimiento literal de esas instrucciones políticas, morales y conductuales, no un efecto aislado de personalidad.

El segundo enfoque pide simular a 99 figuras históricas y hace que el mismo Llama 3.1 las puntúe con diez ítems estilo TIPI, repetidos diez veces. Las identidades añaden ideología, género, fama, biografía, valencia moral y disparadores de seguridad. Mary Wollstonecraft alcanza 99,11 % de elección femenina; Hitler provoca 98,81 % de rechazo y se elimina después. El mismo modelo genera tanto las decisiones como los predictores de personalidad, de modo que las regresiones comparten método y conocimiento. Un punto de apertura percibida se asocia con 9,42 puntos porcentuales más de elección femenina; apertura y amabilidad con más disimilitud, extraversión con menos y apertura con mayor brecha salarial absoluta. Son asociaciones entre salidas del mismo modelo, no evidencia de personalidad humana ni de que el rasgo cause la conducta. Explicaciones sobre «risk scores» internos o historia comunista son especulativas porque esos mecanismos no se observan.

La cifra de 40.177.324 consultas de recomendación se reproduce exactamente: seis modelos base y seis con orden inverso, diez prompts Big Five y 99 identidades, todos por 332.044 anuncios. A ello se añaden 9.900 consultas TIPI no incluidas porque no son recomendaciones. Pese a esta escala, faltan configuración de inferencia, revisión de pesos, runtime, cuantización, temperatura, top-p, seed, hardware y fechas, código, corpus congelado, 40 millones de salidas, logits, etiquetas parseadas, mapeo SOC y resultados por persona. No hay repositorio oficial público localizado. El tamaño reduce error descriptivo sobre estos anuncios, pero no corrige sesgo de medición, dependencia del prompt o falta de reproducibilidad.

La contribución defendible es mostrar, a gran escala, que seis checkpoints de peso abierto responden de forma muy distinta a un empate binario artificial y que Llama 3.1 vincula lenguaje ocupacional con género bajo este protocolo. También revela que personas y nombres históricos modifican respuestas y rechazos. No demuestra callback real, discriminación causal de pesos, segregación o salarios observados, personalidad validada, efecto de amabilidad del reclutador ni una mitigación segura. La lectura correcta debe situar primero el colapso por orden, la desaparición de la brecha salarial ajustada y los fuertes confusores de los prompts de rasgo.