Confident, Calibrated, or Complicit: Safety Alignment and Ideological Bias in LLM Hate Speech Detection

El artículo estudia cinco LLM desplegados como clasificadores de discurso de odio bajo cuatro prompts de persona política. Su aportación más sólida es mostrar un compromiso operativo que una sola cifra oculta: los modelos clasificados como más «censurados» por una métrica externa producen más salidas utilizables y por eso logran mayor exactitud estricta, mientras los llamados «no censurados» clasifican mejor una vez que sí entregan una etiqueta binaria válida. También documenta que la redacción política mueve el umbral de decisión, sobre todo en el segundo grupo. No es, sin embargo, un experimento causal sobre safety alignment ni una prueba de ideología interna: compara solo cinco sistemas distintos, usa UGI como proxy de censura desplegada, no incluye condición sin persona y mezcla en la métrica principal errores semánticos, rechazos, filtros, fallos de API y problemas de formato.

La versión importa. El preprint v1 y varios registros todavía visibles informan 78,7 % frente a 64,1 %. La versión final reconoce que linajes anteriores habían eliminado silenciosamente filas no parseables, conserva las 65.340 respuestas esperadas y corrige el resultado a 69,0 % frente a 64,1 %. También cambia el ECE agregado a 0,060 y amplía la documentación de modelos y parsing. Esta auditoría usa exclusivamente arXiv v2 y el long paper de ACL 2026; el 78,7 % no es el resultado vigente. La rectificación es una fortaleza metodológica, aunque el paquete que permitiría comprobarla no está públicamente disponible en los lugares inspeccionados.

El benchmark es Latent Hatred, un corpus inglés de Twitter, Gab, Stormfront y Yahoo con 21.480 publicaciones: 1.089 de odio explícito, 7.100 de odio implícito y 13.291 no odiosas. Los autores toman las 1.089 explícitas y muestrean 1.089 implícitas y 1.089 no odiosas, para 3.267 posts equilibrados 1:1:1 por las tres categorías originales. Al fusionar explícito e implícito como HATE, la tarea binaria queda 2:1 frente a NOT_HATE. Por tanto, la exactitud global pesa el recuerdo de odio el doble que la clase no odiosa; los desgloses por tipo de contenido son esenciales para interpretarla.

Los cinco sistemas se eligen por Uncensored General Intelligence (UGI), un leaderboard comunitario que combina disposición a contestar y exactitud en preguntas controvertidas. El grupo de menor UGI, llamado «censored», contiene o3-mini, UGI 22,80, y Llama-3.1-405B-Instruct servido por Vertex AI, 18,48. El de mayor UGI, llamado «uncensored», contiene Mistral Medium, 56,77, GPT-4o-2024-08-06, 49,85, y Mistral Large 2411, 53,16. Que GPT-4o aparezca como «no censurado» muestra que estas etiquetas son operativas y relativas, no descripciones generales del producto. UGI no mide directamente RLHF, cumplimiento de políticas, jailbreak resistance o seguridad. Los autores aproximan capacidad con Elo de LMArena, pero arquitectura, escala, datos, familia, proveedor y filtros de despliegue siguen confundidos.

Cada post se presenta una vez a cada combinación de modelo y persona Progressive, Conservative, Libertarian o Centrist: 3.267 × 5 × 4 = 65.340 ejecuciones, a temperatura 0,7 y sin repeticiones. La salida JSON debe contener HATE, NOT_HATE o CANNOT_CLASSIFY, confianza 0-1 y razonamiento. Los prompts completos del apéndice son arquetipos políticos occidentales muy directivos. Progressive enfatiza justicia social, microagresiones y lenguaje codificado; Libertarian se opone a la censura en casi todas sus formas. Es esperable que cambien el umbral de moderación. No hay baseline sin persona ni manipulation check del razonamiento, así que los contrastes miden sensibilidad relativa a cuatro instrucciones, no desplazamiento desde conducta neutral ni una ideología latente estable.

La «strict accuracy» cuenta como error toda clasificación binaria incorrecta y también CANNOT_CLASSIFY, truncación, filtro del proveedor, error de transporte/API o JSON no recuperable. Es una medida útil de disponibilidad extremo a extremo: en producción, cualquier salida no accionable exige escalado humano. Pero no es exactitud semántica pura. En total, el 19,5 % de respuestas carece de predicción binaria y la exactitud estricta es 66,1 %. El grupo censored obtiene 69,0 % y el uncensored 64,1 %. La descomposición invierte la lectura simplista: en censored, 12,6 % son salidas nulas y 18,5 % errores de etiqueta; en uncensored, 24,2 % y 11,7 %. Condicionado a haber respondido con etiqueta utilizable, censored se equivoca 21,1 % y uncensored 15,4 %. La ventaja estricta del primero procede de responder de forma accionable con más frecuencia, no de discriminar mejor después de responder.

El patrón depende mucho del contenido. En odio explícito, uncensored es claramente mejor: 91,4 % frente a 76,0 %. En odio implícito, censored alcanza 74,7 % frente a 67,3 %. En publicaciones no odiosas, ambos son débiles y la diferencia es 56,2 % frente a 33,7 %. Esto sugiere distintos compromisos entre recuerdo de odio explícito, sensibilidad a señales implícitas y falsos positivos sobre contenido benigno. Entre subtipos implícitos, ironía es el más difícil con 64,4 %, seguido por incitación y amenaza en torno al 71 %; el agregado «other» llega a 83,1 %. Estas cifras son descriptivas del corpus y los cinco endpoints de julio de 2025, no propiedades permanentes de sus familias.

Por persona, la exactitud estricta agregada es 67,8 % Progressive, 66,7 % Centrist, 66,0 % Conservative y 63,7 % Libertarian. Progressive produce mayor tendencia a falsos positivos y menor a falsos negativos; Libertarian desplaza el umbral en sentido opuesto. El artículo llama a estas direcciones «liberal bias» y «conservative bias», pero son definiciones operativas ligadas a errores, no una validación externa de ideología. En censored, las cuatro medias varían solo 0,7 puntos; en uncensored, 6,7. Esto apoya mayor estabilidad relativa del primer grupo ante esos prompts, no que esté anclado en una posición neutral o políticamente correcta.

El análisis logístico agrupado por post informa interacción UGI × persona, Wald χ²(3)=101,279, p<0,001; el efecto conjunto de persona no es significativo dentro de censored, χ²(3)=3,341, p=0,342, y sí dentro de uncensored, χ²(3)=207,635, p<0,001. La precisión aparente debe tomarse con cautela. La categoría UGI se asigna al nivel del modelo y solo existen dos modelos frente a tres; agrupar por post no representa la incertidumbre de ese tratamiento de nivel modelo. El artículo no publica fórmula, coeficientes, errores, implementación de clusters ni código accesible. Tampoco hay draws repetidos, intervalos por seed, bootstrap pareado, efecto aleatorio de modelo o McNemar. Usar la misma temperatura no garantiza ruido simétrico o conservador entre proveedores, rechazos y métricas no lineales.

El análisis de grupos objetivo agrega 19.800 respuestas correspondientes a 990 posts anotados: 19.320 de odio implícito, 380 explícito y 100 no odiosas, ya multiplicadas por cinco modelos y cuatro personas. Un post puede pertenecer a varios grupos. Los n son respuestas repetidas, no observaciones independientes, y cada grupo tiene distinta mezcla de etiquetas y dificultad. Además, etiquetas próximas quedan separadas, black folks, blacks y black_people; jews y jewish_people; whites y white_people. El titular de 54,8 puntos compara non-whites, 91,2 %, con not specified, 36,3 %; «not specified» no es un grupo demográfico comparable. Como los resultados están agrupados sobre modelos y personas, tampoco identifican cuál origina una brecha. Hay heterogeneidad de rendimiento que merece seguimiento, pero no se demuestra por sí sola «protección desigual» en despliegue ni discriminación causal contra una comunidad.

La calibración se calcula solo entre el 80,5 % de salidas con etiqueta utilizable; los rechazos y fallos, precisamente la mayor diferencia entre grupos, quedan fuera. El ECE agregado es 0,060, moderado y no catastrófico. El problema más claro aparece condicionado al error: la confianza media de predicciones incorrectas es 80,1 % en odio explícito, 81,9 % en implícito y 84,1 % en no odio; el 57,0 % de los errores sobre no odio supera 0,8. Son advertencias importantes para human-in-the-loop, pero la confianza solicitada verbalmente no es una probabilidad obtenida de logits y un ECE pooled puede ocultar diferencias por modelo, clase y persona.

La reproducibilidad pública queda incompleta. El apéndice afirma que un bundle sellado el 20 de abril de 2026 contiene dataset canónico, requests, JSONL crudos, tabla combinada, figuras, lockfiles, code/07_audit_bundle.py y reproduce.sh. ACL Anthology solo enlaza PDF y checklist; arXiv solo contiene manuscrito y figuras. El repositorio público del primer autor, sanjerine/beyond-words, es una tesis de 2024, sin releases, con notebooks antiguos y una carpeta latest aún «in progress»; no contiene el experimento final. OpenReview quedó protegido por challenge y no permite excluir un suplemento no indexado. Por ello, los totales pueden comprobarse aritméticamente, pero no se pueden auditar respuestas, hashes, cleaning de targets, regresión o regeneración de figuras. La conclusión correcta es «no recuperado públicamente», no «inexistente».

El checklist oficial dice que se usaron artefactos y que se informan estadísticas, pero responde negativamente a si se documentó una revisión específica de contenido identificable u ofensivo y sus protecciones. Eso importa porque Latent Hatred conserva texto real de redes sociales. El artículo sí discute el uso dual de los prompts, la dignidad de grupos atacados y la subjetividad de las definiciones, pero no detalla auditoría de nombres de usuario, citas borradas, términos de plataformas o gobernanza de razonamientos crudos.

La lectura rigurosa conserva un resultado útil. Para estos cinco despliegues y este benchmark, los modelos de menor UGI son más fiables como servicio porque fallan menos en producir una salida accionable; los de mayor UGI reconocen mejor el odio explícito y cometen menos errores una vez que responden, pero son más frágiles a la redacción política y generan muchas más salidas nulas. La evidencia justifica separar disponibilidad, rechazo, discriminación, sensibilidad al prompt y calibración. No demuestra que safety alignment cause mejor detección, que UGI mida seguridad, que las personas revelen ideología interna, que exista una brecha de fairness en producción ni que los resultados generalicen más allá de cinco endpoints de 2025 y un corpus inglés.

The paper studies five deployed LLMs as hate-speech classifiers under four political-persona prompts. Its strongest contribution is an operational trade-off hidden by one headline number: models classified as more “censored” by an external metric produce more usable outputs and therefore achieve higher strict accuracy, while the so-called “uncensored” models classify better after they do return a valid binary label. It also documents that political wording moves decision thresholds, especially in the latter group. This is not, however, a causal experiment on safety alignment or a test of internal ideology: it compares only five different systems, uses UGI as a proxy for deployed censorship, has no no-persona condition, and combines semantic mistakes, refusals, filters, API failures, and format errors in its main metric.

Version lineage is essential. The v1 preprint and several still-visible records report 78.7% versus 64.1%. The final version acknowledges that earlier result lineages silently dropped unparseable rows, preserves all 65,340 expected responses, and corrects the comparison to 69.0% versus 64.1%. It also changes aggregate ECE to 0.060 and adds much better model and parsing documentation. This audit uses only arXiv v2 and the ACL 2026 long paper; 78.7% is not the current result. The correction is a methodological strength, although the bundle needed to verify it is not publicly available on the inspected surfaces.

The benchmark is Latent Hatred, an English corpus from Twitter, Gab, Stormfront, and Yahoo containing 21,480 posts: 1,089 explicit hate, 7,100 implicit hate, and 13,291 not hate. The authors retain all 1,089 explicit posts and sample 1,089 implicit and 1,089 not-hate posts, producing 3,267 items balanced 1:1:1 across the original categories. Once explicit and implicit are merged as HATE, the binary task is 2:1 against NOT_HATE. Overall accuracy consequently weights hate recall twice as much as the benign class; content-type disaggregation is necessary.

The five systems are selected with Uncensored General Intelligence (UGI), a community leaderboard combining willingness to answer and accuracy on contentious factual questions. The lower-UGI group, called “censored,” contains o3-mini (22.80) and Llama-3.1-405B-Instruct served through Vertex AI (18.48). The higher-UGI “uncensored” group contains Mistral Medium (56.77), GPT-4o-2024-08-06 (49.85), and Mistral Large 2411 (53.16). GPT-4o's placement shows that these are operational, relative labels rather than general product descriptions. UGI does not directly measure RLHF, policy compliance, jailbreak resistance, or safety. LMArena Elo approximately matches capability, but architecture, scale, training data, family, provider, and deployment filtering remain confounded.

Each post is shown once to every model-persona combination, Progressive, Conservative, Libertarian, and Centrist, for 3,267 × 5 × 4 = 65,340 calls at temperature 0.7 with no repeats. JSON outputs should contain HATE, NOT_HATE, or CANNOT_CLASSIFY, a 0-1 confidence score, and reasoning. The appendix prompts are highly directive Western political archetypes. Progressive emphasizes social justice, microaggressions, and coded harm; Libertarian opposes censorship in almost all forms. Threshold movement is partly expected compliance with these instructions. There is no unpersonated baseline or reasoning manipulation check, so contrasts estimate relative sensitivity to four prompts, not departure from neutral behavior or a stable latent ideology.

Strict accuracy treats a wrong binary label and every unusable outcome, CANNOT_CLASSIFY, truncation, provider filter, transport/API failure, or unrecoverable JSON, as errors. This is a useful end-to-end availability measure because any non-actionable moderation output requires escalation. It is not pure semantic classification accuracy. Overall, 19.5% of responses have no binary prediction and strict accuracy is 66.1%. Censored reaches 69.0% and uncensored 64.1%. Decomposition reverses a simple reading: censored has 12.6% null/refusal outcomes plus 18.5% misclassification, while uncensored has 24.2% plus 11.7%. Conditional on a usable label, censored misclassifies 21.1% and uncensored 15.4%. The former's strict advantage comes from answering actionably more often, not from better discrimination after answering.

Performance changes sharply by content. On explicit hate, uncensored is much better: 91.4% versus 76.0%. On implicit hate, censored reaches 74.7% versus 67.3%. On not-hate posts, both are weak and the difference is 56.2% versus 33.7%. These patterns indicate different trade-offs among explicit-hate recall, sensitivity to implicit cues, and false positives on benign content. Among implicit subtypes, irony is hardest at 64.4%, followed by incitement and threatening at roughly 71%; the residual “other” category reaches 83.1%. These are descriptive properties of this corpus and five July-2025 endpoints, not permanent model-family traits.

Aggregated persona strict accuracy is 67.8% Progressive, 66.7% Centrist, 66.0% Conservative, and 63.7% Libertarian. Progressive has a higher false-positive tendency and lower false-negative tendency; Libertarian shifts in the opposite direction. The paper calls these “liberal bias” and “conservative bias,” but they are operational error-direction labels, not externally validated ideology. Censored model averages span only 0.7 percentage points across personas, while uncensored spans 6.7. This supports greater relative stability under these prompts, not neutrality or a politically correct ideological anchor.

A post-clustered logistic analysis reports a UGI-category × persona interaction, Wald chi-square(3)=101.279, p<0.001; the joint persona effect is not significant within censored, chi-square(3)=3.341, p=0.342, and is significant within uncensored, chi-square(3)=207.635, p<0.001. Apparent precision needs caution. UGI category is assigned at the model level and there are only two versus three model units; clustering by post does not represent uncertainty in that model-level treatment. The public manuscript gives no formula, coefficient table, cluster implementation, or executable code. There are also no repeat draws, seed intervals, paired bootstrap, model random effect, or McNemar tests. The same temperature does not guarantee symmetric or conservative noise across providers, refusals, and nonlinear metrics.

The target-group analysis aggregates 19,800 response instances corresponding to 990 annotated posts: 19,320 implicit-hate, 380 explicit-hate, and 100 not-hate instances after replication across models and personas. A post may contribute to multiple groups. Reported n values are repeated responses rather than independent posts, and groups have different class and difficulty composition. Near-duplicate target labels remain separate, black folks, blacks, and black_people; jews and jewish_people; whites and white_people. The headline 54.8-point gap compares non-whites at 91.2% with not specified at 36.3%; “not specified” is not a comparable demographic group. Results are pooled across models and personas, so they cannot locate which system causes a disparity. The analysis finds benchmark heterogeneity worth follow-up, but does not itself establish unequal protection in deployment or causal discrimination.

Calibration is computed only on the 80.5% of outputs with a usable label; refusals and failures, the main group difference, are excluded. Aggregate ECE is 0.060, moderate rather than catastrophic. The sharper concern is conditional on being wrong: mean confidence is 80.1% for explicit hate errors, 81.9% for implicit hate errors, and 84.1% for not-hate errors; 57.0% of not-hate errors exceed 0.8. This matters for human-in-the-loop moderation, but prompted self-reported confidence is not a logit-derived probability and pooled ECE can hide model-, class-, and persona-specific miscalibration.

Public reproducibility remains incomplete. The appendix says a bundle sealed on 20 April 2026 contains canonical data, requests, raw JSONL, combined results, figures, lockfiles, code/07_audit_bundle.py, and reproduce.sh. ACL Anthology links only the PDF and checklist; arXiv contains manuscript source and figures. The first author's public sanjerine/beyond-words repository is a 2024 dissertation project with no releases, old notebooks, and a latest directory still marked “in progress”; it does not contain the final experiment. OpenReview is challenge-gated, so an unindexed supplement cannot be ruled out. Totals can be checked arithmetically, but responses, hashes, target cleaning, regression, and figures cannot be independently audited or regenerated. The precise conclusion is “not publicly recovered,” not “nonexistent.”

The official checklist says scientific artifacts were used and result statistics reported, but answers no to documenting a specific check for identifying/offensive content and its protections. This matters because Latent Hatred contains real social-media hate. The paper discusses dual-use persona steering, dignity of targeted groups, and subjective definitions, but does not describe an audit of usernames, deleted quotations, platform terms, or governance of raw reasoning.

A rigorous reading preserves a useful finding. For these five deployments and this benchmark, lower-UGI systems are more reliable as a service because they fail less often to produce an actionable output; higher-UGI systems recognize explicit hate better and make fewer mistakes after answering, but are more sensitive to political wording and produce many more null outputs. The evidence supports separating availability, refusal, discrimination, prompt sensitivity, and calibration. It does not show that safety alignment causes better hate-speech detection, that UGI measures safety, that personas reveal internal ideology, that a deployment fairness gap has been established, or that results generalize beyond five 2025 endpoints and one English corpus.