Discriminatory Compliance: How LLMs Answer Queries from Protected Groups

The study selects 38 contextual-safety questions in 18 thematic groups. They are crossed with majority, protected, disability, and subclinical-control conditions and four disclosure styles: explicit/implicit and brief/detailed. Five models answer at temperature 0; embeddings measure change and Opus 4.6 labels six behaviors, with 643 cases checked by Qwen3.

Approximately 32,000 responses from Opus 4.6, Sonnet 4.6, Haiku 4.5, Qwen3-235B-A22B, and GPT-OSS-Safeguard-120B; no users from the described groups participate. Models change content by group, severity, and disclosure form. Responses without disclosure offer fewer professional referrals and crisis resources than some explicit protected conditions. Sensitivity to phrasing is uneven across models. Inter-judge agreement ranged from kappa=.636 to .953 by label.

The selection of groups and descriptions is partial. The authors are not psychiatry professionals. Only English and single-turn disclosure are tested. Qualitative evaluation depends on LLM judges. Experienced harm and utility are not measured with real users. It does not demonstrate that any model is safe for all groups. It does not establish causal effects on users. It does not justify inferring identity or requesting sensitive disclosure by default.

Se seleccionan 38 preguntas de seguridad contextual en 18 grupos temáticos. Se cruzan con condiciones mayoritarias, protegidas, discapacidades y controles subclínicos, y cuatro revelaciones: explícita/implícita y breve/detallada. Cinco modelos responden a temperatura 0; embeddings miden cambio y Opus 4.6 etiqueta seis conductas, con 643 casos cotejados por Qwen3.

Aproximadamente 32.000 respuestas de Opus 4.6, Sonnet 4.6, Haiku 4.5, Qwen3-235B-A22B y GPT-OSS-Safeguard-120B; no participan usuarios de los grupos descritos. Los modelos cambian contenido según grupo, gravedad y forma de revelación. Las respuestas sin revelación ofrecen menos referencias profesionales y recursos de crisis que algunas condiciones protegidas explícitas. La sensibilidad a formulaciones es desigual entre modelos. El acuerdo entre jueces osciló de kappa=.636 a .953 según etiqueta.

La selección de grupos y descripciones es parcial. Los autores no son profesionales de psiquiatría. Solo se prueban inglés y revelación de un turno. La evaluación cualitativa depende de jueces LLM. No se mide daño experimentado ni utilidad con usuarios reales. No demuestra que un modelo sea seguro para todos los grupos. No establece efectos causales en usuarios. No justifica inferir identidad ni pedir revelación sensible por defecto.