Hateful Person or Hateful Model? Investigating the Role of Personas in Hate Speech Detection by Large Language Models

Aplicaciones, sesgos y seguridad2025faerber-lab.github.ioRevisión editorial aprobada

Autores: Shuzhou Yuan, Ercong Nie, Mario Tawfelis, Helmut Schmid, Hinrich Schütze, Michael Färber

Palabras clave: Personas MBTI, Detección de discurso de odio, Anotación con LLM, Desacuerdo entre personas, Sensibilidad al prompt, Validez de constructo

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

6
Autores
10
Hallazgos
23
Limitaciones
8
Evidencias

Resumen editorial

Español

Este trabajo analiza si una instrucción de sistema que asigna al LLM uno de los 16 tipos MBTI altera su clasificación binaria de discurso de odio. Es directamente relevante para personalidad sintética como condicionamiento por prompt, pero no demuestra que el modelo posea o reproduzca una personalidad. Cada condición consiste en el código MBTI, un nombre arquetípico de 16personalities.com y una breve descripción estereotípica; el efecto observado es sensibilidad a ese texto de sistema.

El estudio humano recluta 293 estudiantes y personal universitario mediante una lista de correo. Cada participante clasifica los mismos 20 tuits de Davidson, diez etiquetados como hate speech y diez como offensive language, y después declara su tipo MBTI y demografía. Los ítems se seleccionan deliberadamente, no al azar, para evitar ejemplos poco interpretables. Los 16 tipos están representados, pero no se publican sus tamaños, edad, género, instrumento usado para determinar MBTI, criterios de respuesta válida, consentimiento o revisión ética. La muestra étnica declarada es 216 White, 44 Asian y 33 personas repartidas entre otras cuatro categorías.

La evidencia humana es solo descriptiva. ESFP marca como odio el 67,5 % de los 20 ítems; INFJ, ENFP, ISFJ e INFP superan el 60 %, mientras ISTJ, ESFJ y ESTP quedan por debajo del 50 %. El paper interpreta que Feeling incrementa sensibilidad y usa repetidamente «significant», pero no informa ninguna prueba inferencial, p-value, intervalo de confianza, tamaño de efecto, modelo que controle el desequilibrio entre tipos o corrección por comparaciones. Sin los n por tipo, ni siquiera puede juzgarse la incertidumbre de cada barra. Como MBTI es autodeclarado y no asignado, la asociación tampoco identifica un efecto causal de personalidad.

Para los LLM se usan Llama-3.1-8B-Instruct, Ministral-8B-Instruct-2410, Falcon3-Mamba-7B-Instruct y Qwen2.5-7B-Instruct, todos a temperatura 0. El sistema dice «You are [Persona]» y añade la descripción; el usuario aporta el texto y pide responder solo yes o no. Se evalúan 16 personas sobre 365 ejemplos CREHate, 1.142 HateXplain y 20.620 Davidson. Esto implica 354.032 clasificaciones por modelo y 1.416.128 en total si se ejecuta el cruce completo. No existe una condición neutral o sin persona, así que el diseño demuestra variación entre prompts, pero no cuánto introduce una persona respecto al comportamiento base.

La selección de datos cambia el significado de la métrica entre corpus. CREHate contiene únicamente 365 casos que los cinco países etiquetaron unánimemente como odio: allí la «inconsistencia» es una tasa de falsos negativos. Davidson conserva hate speech y offensive language, pero excluye neither; con su distribución muy desbalanceada, la discrepancia está dominada por cómo el modelo separa odio de lenguaje ofensivo. HateXplain usa 1.142 ejemplos de un subconjunto no especificado. El paper no publica conteos de clase, reglas reproducibles de selección ni precision, recall, F1 o matrices de confusión. Comparar porcentajes de inconsistencia entre datasets como si midieran lo mismo no es válido porque cambian prevalencia y composición.

Los resultados descriptivos sí muestran sensibilidad sustancial al prompt. En Qwen sobre Davidson, ENFP discrepa con ISTJ en 0,57, con ESFP en 0,63 y con ENTJ en 0,61, mientras INTJ–ISTJ y ESTJ–ISTJ discrepan 0,08 y 0,13. CREHate, Davidson y HateXplain producen patrones distintos por modelo. Estos valores verifican que modificar el texto de persona puede cambiar muchas etiquetas deterministas del mismo modelo; no establecen que los tipos MBTI sean la causa psicológica ni que la etiqueta original sea siempre la única respuesta válida.

El análisis de logits presenta un contraste ENFP–ESFP en Qwen/Davidson y agrupa tipos por las cuatro letras MBTI. Los autores interpretan logits de yes más altos como mayor confianza y atribuyen diferencias a rasgos Thinking, Feeling, Judging o Perceiving. Hay tres problemas. Primero, logits crudos no son probabilidades calibradas ni comparables entre modelos. Segundo, ENFP y ESFP difieren en una letra, pero los prompts completos cambian a la vez el arquetipo y muchas palabras descriptivas; no es una manipulación contrafactual de un único rasgo. Tercero, el código impreso en el apéndice extendido construye mal las dicotomías.

Ese código usa solo cuatro tipos por lado, no los ocho que corresponden a cada letra. Algunos grupos no mantienen las otras tres letras fijas: por ejemplo, el bloque I/E enfrenta INFJ con una lista E que incluye ESTJ. Más decisivo, Thinking y Judging contienen exactamente INTJ, ENTJ, ISTJ y ESTJ, mientras Feeling y Perceiving contienen exactamente INFP, ENFP, ISFP y ESFP. Por tanto, «T vs F» y «P vs J» son el mismo contraste de ocho tipos con los rótulos invertidos; mezclan simultáneamente T/F y J/P. Las curvas de Figure 7c y 7d se corresponden por construcción, y no permiten concluir de forma independiente que Thinking y Judging elevan la confianza.

La comparación humano–LLM usa dos PCA separadas y afirma que las personas promptadas están mucho más dispersas. No se documentan matriz, preprocesamiento, estandarización, varianza explicada ni si Qwen se limita a los mismos 20 ítems humanos. Las figuras usan escalas radicalmente distintas. Si el LLM usa Davidson completo, su vector tiene 20.620 dimensiones frente a 20 en humanos; la distancia crece mecánicamente con el número de ítems. Sin un espacio común, normalización y contraste cuantitativo, el gráfico no demuestra amplificación ni mayor maleabilidad.

La trazabilidad es insuficiente. El paper enumera repositorios de modelos, pero no fija revisiones salvo el alias fechado de Ministral, ni documenta hardware, librerías, formato de chat, tokenización de Yes/No, seeds o ejecución. Decir que la instrucción «only answer yes or no» restringe el vocabulario no equivale a constrained decoding. No se han localizado código, datos, respuestas, logits, survey anonimizada, notebooks ni entorno público; Papers With Code también registra que no hay implementación. Los cientos de histogramas del apéndice no sustituyen artefactos numéricos reproducibles.

La conclusión fiel es que cuatro modelos de 7–8B, a temperatura 0, cambian de manera a veces grande sus etiquetas y logits cuando se modifica una instrucción MBTI rica en lenguaje estereotípico. El estudio humano sugiere diferencias descriptivas entre grupos autodeclarados en 20 ítems curados. No demuestra efectos estadísticamente significativos en personas, fidelidad de personalidad, causalidad de cada dimensión MBTI, superioridad de una persona, amplificación frente a humanos, rendimiento de moderación general ni una personalidad interna del LLM.

English

This work examines whether a system instruction assigning one of sixteen MBTI types to an LLM changes binary hate-speech classification. It is directly relevant to synthetic personality as prompt conditioning, but it does not establish that the model possesses or reproduces a personality. Each condition combines an MBTI code, a 16personalities.com archetype name and a short stereotyped description; the observed effect is sensitivity to that system text.

The human study recruits 293 university students and staff through a mailing list. Every participant classifies the same twenty Davidson tweets, ten labeled hate speech and ten offensive language, and then reports an MBTI type and demographics. Items are deliberately rather than randomly selected to avoid uninterpretable examples. All sixteen types are represented, but the paper does not report type counts, age, gender, the instrument used to determine MBTI, valid-response rules, consent or ethics review. Reported ethnicity is 216 White, 44 Asian and 33 participants across four other categories.

The human evidence is descriptive only. ESFP labels 67.5% of the twenty items as hate; INFJ, ENFP, ISFJ and INFP exceed 60%, while ISTJ, ESFJ and ESTP fall below 50%. The paper interprets this as greater Feeling sensitivity and repeatedly uses the word significant, but reports no inferential test, p-value, confidence interval, effect size, model controlling for unequal type sizes or multiple-comparison correction. Without n per type, uncertainty around each bar cannot be assessed. MBTI is self-reported rather than assigned, so the association is not a causal personality effect.

The LLM experiment uses Llama-3.1-8B-Instruct, Ministral-8B-Instruct-2410, Falcon3-Mamba-7B-Instruct and Qwen2.5-7B-Instruct at temperature zero. The system says “You are [Persona]” and includes the description; the user supplies text and asks for yes or no only. Sixteen personas are evaluated on 365 CREHate, 1,142 HateXplain and 20,620 Davidson items, implying 354,032 classifications per model and 1,416,128 overall if the full cross product was run. There is no neutral or no-persona condition, so the design establishes variation among prompts but not how much any persona changes a base model.

Dataset selection changes the meaning of the metric across corpora. CREHate contains only 365 items unanimously labeled hate by all five countries, so inconsistency there is a false-negative rate. Davidson retains hate speech and offensive language while excluding neither; with its strong class imbalance, disagreement is dominated by how the model separates hate from offensive content. HateXplain uses 1,142 items from an unspecified subset. The paper releases no class counts, reproducible selection rules, precision, recall, F1 or confusion matrices. Comparing inconsistency percentages across datasets as though they measured the same quantity is invalid because prevalence and composition differ.

The descriptive results do show substantial prompt sensitivity. For Qwen on Davidson, ENFP disagrees with ISTJ at .57, ESFP at .63 and ENTJ at .61, whereas INTJ–ISTJ and ESTJ–ISTJ disagreement is .08 and .13. CREHate, Davidson and HateXplain yield model-specific patterns. These values verify that changing persona text can alter many deterministic labels from the same model; they do not show that MBTI types are the psychological cause or that the original dataset label is always the sole valid answer.

The logit analysis presents an ENFP–ESFP contrast for Qwen/Davidson and groups types by the four MBTI letters. The authors interpret higher yes logits as confidence and attribute shifts to Thinking, Feeling, Judging or Perceiving. Three issues matter. Raw logits are not calibrated probabilities and are not comparable across models. ENFP and ESFP differ by one letter, but their complete prompts also change archetype and many descriptive words, so this is not a one-trait counterfactual. Most importantly, code printed in the extended appendix constructs the dichotomies incorrectly.

That code uses only four types per side rather than all eight associated with each letter. Some groups do not hold the other three letters constant: the I/E block includes INFJ on one side but an E list containing ESTJ. More decisively, Thinking and Judging both contain exactly INTJ, ENTJ, ISTJ and ESTJ, while Feeling and Perceiving both contain exactly INFP, ENFP, ISFP and ESFP. “T vs F” and “P vs J” are therefore the same eight-type contrast with reversed labels, simultaneously confounding T/F with J/P. Figure 7c and 7d curves correspond by construction and cannot independently support the claim that Thinking and Judging increase confidence.

The human–LLM comparison uses two PCA plots and says prompted personas are much more dispersed. It does not document the matrix, preprocessing, standardization, explained variance or whether Qwen is restricted to the same twenty human items. The figures use radically different scales. If the LLM uses full Davidson, its vector has 20,620 dimensions versus twenty for humans, so distance grows mechanically with item count. Without a common space, normalization and quantitative test, the plot does not establish amplification or greater malleability.

Traceability is inadequate. The paper names model repositories but pins no revisions except Ministral's dated alias and does not report hardware, libraries, chat template, Yes/No tokenization, seeds or execution details. Instructing a model to answer yes or no is not equivalent to constrained decoding. No public code, data, outputs, logits, anonymized survey, notebook or environment was found; Papers With Code also records no implementation. Hundreds of appendix histograms are not a reproducible numeric release.

The faithful conclusion is that four 7–8B models at temperature zero sometimes change labels and logits substantially when an MBTI instruction rich in stereotyped language is changed. The human survey suggests descriptive group differences on twenty curated items. The study does not establish statistically significant human effects, personality fidelity, causal effects of individual MBTI dimensions, superiority of any persona, amplification over humans, general moderation performance or an internal LLM personality.

Pregunta de investigación

¿Cómo cambian las etiquetas binarias y los logits de cuatro LLM cuando el system prompt asigna una de 16 personas MBTI, y se parecen esas variaciones a las diferencias descriptivas entre participantes humanos autodeclarados?

Método

Una encuesta universitaria de 293 personas autodeclaradas por MBTI clasifica 20 tuits Davidson curados. Cuatro modelos de 7–8B reciben 16 system prompts MBTI y clasifican 22.127 textos de CREHate, HateXplain y Davidson a temperatura 0. Se calculan discrepancia con la etiqueta original, desacuerdo entre personas, distribuciones de logits y PCA. La auditoría revisa la versión PALS de 20 páginas y el preprint extendido de 50 páginas, incluidos todos los apéndices.

Muestra: La encuesta reúne 293 respuestas y 5.860 decisiones humanas sobre 20 ítems; los n por tipo MBTI no se informan. El cruce LLM tiene 22.127 textos × 16 personas = 354.032 clasificaciones por modelo y 1.416.128 para cuatro modelos. No hay condición sin persona.

Hallazgos

  • En la encuesta descriptiva, ESFP marca 67,5 % como odio y cuatro tipos Feeling adicionales superan 60 %.
  • ISTJ, ESFJ y ESTP quedan por debajo del 50 % de respuestas hate en los 20 ítems humanos.
  • Las tasas de discrepancia LLM-etiqueta cambian por modelo, persona y dataset.
  • En Qwen/Davidson, ENFP–ESFP alcanza 0,63 de desacuerdo; ENFP–ISTJ 0,57 y ENFP–ENTJ 0,61.
  • INTJ–ISTJ y ESTJ–ISTJ muestran desacuerdos bajos de 0,08 y 0,13 en ese mismo caso.
  • Las descripciones MBTI modifican tanto la etiqueta greedy como los logits Yes/No.
  • CREHate, Davidson y HateXplain no producen un patrón de personas universal.
  • No existe un baseline neutral que cuantifique el cambio respecto al modelo sin persona.
  • Los contrastes T/F y P/J impresos usan exactamente los mismos conjuntos con etiquetas cruzadas.
  • No hay artefactos públicos que permitan reproducir las figuras o estadísticas.

Limitaciones

  • MBTI tiene validez psicométrica limitada y aquí se autodeclara sin instrumento documentado.
  • No se publican tamaños de los 16 grupos humanos ni incertidumbre por grupo.
  • No hay pruebas inferenciales pese al uso reiterado de significant.
  • La encuesta usa solo 20 ítems no aleatorios y una muestra universitaria mayoritariamente White.
  • No se informa consentimiento, revisión ética, edad, género, fecha de campo o exclusiones.
  • Los tipos humanos son observacionales y se confunden con demografía y autoselección.
  • Los prompts combinan código MBTI, nombre arquetípico y descriptores diferentes.
  • No hay manipulación contrafactual limpia de una sola dimensión.
  • No hay condición neutral o sin persona.
  • CREHate contiene solo positivos unánimes; su inconsistencia es false-negative rate.
  • Los datasets tienen composiciones y prevalencias incompatibles para comparar inconsistency directamente.
  • No se publican conteos por clase, F1, precision, recall ni matrices de confusión.
  • El subconjunto exacto de HateXplain no es reproducible desde el texto.
  • Los grupos de dicotomía usan cuatro tipos por lado en lugar de ocho.
  • Varios grupos no mantienen fijas las otras tres letras MBTI.
  • Thinking=Judging e Feeling=Perceiving en el código, por lo que T/F y P/J están confundidos.
  • Los logits crudos no son confianza calibrada ni comparables entre modelos.
  • Las PCA humano/LLM carecen de espacio común, normalización, varianza explicada y test cuantitativo.
  • No se documenta si la PCA LLM usa los mismos 20 ítems humanos o los 20.620 de Davidson.
  • Solo se prueban cuatro modelos ingleses de 7–8B.
  • No se fijan revisiones de tres modelos, chat templates, tokenización, hardware o librerías.
  • La instrucción de responder Yes/No no implementa por sí sola constrained decoding.
  • No se publican código, datos, logits, salidas, survey, notebooks o entorno.

Qué no demuestra

  • No demuestra que un LLM posea una personalidad MBTI.
  • No demuestra fidelidad conductual de las personas promptadas.
  • No demuestra efectos humanos estadísticamente significativos.
  • No demuestra causalidad de MBTI en las decisiones humanas.
  • No aísla efectos causales de E/I, N/S, T/F o P/J en los modelos.
  • No demuestra que Thinking y Judging tengan efectos independientes.
  • No demuestra que las personas LLM amplifiquen diferencias humanas.
  • No establece rendimiento general de moderación ni equidad downstream.
  • No generaliza a otros marcos de personalidad, idiomas, tamaños o tareas.
  • No permite reproducir de extremo a extremo el estudio.

Trazabilidad

Alcance: Texto completo

Versión: PALS 2025 workshop version presented at EMNLP 2025; all 20 pages rendered and visually inspected. The 50-page arXiv:2506.08593v1 extended version was also fully rendered and inspected because it contains additional audit-relevant appendices.

Fuente consultada: https://faerber-lab.github.io/assets/pdf/publications/PersonaHate_EMNLP2025.pdf

Revisión: Codex full-text, visual, methodological and reproducibility audit, 2026-07-16

Aprobación: Codex fidelity pass, 2026-07-16

Modelos evaluados

  • meta-llama/Llama-3.1-8B-Instruct (revision not pinned)
  • mistralai/Ministral-8B-Instruct-2410
  • tiiuae/falcon-mamba-7b-instruct (revision not pinned)
  • Qwen/Qwen2.5-7B-Instruct (revision not pinned)

Instrumentos y métricas

  • Self-reported MBTI type
  • Twenty-item binary human hate-speech survey
  • Sixteen MBTI system prompts with archetype names and descriptors
  • Greedy yes/no text generation at temperature zero
  • Ground-truth inconsistency percentage
  • Pairwise persona disagreement matrix
  • Raw Yes and No token logits
  • Logit-difference histograms
  • MBTI dichotomy grouping code from the extended appendix
  • Separate human and Qwen PCA plots

Datos utilizados

  • Twenty deliberately selected Davidson survey items: ten hate and ten offensive
  • CREHate unanimous-hate subset: 365 items
  • HateXplain hate/offensive subset: 1,142 items, selection procedure not reported
  • Davidson hate/offensive subset excluding neither: 20,620 items
  • 293 participant response vectors, not publicly released
  • 1,416,128 implied LLM classifications across four models, sixteen personas and 22,127 items, not publicly released

Evidencia y localización

  • Alcance, encuesta humana y task formulation: PALS 2025 workshop version pp. 1-5, Abstract and Sections 1-5
  • Resultados de inconsistencia y desacuerdo: PALS 2025 workshop version pp. 5-7, Sections 6.1-6.3 and Figures 4-6
  • Dichotomías, PCA, conclusión y limitaciones: PALS 2025 workshop version pp. 7-10, Sections 6.4-7, Limitations and Ethical Considerations
  • Ítems humanos, modelos y descripciones MBTI: PALS 2025 workshop version pp. 14-16, Appendices A-C
  • Código incorrecto de agrupación de dicotomías: arXiv:2506.08593v1 extended version pp. 20-21, Appendix H
  • Metadatos de publicación: PALS 2025 proceedings at EMNLP 2025; arXiv:2506.08593v1; ScaDS.AI EMNLP 2025 publication page
  • Ausencia de artefactos reproducibles: Primary-author, GitHub, Hugging Face and Papers With Code artifact search audited 16 July 2026
  • Informe completo: reports/verification/article-219-mbti-hate-speech-validity-and-reproducibility-audit.json