Hateful Person or Hateful Model? Investigating the Role of Personas in Hate Speech Detection by Large Language Models

This work examines whether a system instruction assigning one of sixteen MBTI types to an LLM changes binary hate-speech classification. It is directly relevant to synthetic personality as prompt conditioning, but it does not establish that the model possesses or reproduces a personality. Each condition combines an MBTI code, a 16personalities.com archetype name and a short stereotyped description; the observed effect is sensitivity to that system text.

The human study recruits 293 university students and staff through a mailing list. Every participant classifies the same twenty Davidson tweets, ten labeled hate speech and ten offensive language, and then reports an MBTI type and demographics. Items are deliberately rather than randomly selected to avoid uninterpretable examples. All sixteen types are represented, but the paper does not report type counts, age, gender, the instrument used to determine MBTI, valid-response rules, consent or ethics review. Reported ethnicity is 216 White, 44 Asian and 33 participants across four other categories.

The human evidence is descriptive only. ESFP labels 67.5% of the twenty items as hate; INFJ, ENFP, ISFJ and INFP exceed 60%, while ISTJ, ESFJ and ESTP fall below 50%. The paper interprets this as greater Feeling sensitivity and repeatedly uses the word significant, but reports no inferential test, p-value, confidence interval, effect size, model controlling for unequal type sizes or multiple-comparison correction. Without n per type, uncertainty around each bar cannot be assessed. MBTI is self-reported rather than assigned, so the association is not a causal personality effect.

The LLM experiment uses Llama-3.1-8B-Instruct, Ministral-8B-Instruct-2410, Falcon3-Mamba-7B-Instruct and Qwen2.5-7B-Instruct at temperature zero. The system says “You are [Persona]” and includes the description; the user supplies text and asks for yes or no only. Sixteen personas are evaluated on 365 CREHate, 1,142 HateXplain and 20,620 Davidson items, implying 354,032 classifications per model and 1,416,128 overall if the full cross product was run. There is no neutral or no-persona condition, so the design establishes variation among prompts but not how much any persona changes a base model.

Dataset selection changes the meaning of the metric across corpora. CREHate contains only 365 items unanimously labeled hate by all five countries, so inconsistency there is a false-negative rate. Davidson retains hate speech and offensive language while excluding neither; with its strong class imbalance, disagreement is dominated by how the model separates hate from offensive content. HateXplain uses 1,142 items from an unspecified subset. The paper releases no class counts, reproducible selection rules, precision, recall, F1 or confusion matrices. Comparing inconsistency percentages across datasets as though they measured the same quantity is invalid because prevalence and composition differ.

The descriptive results do show substantial prompt sensitivity. For Qwen on Davidson, ENFP disagrees with ISTJ at .57, ESFP at .63 and ENTJ at .61, whereas INTJ–ISTJ and ESTJ–ISTJ disagreement is .08 and .13. CREHate, Davidson and HateXplain yield model-specific patterns. These values verify that changing persona text can alter many deterministic labels from the same model; they do not show that MBTI types are the psychological cause or that the original dataset label is always the sole valid answer.

The logit analysis presents an ENFP–ESFP contrast for Qwen/Davidson and groups types by the four MBTI letters. The authors interpret higher yes logits as confidence and attribute shifts to Thinking, Feeling, Judging or Perceiving. Three issues matter. Raw logits are not calibrated probabilities and are not comparable across models. ENFP and ESFP differ by one letter, but their complete prompts also change archetype and many descriptive words, so this is not a one-trait counterfactual. Most importantly, code printed in the extended appendix constructs the dichotomies incorrectly.

That code uses only four types per side rather than all eight associated with each letter. Some groups do not hold the other three letters constant: the I/E block includes INFJ on one side but an E list containing ESTJ. More decisively, Thinking and Judging both contain exactly INTJ, ENTJ, ISTJ and ESTJ, while Feeling and Perceiving both contain exactly INFP, ENFP, ISFP and ESFP. “T vs F” and “P vs J” are therefore the same eight-type contrast with reversed labels, simultaneously confounding T/F with J/P. Figure 7c and 7d curves correspond by construction and cannot independently support the claim that Thinking and Judging increase confidence.

The human–LLM comparison uses two PCA plots and says prompted personas are much more dispersed. It does not document the matrix, preprocessing, standardization, explained variance or whether Qwen is restricted to the same twenty human items. The figures use radically different scales. If the LLM uses full Davidson, its vector has 20,620 dimensions versus twenty for humans, so distance grows mechanically with item count. Without a common space, normalization and quantitative test, the plot does not establish amplification or greater malleability.

Traceability is inadequate. The paper names model repositories but pins no revisions except Ministral's dated alias and does not report hardware, libraries, chat template, Yes/No tokenization, seeds or execution details. Instructing a model to answer yes or no is not equivalent to constrained decoding. No public code, data, outputs, logits, anonymized survey, notebook or environment was found; Papers With Code also records no implementation. Hundreds of appendix histograms are not a reproducible numeric release.

The faithful conclusion is that four 7–8B models at temperature zero sometimes change labels and logits substantially when an MBTI instruction rich in stereotyped language is changed. The human survey suggests descriptive group differences on twenty curated items. The study does not establish statistically significant human effects, personality fidelity, causal effects of individual MBTI dimensions, superiority of any persona, amplification over humans, general moderation performance or an internal LLM personality.

Este trabajo analiza si una instrucción de sistema que asigna al LLM uno de los 16 tipos MBTI altera su clasificación binaria de discurso de odio. Es directamente relevante para personalidad sintética como condicionamiento por prompt, pero no demuestra que el modelo posea o reproduzca una personalidad. Cada condición consiste en el código MBTI, un nombre arquetípico de 16personalities.com y una breve descripción estereotípica; el efecto observado es sensibilidad a ese texto de sistema.

El estudio humano recluta 293 estudiantes y personal universitario mediante una lista de correo. Cada participante clasifica los mismos 20 tuits de Davidson, diez etiquetados como hate speech y diez como offensive language, y después declara su tipo MBTI y demografía. Los ítems se seleccionan deliberadamente, no al azar, para evitar ejemplos poco interpretables. Los 16 tipos están representados, pero no se publican sus tamaños, edad, género, instrumento usado para determinar MBTI, criterios de respuesta válida, consentimiento o revisión ética. La muestra étnica declarada es 216 White, 44 Asian y 33 personas repartidas entre otras cuatro categorías.

La evidencia humana es solo descriptiva. ESFP marca como odio el 67,5 % de los 20 ítems; INFJ, ENFP, ISFJ e INFP superan el 60 %, mientras ISTJ, ESFJ y ESTP quedan por debajo del 50 %. El paper interpreta que Feeling incrementa sensibilidad y usa repetidamente «significant», pero no informa ninguna prueba inferencial, p-value, intervalo de confianza, tamaño de efecto, modelo que controle el desequilibrio entre tipos o corrección por comparaciones. Sin los n por tipo, ni siquiera puede juzgarse la incertidumbre de cada barra. Como MBTI es autodeclarado y no asignado, la asociación tampoco identifica un efecto causal de personalidad.

Para los LLM se usan Llama-3.1-8B-Instruct, Ministral-8B-Instruct-2410, Falcon3-Mamba-7B-Instruct y Qwen2.5-7B-Instruct, todos a temperatura 0. El sistema dice «You are [Persona]» y añade la descripción; el usuario aporta el texto y pide responder solo yes o no. Se evalúan 16 personas sobre 365 ejemplos CREHate, 1.142 HateXplain y 20.620 Davidson. Esto implica 354.032 clasificaciones por modelo y 1.416.128 en total si se ejecuta el cruce completo. No existe una condición neutral o sin persona, así que el diseño demuestra variación entre prompts, pero no cuánto introduce una persona respecto al comportamiento base.

La selección de datos cambia el significado de la métrica entre corpus. CREHate contiene únicamente 365 casos que los cinco países etiquetaron unánimemente como odio: allí la «inconsistencia» es una tasa de falsos negativos. Davidson conserva hate speech y offensive language, pero excluye neither; con su distribución muy desbalanceada, la discrepancia está dominada por cómo el modelo separa odio de lenguaje ofensivo. HateXplain usa 1.142 ejemplos de un subconjunto no especificado. El paper no publica conteos de clase, reglas reproducibles de selección ni precision, recall, F1 o matrices de confusión. Comparar porcentajes de inconsistencia entre datasets como si midieran lo mismo no es válido porque cambian prevalencia y composición.

Los resultados descriptivos sí muestran sensibilidad sustancial al prompt. En Qwen sobre Davidson, ENFP discrepa con ISTJ en 0,57, con ESFP en 0,63 y con ENTJ en 0,61, mientras INTJ–ISTJ y ESTJ–ISTJ discrepan 0,08 y 0,13. CREHate, Davidson y HateXplain producen patrones distintos por modelo. Estos valores verifican que modificar el texto de persona puede cambiar muchas etiquetas deterministas del mismo modelo; no establecen que los tipos MBTI sean la causa psicológica ni que la etiqueta original sea siempre la única respuesta válida.

El análisis de logits presenta un contraste ENFP–ESFP en Qwen/Davidson y agrupa tipos por las cuatro letras MBTI. Los autores interpretan logits de yes más altos como mayor confianza y atribuyen diferencias a rasgos Thinking, Feeling, Judging o Perceiving. Hay tres problemas. Primero, logits crudos no son probabilidades calibradas ni comparables entre modelos. Segundo, ENFP y ESFP difieren en una letra, pero los prompts completos cambian a la vez el arquetipo y muchas palabras descriptivas; no es una manipulación contrafactual de un único rasgo. Tercero, el código impreso en el apéndice extendido construye mal las dicotomías.

Ese código usa solo cuatro tipos por lado, no los ocho que corresponden a cada letra. Algunos grupos no mantienen las otras tres letras fijas: por ejemplo, el bloque I/E enfrenta INFJ con una lista E que incluye ESTJ. Más decisivo, Thinking y Judging contienen exactamente INTJ, ENTJ, ISTJ y ESTJ, mientras Feeling y Perceiving contienen exactamente INFP, ENFP, ISFP y ESFP. Por tanto, «T vs F» y «P vs J» son el mismo contraste de ocho tipos con los rótulos invertidos; mezclan simultáneamente T/F y J/P. Las curvas de Figure 7c y 7d se corresponden por construcción, y no permiten concluir de forma independiente que Thinking y Judging elevan la confianza.

La comparación humano–LLM usa dos PCA separadas y afirma que las personas promptadas están mucho más dispersas. No se documentan matriz, preprocesamiento, estandarización, varianza explicada ni si Qwen se limita a los mismos 20 ítems humanos. Las figuras usan escalas radicalmente distintas. Si el LLM usa Davidson completo, su vector tiene 20.620 dimensiones frente a 20 en humanos; la distancia crece mecánicamente con el número de ítems. Sin un espacio común, normalización y contraste cuantitativo, el gráfico no demuestra amplificación ni mayor maleabilidad.

La trazabilidad es insuficiente. El paper enumera repositorios de modelos, pero no fija revisiones salvo el alias fechado de Ministral, ni documenta hardware, librerías, formato de chat, tokenización de Yes/No, seeds o ejecución. Decir que la instrucción «only answer yes or no» restringe el vocabulario no equivale a constrained decoding. No se han localizado código, datos, respuestas, logits, survey anonimizada, notebooks ni entorno público; Papers With Code también registra que no hay implementación. Los cientos de histogramas del apéndice no sustituyen artefactos numéricos reproducibles.

La conclusión fiel es que cuatro modelos de 7–8B, a temperatura 0, cambian de manera a veces grande sus etiquetas y logits cuando se modifica una instrucción MBTI rica en lenguaje estereotípico. El estudio humano sugiere diferencias descriptivas entre grupos autodeclarados en 20 ítems curados. No demuestra efectos estadísticamente significativos en personas, fidelidad de personalidad, causalidad de cada dimensión MBTI, superioridad de una persona, amplificación frente a humanos, rendimiento de moderación general ni una personalidad interna del LLM.