Multi-Persona Thinking for Bias Mitigation in Large Language Models

Multi-Persona Thinking (MPT) is an inference-time prompting procedure, not a personality model. For each question it instantiates three roles derived from the benchmark category: two contrasting identities, such as man/woman or grandfather/grandson, and a “neutral general public” persona. Each role produces an initial response, reviews the others for three rounds, and a final identity-free pass aggregates the history. With three personas and R=3, nominal cost is 3×(1+3)+1=13 calls per question.

Evaluation covers BBQ and an adaptation of StereoSet. BBQ has 58,492 multiple-choice questions across eleven categories and pairs ambiguous contexts, where the correct answer is “cannot be determined”, with disambiguated versions. Llama-3.1-8B-Instruct and 70B are tested on full BBQ; Qwen-2.5-7B and GPT-3.5-Turbo also appear on an 880-item subset. StereoSet uses 12,766 adapted gender, race, religion, and profession cases with Llama-3.1-8B and Qwen-2.5-7B. Tables average five runs and compare direct prompting, explicit debiasing, single-persona prompting, self-consistency, re-prompting, and multi-agent debate.

MPT is strong on full BBQ. With Llama-3.1-8B it achieves average accuracy 0.8907 and diff-bias 0.0579 versus 0.8316/0.0759 for multi-agent debate and 0.8210/0.0696 for the strongest compared re-prompting baseline. Gains are largest in ambiguous contexts: 0.9054 accuracy and 0.0279 diff-bias. With Llama-3.1-70B it reaches 0.9283/0.0053. Its accuracy is not significantly different from standard self-consistency, 0.9269, p=0.451, but diff-bias drops significantly from 0.0301 to 0.0053. “Maintains reasoning” is defensible for these two models, though MPT does not always win on accuracy.

The result is not universal. On the GPT-3.5 subset, MPT accuracy is 0.7499, below direct prompting, 0.7553, and debias re-prompting, 0.7580, although it has the lowest diff-bias at 0.0141. On Qwen over the same subset it has the best accuracy, 0.8913, but diff-bias 0.0266 does not beat persona re-prompting at 0.0262; the difference is statistically null, p=0.9422. The general “lowest bias” statement is therefore an aggregate tendency rather than dominance in every setting.

StereoSet needs even more cautious interpretation. The authors do not use its original language-modeling task: they replace the “unrelated” option with variants of “unknown” and convert it into QA. Auditing all 12,766 public JSON records confirms that in all 12,766 cases the labeled correct answer is one of ten abstention phrases, “Unknown,” “Cannot answer,” “Not enough information,” and so on. Accuracy therefore measures how often the debiasing prompt induces abstention, not conventional StereoSet language-modeling accuracy or a known factual answer.

On that transformed task, MPT raises Llama-3.1-8B accuracy from the next method's 0.4664 to 0.6073, +30% relative, and reduces diff-bias from 0.0888 to 0.0505, −43% relative. Qwen reaches 0.7312/0.0921. These are genuine gains under the released definition, but the mechanism is aligned with the target: prompts repeatedly say to remove bias, recognize ambiguity, and review answers “without any social bias,” while the correct choice is always not to decide. The result does not demonstrate improved general comprehension or open-ended mitigation.

Ablations support that iteration and the third viewpoint matter. On Llama-3.1-8B BBQ, “without neutral” yields 0.7775/0.0748 versus 0.8901/0.0562 with neutral; R=1 produces the main gain and performance stabilizes near R=2. However, the public --no_general code does not remove the third agent: it replaces the neutral persona with the standard system prompt. The claim that “only two binary identities polarize” does not exactly match that implementation. Figure 1 also shows the purported neutral observer producing the same stereotype as an identity, so neutral is an instruction, not a fairness guarantee.

The cost comparison counts calls rather than tokens or sequential latency. MPT at R=3 costs 13 inferences versus 15 independent self-consistency samples and improves 0.8901/0.0562 versus 0.7907/0.0779. Yet MPT reinjects growing histories of up to 512 generated tokens and has five sequential stages, whereas self-consistency can be parallelized. MPT+SC samples five full MPT executions, 65 nominal calls, to move accuracy from 0.8901 to 0.9232 and diff-bias only from 0.0562 to 0.0546. Without token, time, energy, memory, or monetary measurements, “more efficient” is established only in call count under this setup.

Personas come from dataset labels and simplify complex identities into pairs such as man/woman, gay/straight, Black/White, rich/poor, or Indian/Japanese. The paper acknowledges non-binary and intersectional limitations. On StereoSet, the code additionally creates target/non-target roles that can become odd constructions such as “stepfather” and “non-stepfather,” not valid social perspectives. The scaffold may support deliberation, but it does not model real people, lived experience, or a theory of personality.

The metric has a reporting discrepancy. Paper equations define Diff-bias as a signed difference, while the public evaluator takes an absolute value on BBQ. This turns direction into magnitude and fits “lower is better,” but should be documented because it hides whether errors favor the target or counter-target group. StereoSet code retains a signed difference. Invalid outputs are excluded from accuracy and BBQ diff-bias denominators; tables do not report valid/incomplete rates, so methods with more parse failures could be advantaged. When <answer> is missing, the parser takes the first standalone digit 0–2 anywhere in the response, an ambiguous fallback.

Significance uses paired t-tests over five runs and reports extremely large t statistics, but the five outputs, seeds, and test/CI scripts are not released. There is no correction for multiple model, dataset, and metric comparisons. Narrow CIs describe sampling variation on a fixed benchmark, not uncertainty about other prompts, languages, models, or real domains.

The MANGA-UOFA/multi-persona-thinking repository was audited at commit c6f2b6cd1ad354b3aab2bacaea775452d1175869. It includes all 58,492 BBQ cases, 12,766 adapted StereoSet cases, two Python scripts, a pinned environment, and one command for MPT with Llama-3.1-8B/BBQ. Code compiles syntactically and dataset counts match the paper. It has no license, tests, CI, result outputs, logs, hardware/runtime record, five-run seeds, or t-test scripts. The README does not document baselines, Qwen, 70B, GPT, StereoSet, ablations, or every table.

There is also a material implementation limitation: the inference pipeline only constructs prompts for methods whose names start with “m” and contains no branches implementing direct prompting, self-consistency, or re-prompting. Invoking mad enters the same persona-assignment branch as MPT even though the paper defines MAD without explicit identities. For OpenAI, three agents index three model objects; passing GPT-3.5 once causes an out-of-range access and the README does not explain repeating the identifier. The repository can support MPT reconstruction with substantial resources, but not end-to-end reproduction of all published comparisons.

The contribution is published in Findings of ACL 2026 and shows that repeated deliberation explicitly instructed to avoid stereotypes improves BBQ for Llama and reduces several benchmark metrics. It does not establish “bias-free” answers, fairness in real systems, benefits for open-ended generation, or an inherent persona advantage over token- and stage-matched alternative prompts.

Multi-Persona Thinking (MPT) es un procedimiento de prompting en inferencia, no un modelo de personalidad. Para cada pregunta instancia tres roles derivados de la categoría del benchmark: dos identidades contrastadas, por ejemplo, hombre/mujer o abuelo/nieto, y una persona “neutral general public”. Cada rol genera una respuesta inicial, revisa durante tres rondas las respuestas de los demás y un último pase sin identidad explícita agrega el historial. Con tres personas y R=3, el coste nominal es 3×(1+3)+1=13 llamadas por pregunta.

La evaluación cubre BBQ y una adaptación de StereoSet. BBQ contiene 58.492 preguntas de opción múltiple en once categorías y empareja contextos ambiguos, la respuesta correcta es “no se puede determinar”, con versiones desambiguadas. Se prueban Llama-3.1-8B-Instruct y 70B sobre BBQ completo; Qwen-2.5-7B y GPT-3.5-Turbo aparecen también en un subconjunto de 880 casos. StereoSet usa 12.766 casos adaptados de género, raza, religión y profesión con Llama-3.1-8B y Qwen-2.5-7B. Las tablas promedian cinco runs y comparan prompting directo, instrucción explícita de debiasing, persona simple, self-consistency, re-prompting y multi-agent debate.

En BBQ completo, MPT ofrece un resultado fuerte. Con Llama-3.1-8B logra accuracy media 0,8907 y diff-bias 0,0579, frente a 0,8316/0,0759 de multi-agent debate y 0,8210/0,0696 del mejor re-prompting comparado. La mejora es especialmente grande en los contextos ambiguos: accuracy 0,9054 y diff-bias 0,0279. Con Llama-3.1-70B obtiene 0,9283/0,0053. Su accuracy no difiere significativamente de self-consistency standard, 0,9269, p=0,451, pero el diff-bias sí baja de 0,0301 a 0,0053. Por tanto, “mantiene el razonamiento” es defendible en estos dos modelos, aunque no siempre supera en accuracy.

El resultado no es universal. En el subconjunto GPT-3.5, MPT obtiene accuracy 0,7499, por debajo de direct prompting, 0,7553, y re-prompting debias, 0,7580, aunque alcanza el menor diff-bias, 0,0141. En Qwen sobre el mismo subconjunto obtiene la mejor accuracy, 0,8913, pero su diff-bias 0,0266 no mejora el 0,0262 de re-prompting persona; la diferencia es nula estadísticamente, p=0,9422. La frase general de que MPT logra “el menor bias” debe leerse como tendencia agregada, no dominancia en todas las combinaciones.

StereoSet requiere una interpretación aún más cauta. Los autores no usan la tarea original de language-modeling: sustituyen la opción “unrelated” por variantes de “unknown” y la convierten en QA. La auditoría de los 12.766 JSON públicos confirma que en los 12.766 casos la respuesta etiquetada como correcta es una de diez fórmulas de abstención, “Unknown”, “Cannot answer”, “Not enough information”, etc.. Así, la accuracy mide cuántas veces el prompt de debiasing conduce a abstenerse, no la accuracy lingüística convencional de StereoSet ni una respuesta factual conocida.

En esa tarea transformada, MPT sube Llama-3.1-8B de 0,4664 del siguiente método en accuracy a 0,6073, +30 % relativo, y reduce diff-bias de 0,0888 a 0,0505, −43 % relativo. Qwen pasa a 0,7312/0,0921. Son mejoras reales bajo la definición liberada, pero el mecanismo está alineado con el target: los prompts repiten que se elimine bias, que se reconozca la ambigüedad y que se revise una respuesta “sin ningún bias”, mientras la opción correcta siempre es no decidir. No demuestran mejor comprensión general ni mitigación en generación abierta.

Las ablations apoyan que la iteración y el tercer punto de vista influyen. En Llama-3.1-8B BBQ, “sin neutral” obtiene 0,7775/0,0748 frente a 0,8901/0,0562 con neutral; R=1 produce el salto principal y el rendimiento se estabiliza hacia R=2. Sin embargo, el código de --no_general no elimina el tercer agente: reemplaza la persona neutral por el system prompt estándar. La conclusión de que “solo dos identidades binarias polarizan” no corresponde exactamente a esa implementación. El ejemplo de la Figura 1 también muestra que el supuesto observador neutral puede emitir el mismo estereotipo que una identidad, por lo que neutral es una instrucción, no garantía de imparcialidad.

La comparación de coste cuenta llamadas, no tokens ni latencia secuencial. MPT R=3 cuesta 13 inferencias frente a 15 muestras independientes de self-consistency y mejora 0,8901/0,0562 frente a 0,7907/0,0779. Pero MPT reinyecta historiales crecientes de hasta 512 tokens y tiene cinco etapas secuenciales; self-consistency puede paralelizarse. La combinación MPT+SC muestrea cinco ejecuciones MPT, 65 llamadas nominales, para subir accuracy de 0,8901 a 0,9232 y bajar diff-bias solo de 0,0562 a 0,0546. Sin tokens, tiempo, energía, memoria o coste monetario, “más eficiente” solo está demostrado en número de llamadas bajo ese setup.

Las personas se derivan de etiquetas del dataset y simplifican identidades complejas en pares como hombre/mujer, gay/straight, Black/White, rich/poor o Indian/Japanese. El paper reconoce límites no binarios e interseccionales. En StereoSet, el código crea además roles target/non-target, que pueden ser construcciones extrañas como “stepfather” y “non-stepfather”, no perspectivas sociales válidas. El método puede servir como scaffold de deliberación, pero no modela personas reales, experiencia vivida ni una teoría de personalidad.

La métrica también presenta una discrepancia. Las ecuaciones del paper definen Diff-bias como diferencia con signo, pero el evaluador público aplica valor absoluto en BBQ. Eso convierte dirección en magnitud y es coherente con “menor es mejor”, pero debe documentarse porque borra si el error favorece al grupo target o al counter-target. Para StereoSet el código conserva una diferencia con signo. Los outputs inválidos se excluyen de los denominadores de accuracy y de diff-bias BBQ; las tablas no publican tasas válidas/incompletas, por lo que un método con más fallos de parseo podría verse favorecido. El parser usa el primer dígito 0–2 de toda la respuesta si falta la etiqueta <answer>, una recuperación potencialmente ambigua.

La significación usa paired t-tests sobre cinco runs y reporta t extremadamente altos, pero no se publican los cinco resultados, seeds o script de tests/intervalos. No hay corrección por las múltiples comparaciones de modelos, datasets y métricas. Las CIs estrechas describen variación de sampling en un benchmark fijo, no incertidumbre sobre generalización a otros prompts, idiomas, modelos o dominios reales.

El repositorio MANGA-UOFA/multi-persona-thinking fue auditado en el commit c6f2b6cd1ad354b3aab2bacaea775452d1175869. Incluye los 58.492 casos BBQ, los 12.766 StereoSet adaptados, dos scripts Python, un environment completo y un comando para MPT con Llama-3.1-8B/BBQ. El código compila sintácticamente y los conteos coinciden con el paper. Pero no incluye licencia, tests, CI, outputs, logs de resultados, hardware/runtime, seeds de los cinco runs ni scripts de t-tests. El README no documenta baselines, Qwen, 70B, GPT, StereoSet, ablations o todas las tablas.

Hay además una limitación de implementación material: el pipeline de inferencia solo construye prompts cuando el método empieza por “m” y no contiene ramas que implementen direct prompting, self-consistency o re-prompting. Si se invoca mad, la misma rama asigna las personas MPT, a pesar de que el paper define MAD sin identidades explícitas. Para OpenAI, tres agentes indexan tres objetos de modelo; pasar una sola vez GPT-3.5 produce un índice fuera de rango y el README no explica repetir el identificador. El repositorio permite reconstruir MPT con recursos sustanciales, pero no reproduce de extremo a extremo las comparaciones publicadas.

La contribución está publicada en Findings of ACL 2026 y demuestra que una deliberación repetida, explícitamente orientada a evitar estereotipos, mejora BBQ para Llama y reduce varias métricas. No establece respuestas “bias-free”, imparcialidad en sistemas reales, beneficio para generación abierta o una ventaja inherente de las personas frente a otros prompts equivalentes en tokens y etapas.