Misalignment of LLM-Generated Personas with Human Perceptions in Low-Resource Settings

The paper compares responses from people in Bangladesh with seven models conditioned through eight social labels: Awami League (AL) supporter, Bangladesh Nationalist Party (BNP) supporter, Male, Female, Muslim, Hindu, Christian, and Buddhist. Its main warning is appropriate: local voices should not be replaced with an LLM persona without empirical validation. In this evaluation, human response collections receive more “fully answering” labels and higher perception ratings than every model. The study does not, however, measure factual accuracy in a strict sense, document its human sample, or provide inferential tests, data, or code. Its findings are useful descriptive caution, not a reproducible estimate of how well models “understand” Bangladesh.

The instrument contains 100 culturally specific questions developed by a sociologist: 40 on politics, 30 on gender, and 30 on religion. Topics include the Liberation War, post-independence history, the July 2024 uprising, secularism, state religion, law, economics, and women's social and political roles. Questions from each axis are reused for the corresponding pairs or groups, producing 260 persona-question cells: 80 political, 60 gender, and 120 religious. Each model receives one minimal instruction: “You are a <persona> from Bangladesh. Your responses should closely mirror the knowledge and abilities of this persona.”

The seven systems are named GPT-5.0 or GPT-5o, GPT-4.1, Grok 3, GPT-4.0 or GPT-4o, Llama 3.3, DeepSeek V3, and AI21 Jamba 1.5 Large. GPT-5.0/GPT-5o and GPT-4.0/GPT-4o naming changes within the paper, and snapshots, API dates, and configurations are absent. System prompt, temperature, top_p, seed, token limit, retries, and the inference environment for open-weight models are also missing. These “personas” are one-line labels, not rich profiles or calibrated models of within-group diversity.

People who identified with each label answered the corresponding questions. Three annotators classified every response as “fully answer” (good) or “partially or not explained” (bad), with majority vote. The paper reports 2,080 instances: 1,166 good and 914 bad. That total exactly equals 260 cells times eight response sources, seven LLMs plus human, suggesting one output per source-cell unless an unreported aggregation occurred. No repeated generations or model-sampling uncertainty are reported.

The named “accuracy” is actually the proportion of responses judged complete or fully acceptable; it does not compare a prediction against an objective key. The political example makes this clear. Two incompatible human narratives about who declared independence are both labelled good for representing AL and BNP positions, while two more moderate GPT answers are labelled bad. The instrument may measure explanatory adequacy, partisan intensity, or persona congruence, but calling it factual accuracy conflates those properties. The appendix also calls partially/not-agree outputs false positives and false negatives without defining positive and negative classes or a confusion matrix.

Under that metric, the human reference is about 87%. GPT-5o reaches 61.7%, GPT-4.1 56.9%, Grok 55.5%, Llama 3.3 52.1%, GPT-4o 49.4%, DeepSeek 45.6%, and Jamba 37.3%. The aggregate descriptive gap is large and consistent. Yet “human” is not a single truth source: the paper does not say how many people participated per identity, how one response was selected per question, or how much within-group variation existed. The 87% should not be treated as an objective knowledge ceiling.

Persona-level results are among the paper's most informative features. Human responses receive 87–90% in politics, 90–95% in gender, and 75–86% in religion. Models vary substantially: GPT-5o and Grok score higher for BNP than AL, while GPT-4o has the opposite pattern. Almost every model scores lower for Female than Male, except GPT-4.1 at a reported 80/80. Religion is the lowest and least stable axis, and Buddhist conditions are often among the weakest. These disparities warrant investigation, but do not by themselves isolate gender, partisan, or religious bias: question difficulty, knowledge, prompt stereotypes, safety, style, stochasticity, and annotator expectations can all contribute. The body and Figure 5 place Jamba's 25% political result on BNP, while one appendix sentence mistakenly assigns it to AL.

The second evaluation applies Persona Perception Scale (PPS): Credibility, Consistency, Completeness, Clarity, Empathy, and Likability on a 1–7 scale. Human collections have the highest published means. Human Credibility is 6.21 ± 0.98 and Empathy 5.46 ± 0.95. GPT-5o is closest, with Credibility 5.48 ± 1.08 and Likability 5.52 ± 1.05; Grok records 4.90 ± 1.25 in credibility and 4.51 ± 1.33 in empathy. Models are relatively stronger in clarity and completeness and weaker in credibility and empathy.

PPS cannot be fully audited. The text alternates among participants, evaluators, and raters without saying whether these are the same people who wrote or annotated responses. It gives no N, subscale item count, indication whether the full validated instrument or one item per dimension was used, order, blinding, or evaluation unit. Nor does it explain what observations generate the standard deviations. The means document a perception difference in an undescribed sample, but reliability, precision, and generalization cannot be assessed.

A lexical analysis uses labMT, which assigns English words happiness scores from 1 to 9 and excludes scores from 4 to 6. The plot shows 5.60 for human answers and 5.99 for GPT-5o, a 0.39 difference driven by more “freedom,” “harmony,” “rights,” and “support,” and less “violence,” “failure,” “corruption,” and “criticism.” This transparently shows that the displayed GPT-5o corpus uses more positive vocabulary. It does not establish that all LLMs score 5.99: although the abstract and discussion say “LLMs,” the figure is explicitly labelled Human Answer versus GPT-5o Answer. No statistical test, length/topic control, or equivalent analysis for the other six models is supplied. “Pollyanna Principle” describes the lexical pattern but does not show that positivity causes lower empathy or credibility ratings.

The “low-resource setting” label also needs precision. Bangladesh supplies an important underrepresented cultural context, but the visible prompt, questions, examples, and labMT lexicon are English. The paper reports no Bangla evaluation. It therefore tests Bangladesh-specific cultural content presented in English; it does not directly measure low-resource-language generation, infrastructure scarcity, or computational constraints. One country and an undescribed human sample cannot establish general behavior across resource-scarce environments.

Significance claims are unsupported. The paper repeatedly says “significant gap,” “significantly lower,” and “significant difference,” but includes no tests, p-values, confidence intervals, or effect-size tests. PPS bars are standard deviations without N or a stated variability source. There is no inter-annotator agreement, kappa, alpha, or percentage, PPS reliability, questionnaire validation, or correction for comparisons across seven models, eight personas, and six dimensions. With apparently one generation per cell, a model effect cannot be separated from one stochastic sample.

Human and ethics documentation is insufficient. Participant count, recruitment, age, education, location, language, full instructions, consent, compensation, privacy, and IRB or equivalent review are absent. This matters because political affiliation and religion are sensitive attributes. The TeX source retains a commented checklist that calls annotators voluntary, says there are no human subjects requiring IRB, while the method explicitly uses people identified with eight groups and participants completing PPS. The audit does not decide whether review was legally required; it finds that ethical status needs clarification. The same checklist promised annotated data and code at camera-ready, but none was found.

Reproducibility is low. The 100 questions, 2,080 responses, individual votes, PPS ratings, sentiment outputs, figure data, and scripts are unavailable. The arXiv package contains TeX and figures, not experimental materials. Internal terminology adds errors: seven LLMs are evaluated although one sentence says eight; Christian is omitted from the initial religion list; participant, annotator, and evaluator are interchanged; and the GPT-5o sentiment result is generalized.

The study's safe value lies in its local design and recommendation, not its strongest labels. It introduces Bangladesh-specific questions, uses responses from people identifying with the groups, includes three annotators, compares seven families, and disaggregates by persona and six perception dimensions. The rigorous conclusion is that, under one-line identity prompts and this subjective rubric, models produced answers judged less complete and persona collections perceived less favorably than an insufficiently documented local human reference. This supports validation with real communities before using synthetic personas in social science. It does not establish factual truth percentages, Bangla-language failure, statistical significance, isolated causal biases, or authentic representation of Bangladesh's diversity.

El trabajo compara respuestas humanas de personas de Bangladés con respuestas de siete modelos condicionados mediante ocho etiquetas sociales: simpatizante de Awami League (AL), simpatizante de Bangladesh Nationalist Party (BNP), hombre, mujer, musulmán, hindú, cristiano y budista. Su advertencia principal es pertinente: no debe sustituirse la voz de personas locales por una persona LLM sin validación empírica. En esta evaluación, las colecciones humanas reciben más etiquetas de «respuesta completa» y mayores puntuaciones de percepción que todos los modelos. Sin embargo, el estudio no mide exactitud factual en sentido estricto, no documenta su muestra humana y no aporta pruebas inferenciales, datos o código. Sus resultados son descriptivos y útiles como señal de cautela, no una estimación reproducible de cuánto «entienden» Bangladés los modelos.

El instrumento contiene 100 preguntas culturalmente específicas elaboradas por un sociólogo: 40 sobre política, 30 sobre género y 30 sobre religión. Los temas incluyen la Guerra de Liberación, la historia posterior a la independencia, la revolución de julio de 2024, secularismo, religión de Estado, derecho, economía y papel social y político de las mujeres. Las mismas preguntas de cada eje se reutilizan para los pares o grupos correspondientes. Esto produce 260 celdas persona-pregunta: 80 políticas, 60 de género y 120 religiosas. Cada modelo recibe una instrucción mínima: «You are a <persona> from Bangladesh. Your responses should closely mirror the knowledge and abilities of this persona».

Los siete sistemas son denominados GPT-5.0 o GPT-5o, GPT-4.1, Grok 3, GPT-4.0 o GPT-4o, Llama 3.3, DeepSeek V3 y AI21 Jamba 1.5 Large. Los nombres GPT-5.0/GPT-5o y GPT-4.0/GPT-4o cambian dentro del artículo y no se facilitan snapshots, fechas de API o configuración. Tampoco se indican system prompt, temperatura, top_p, seed, longitud máxima, reintentos ni entorno de inferencia para los modelos abiertos. Los «personajes» son etiquetas de una línea, no perfiles ricos ni modelos calibrados de la diversidad interna de esos grupos.

Personas reales que se identificaban con cada etiqueta contestaron las preguntas correspondientes. Tres anotadores clasificaron cada respuesta como «fully answer», buena, o «partially or not explained», mala, y decidieron por mayoría. El artículo informa 2.080 instancias: 1.166 buenas y 914 malas. Ese total coincide exactamente con 260 celdas multiplicadas por ocho fuentes de respuesta, siete LLM y una humana, por lo que parece haber una salida por fuente y celda, salvo que exista una agregación no descrita. No se publican repeticiones de generación ni incertidumbre debida al muestreo del modelo.

La llamada «accuracy» es en realidad la proporción de respuestas que los anotadores juzgan completas o plenamente acordes; no se compara una predicción contra una clave objetiva. El ejemplo político lo deja claro. Dos respuestas humanas incompatibles sobre quién declaró la independencia se etiquetan ambas como buenas al representar respectivamente las narrativas AL y BNP, mientras dos respuestas GPT más moderadas se etiquetan como malas. El instrumento puede medir adecuación explicativa, intensidad partidista o congruencia con el personaje, pero llamarlo exactitud factual confunde esas propiedades. El apéndice denomina falsos positivos y negativos a las respuestas parciales o no aceptadas sin definir clases positivas, negativas ni matriz de confusión.

Con esa métrica, la referencia humana ronda el 87 %. GPT-5o alcanza 61,7 %, GPT-4.1 56,9 %, Grok 55,5 %, Llama 3.3 52,1 %, GPT-4o 49,4 %, DeepSeek 45,6 % y Jamba 37,3 %. Es una diferencia descriptiva grande y consistente en el agregado. No obstante, «humano» tampoco es una verdad única: no se especifica cuántas personas participaron por identidad, cómo se eligió una respuesta por pregunta, ni la variación dentro de los grupos. El 87 % no debe presentarse como techo objetivo de conocimiento.

El desglose por personaje es una de las partes más informativas. Las respuestas humanas reciben entre 87-90 % en política, 90-95 % en género y 75-86 % en religión. Los modelos varían mucho: GPT-5o y Grok obtienen mayor proporción para BNP que AL; GPT-4o muestra el patrón contrario. Casi todos puntúan peor para mujer que para hombre, salvo GPT-4.1, informado como 80/80. Religión es el eje más bajo e inestable y la condición budista suele quedar entre las peores. Estas brechas merecen investigación, pero no aíslan por sí solas sesgo de género, partido o religión: pueden combinar distinta dificultad de preguntas, conocimiento, estereotipos del prompt, seguridad, estilo, aleatoriedad y expectativas del anotador. Además, el cuerpo y la figura sitúan el 25 % político de Jamba en BNP, mientras una frase del apéndice lo atribuye por error a AL.

La segunda evaluación usa Persona Perception Scale (PPS), con Credibility, Consistency, Completeness, Clarity, Empathy y Likability en escala 1-7. Los conjuntos humanos tienen las mayores medias publicadas. Credibility humana es 6,21 ± 0,98 y Empathy 5,46 ± 0,95. GPT-5o queda más cerca, con Credibility 5,48 ± 1,08 y Likability 5,52 ± 1,05; Grok registra 4,90 ± 1,25 en credibilidad y 4,51 ± 1,33 en empatía. Los modelos son relativamente mejores en claridad y completitud y peores en credibilidad y empatía.

No se puede auditar plenamente el PPS. El texto habla de participantes, evaluadores y raters sin aclarar si son las mismas personas que escribieron o anotaron las respuestas. No informa N, número de ítems por subescala, si aplicó el instrumento validado completo o una pregunta por dimensión, orden, cegamiento ni unidad evaluada. Tampoco explica qué observaciones generan las desviaciones estándar. Por ello, las medias documentan una diferencia de percepción en la muestra no descrita, pero no permiten valorar fiabilidad, precisión o generalización.

Un análisis léxico compara sentimiento mediante labMT, que asigna felicidad 1-9 a palabras inglesas y excluye el intervalo 4-6. El gráfico muestra 5,60 para respuestas humanas y 5,99 para GPT-5o: una diferencia de 0,39 impulsada por mayor presencia de «freedom», «harmony», «rights» o «support» y menor presencia de «violence», «failure», «corruption» o «criticism». Es evidencia transparente de que el corpus GPT-5o mostrado usa vocabulario más positivo. No demuestra que todos los LLM tengan 5,99: aunque abstract y discusión hablan de «LLMs», la figura está rotulada explícitamente Human Answer frente a GPT-5o Answer. Tampoco se aporta prueba estadística, control por longitud/tema ni análisis por los otros seis modelos. El nombre «Pollyanna Principle» describe el patrón lexical, pero no demuestra que la positividad cause las menores puntuaciones de empatía o credibilidad.

La etiqueta «low-resource setting» también requiere precisión. Bangladés aporta un contexto cultural subrepresentado muy relevante, pero el prompt, las preguntas y ejemplos visibles están en inglés y el léxico labMT es inglés. El artículo no informa una evaluación en bengalí. Por tanto, comprueba contenido cultural sobre Bangladés presentado en inglés; no mide directamente capacidad en una lengua de pocos recursos, escasez de infraestructura ni recursos computacionales. Un solo país y una muestra humana sin describir tampoco permiten generalizar a todos los entornos con pocos recursos.

Las afirmaciones de significación no están respaldadas. El texto repite «significant gap», «significantly lower» y «significant difference», pero no incluye tests, p-valores, intervalos de confianza ni pruebas de efecto. Las barras PPS son desviaciones estándar sin N ni fuente de variabilidad. No hay acuerdo interanotador, kappa, alfa o porcentaje, fiabilidad del PPS, validación de las 100 preguntas ni corrección por las múltiples comparaciones de siete modelos, ocho personas y seis dimensiones. Con una aparente única generación por celda, no se puede separar el efecto del modelo de una muestra estocástica.

La documentación humana y ética es insuficiente. Faltan número de participantes, reclutamiento, edad, educación, ubicación, idioma, instrucciones completas, consentimiento, compensación, privacidad y revisión IRB o equivalente. Esto importa especialmente porque afiliación política y religión son datos sensibles. El fuente TeX conserva un checklist comentado que llama voluntarios a los anotadores, dice que no hay sujetos humanos que requieran IRB y, a la vez, el método describe participantes identificados con ocho grupos y personas que completan PPS. La auditoría no concluye si legalmente se requería revisión; concluye que el estado ético debe aclararse. Ese checklist también prometía publicar datos anotados y código en camera-ready, pero no se hallaron.

La reproducibilidad es baja. No están disponibles las 100 preguntas, las 2.080 respuestas, votos individuales, ratings PPS, salidas de sentimiento, datos de figuras ni scripts. El paquete arXiv contiene TeX y figuras, no los materiales experimentales. La terminología interna añade errores: el texto enumera siete LLM aunque una frase dice ocho; omite al personaje cristiano al describir inicialmente las religiones; alterna participante, anotador y evaluador; y generaliza el resultado GPT-5o de sentimiento.

El valor seguro del estudio está en su diseño local y su recomendación, no en las etiquetas más fuertes. Introduce preguntas sobre Bangladés, usa respuestas de personas que se identifican con los grupos, incorpora tres anotadores, compara siete familias y muestra resultados por persona y por seis dimensiones. La conclusión rigurosa es que, bajo prompts identitarios de una sola línea y esta rúbrica subjetiva, los modelos produjeron respuestas consideradas menos completas y personajes peor percibidos que una referencia humana local insuficientemente documentada. Esto apoya validar con comunidades reales antes de usar personas sintéticas en ciencias sociales. No establece porcentajes de verdad factual, fracaso en bengalí, significación estadística, sesgos causales aislados ni representación auténtica de la diversidad de Bangladés.