El trabajo compara respuestas humanas de personas de Bangladés con respuestas de siete modelos condicionados mediante ocho etiquetas sociales: simpatizante de Awami League (AL), simpatizante de Bangladesh Nationalist Party (BNP), hombre, mujer, musulmán, hindú, cristiano y budista. Su advertencia principal es pertinente: no debe sustituirse la voz de personas locales por una persona LLM sin validación empírica. En esta evaluación, las colecciones humanas reciben más etiquetas de «respuesta completa» y mayores puntuaciones de percepción que todos los modelos. Sin embargo, el estudio no mide exactitud factual en sentido estricto, no documenta su muestra humana y no aporta pruebas inferenciales, datos o código. Sus resultados son descriptivos y útiles como señal de cautela, no una estimación reproducible de cuánto «entienden» Bangladés los modelos.
El instrumento contiene 100 preguntas culturalmente específicas elaboradas por un sociólogo: 40 sobre política, 30 sobre género y 30 sobre religión. Los temas incluyen la Guerra de Liberación, la historia posterior a la independencia, la revolución de julio de 2024, secularismo, religión de Estado, derecho, economía y papel social y político de las mujeres. Las mismas preguntas de cada eje se reutilizan para los pares o grupos correspondientes. Esto produce 260 celdas persona-pregunta: 80 políticas, 60 de género y 120 religiosas. Cada modelo recibe una instrucción mínima: «You are a <persona> from Bangladesh. Your responses should closely mirror the knowledge and abilities of this persona».
Los siete sistemas son denominados GPT-5.0 o GPT-5o, GPT-4.1, Grok 3, GPT-4.0 o GPT-4o, Llama 3.3, DeepSeek V3 y AI21 Jamba 1.5 Large. Los nombres GPT-5.0/GPT-5o y GPT-4.0/GPT-4o cambian dentro del artículo y no se facilitan snapshots, fechas de API o configuración. Tampoco se indican system prompt, temperatura, top_p, seed, longitud máxima, reintentos ni entorno de inferencia para los modelos abiertos. Los «personajes» son etiquetas de una línea, no perfiles ricos ni modelos calibrados de la diversidad interna de esos grupos.
Personas reales que se identificaban con cada etiqueta contestaron las preguntas correspondientes. Tres anotadores clasificaron cada respuesta como «fully answer», buena, o «partially or not explained», mala, y decidieron por mayoría. El artículo informa 2.080 instancias: 1.166 buenas y 914 malas. Ese total coincide exactamente con 260 celdas multiplicadas por ocho fuentes de respuesta, siete LLM y una humana, por lo que parece haber una salida por fuente y celda, salvo que exista una agregación no descrita. No se publican repeticiones de generación ni incertidumbre debida al muestreo del modelo.
La llamada «accuracy» es en realidad la proporción de respuestas que los anotadores juzgan completas o plenamente acordes; no se compara una predicción contra una clave objetiva. El ejemplo político lo deja claro. Dos respuestas humanas incompatibles sobre quién declaró la independencia se etiquetan ambas como buenas al representar respectivamente las narrativas AL y BNP, mientras dos respuestas GPT más moderadas se etiquetan como malas. El instrumento puede medir adecuación explicativa, intensidad partidista o congruencia con el personaje, pero llamarlo exactitud factual confunde esas propiedades. El apéndice denomina falsos positivos y negativos a las respuestas parciales o no aceptadas sin definir clases positivas, negativas ni matriz de confusión.
Con esa métrica, la referencia humana ronda el 87 %. GPT-5o alcanza 61,7 %, GPT-4.1 56,9 %, Grok 55,5 %, Llama 3.3 52,1 %, GPT-4o 49,4 %, DeepSeek 45,6 % y Jamba 37,3 %. Es una diferencia descriptiva grande y consistente en el agregado. No obstante, «humano» tampoco es una verdad única: no se especifica cuántas personas participaron por identidad, cómo se eligió una respuesta por pregunta, ni la variación dentro de los grupos. El 87 % no debe presentarse como techo objetivo de conocimiento.
El desglose por personaje es una de las partes más informativas. Las respuestas humanas reciben entre 87-90 % en política, 90-95 % en género y 75-86 % en religión. Los modelos varían mucho: GPT-5o y Grok obtienen mayor proporción para BNP que AL; GPT-4o muestra el patrón contrario. Casi todos puntúan peor para mujer que para hombre, salvo GPT-4.1, informado como 80/80. Religión es el eje más bajo e inestable y la condición budista suele quedar entre las peores. Estas brechas merecen investigación, pero no aíslan por sí solas sesgo de género, partido o religión: pueden combinar distinta dificultad de preguntas, conocimiento, estereotipos del prompt, seguridad, estilo, aleatoriedad y expectativas del anotador. Además, el cuerpo y la figura sitúan el 25 % político de Jamba en BNP, mientras una frase del apéndice lo atribuye por error a AL.
La segunda evaluación usa Persona Perception Scale (PPS), con Credibility, Consistency, Completeness, Clarity, Empathy y Likability en escala 1-7. Los conjuntos humanos tienen las mayores medias publicadas. Credibility humana es 6,21 ± 0,98 y Empathy 5,46 ± 0,95. GPT-5o queda más cerca, con Credibility 5,48 ± 1,08 y Likability 5,52 ± 1,05; Grok registra 4,90 ± 1,25 en credibilidad y 4,51 ± 1,33 en empatía. Los modelos son relativamente mejores en claridad y completitud y peores en credibilidad y empatía.
No se puede auditar plenamente el PPS. El texto habla de participantes, evaluadores y raters sin aclarar si son las mismas personas que escribieron o anotaron las respuestas. No informa N, número de ítems por subescala, si aplicó el instrumento validado completo o una pregunta por dimensión, orden, cegamiento ni unidad evaluada. Tampoco explica qué observaciones generan las desviaciones estándar. Por ello, las medias documentan una diferencia de percepción en la muestra no descrita, pero no permiten valorar fiabilidad, precisión o generalización.
Un análisis léxico compara sentimiento mediante labMT, que asigna felicidad 1-9 a palabras inglesas y excluye el intervalo 4-6. El gráfico muestra 5,60 para respuestas humanas y 5,99 para GPT-5o: una diferencia de 0,39 impulsada por mayor presencia de «freedom», «harmony», «rights» o «support» y menor presencia de «violence», «failure», «corruption» o «criticism». Es evidencia transparente de que el corpus GPT-5o mostrado usa vocabulario más positivo. No demuestra que todos los LLM tengan 5,99: aunque abstract y discusión hablan de «LLMs», la figura está rotulada explícitamente Human Answer frente a GPT-5o Answer. Tampoco se aporta prueba estadística, control por longitud/tema ni análisis por los otros seis modelos. El nombre «Pollyanna Principle» describe el patrón lexical, pero no demuestra que la positividad cause las menores puntuaciones de empatía o credibilidad.
La etiqueta «low-resource setting» también requiere precisión. Bangladés aporta un contexto cultural subrepresentado muy relevante, pero el prompt, las preguntas y ejemplos visibles están en inglés y el léxico labMT es inglés. El artículo no informa una evaluación en bengalí. Por tanto, comprueba contenido cultural sobre Bangladés presentado en inglés; no mide directamente capacidad en una lengua de pocos recursos, escasez de infraestructura ni recursos computacionales. Un solo país y una muestra humana sin describir tampoco permiten generalizar a todos los entornos con pocos recursos.
Las afirmaciones de significación no están respaldadas. El texto repite «significant gap», «significantly lower» y «significant difference», pero no incluye tests, p-valores, intervalos de confianza ni pruebas de efecto. Las barras PPS son desviaciones estándar sin N ni fuente de variabilidad. No hay acuerdo interanotador, kappa, alfa o porcentaje, fiabilidad del PPS, validación de las 100 preguntas ni corrección por las múltiples comparaciones de siete modelos, ocho personas y seis dimensiones. Con una aparente única generación por celda, no se puede separar el efecto del modelo de una muestra estocástica.
La documentación humana y ética es insuficiente. Faltan número de participantes, reclutamiento, edad, educación, ubicación, idioma, instrucciones completas, consentimiento, compensación, privacidad y revisión IRB o equivalente. Esto importa especialmente porque afiliación política y religión son datos sensibles. El fuente TeX conserva un checklist comentado que llama voluntarios a los anotadores, dice que no hay sujetos humanos que requieran IRB y, a la vez, el método describe participantes identificados con ocho grupos y personas que completan PPS. La auditoría no concluye si legalmente se requería revisión; concluye que el estado ético debe aclararse. Ese checklist también prometía publicar datos anotados y código en camera-ready, pero no se hallaron.
La reproducibilidad es baja. No están disponibles las 100 preguntas, las 2.080 respuestas, votos individuales, ratings PPS, salidas de sentimiento, datos de figuras ni scripts. El paquete arXiv contiene TeX y figuras, no los materiales experimentales. La terminología interna añade errores: el texto enumera siete LLM aunque una frase dice ocho; omite al personaje cristiano al describir inicialmente las religiones; alterna participante, anotador y evaluador; y generaliza el resultado GPT-5o de sentimiento.
El valor seguro del estudio está en su diseño local y su recomendación, no en las etiquetas más fuertes. Introduce preguntas sobre Bangladés, usa respuestas de personas que se identifican con los grupos, incorpora tres anotadores, compara siete familias y muestra resultados por persona y por seis dimensiones. La conclusión rigurosa es que, bajo prompts identitarios de una sola línea y esta rúbrica subjetiva, los modelos produjeron respuestas consideradas menos completas y personajes peor percibidos que una referencia humana local insuficientemente documentada. Esto apoya validar con comunidades reales antes de usar personas sintéticas en ciencias sociales. No establece porcentajes de verdad factual, fracaso en bengalí, significación estadística, sesgos causales aislados ni representación auténtica de la diversidad de Bangladés.