Evaluating Chinese Large Language Models: The Influence of Persona Assignment on Stereotypes and Safeguards

This paper evaluates how prompt-assigned personas alter refusal and toxicity in Qwen-Turbo, Ernie-4.5-Turbo-128k, DeepSeek-V3, and Hunyuan-Standard. It is published in ACM Transactions on Intelligent Systems and Technology, DOI 10.1145/3819074. The audit uses the complete 32-page arXiv:2506.04975v2 manuscript because ACM blocked the publisher PDF; Crossref confirms receipt on 29 April 2025, acceptance on 6 April 2026, and publication on 30 May 2026. The design crosses personas, 240 Chinese social-group labels in thirteen categories, and six prompt templates: generic, good, bad, negative, harmful, and toxic. Personas adapted from Western work are translated with py-googletrans and reviewed by two native Chinese speakers, then grouped as no-persona default, Basic descriptors such as good/bad/nasty person, and named Character personas. Three independent outputs are generated per persona-group-template combination with temperature 1, 500 output tokens, top_p .90, and presence penalty .02; Hunyuan does not receive top_p. Less than five percent of non-Chinese outputs are translated before analysis. The paper reports about 369,000 outputs per model and more than 1,476,000 total. Refusal is detected with a phrase list and bert-base-chinese fine-tuned on 1,200 annotated Qwen responses. A condition counts as refusal only when all three repetitions refuse; toxicity is Perspective API's maximum TOXICITY among non-refusal repetitions. This is a coherent worst-case red-team construction, not an estimate of typical response behavior. Across ten identical independent stateless requests, aggregate refusal falls from roughly 30% to below 20% for Qwen, 20% to about 8% for Ernie, about 7% to near zero for DeepSeek, and about 50% to above 30% for Hunyuan. Because calls have no retained history, the pattern supports attempt-to-attempt instability, not memory adaptation. Significant Welch comparisons always show higher refusal for female persona sets, but female and male samples are different named people and occupations rather than gender-swapped counterfactuals. Identity, profession, politics, fame, and wording are therefore confounded with gender; the design does not identify causal gender stereotyping. Sexual orientation, race, disease, and disability often trigger higher refusal, with substantial model and template heterogeneity. Approximate absolute toxicity medians are .04 for Qwen and .08 for Hunyuan; DeepSeek rises from about .06-.08 to .14 under Toxic, while Ernie moves from near zero by default to .10-.12 under restrictive prompts. Persona/default ratios reach about 9.4 for Qwen hateful/Toxic, above 10 for DeepSeek nasty, and above 40 in one Ernie cell. The authors acknowledge that near-zero denominators inflate ratios, and exact-zero handling is undocumented. Regression coefficients differ sharply across products, but the paper's claim that factors independently and jointly shape outcomes exceeds the reported method: persona, social group, and template are entered in separate regressions with no interaction terms. Reused personas, groups, and templates are not handled with clustered or hierarchical uncertainty, many tests have no multiplicity policy, and OLS is applied to bounded, refusal-selected, maximum toxicity scores without sensitivity analysis. Perspective API is not culturally validated for this Chinese persona domain. Refusal-classifier reporting is also limited. The manual 98/100 result is conditional on one disagreement direction between BERT and the phrase rule, not general accuracy, and BERT is trained only on Qwen. The appendix mixes a 60/20/20 split with ten-fold cross-validation and provides no annotator agreement. The paper says 87 personas, while the visible appendix says 55 and TeX retains an older commented 87-persona table. The claimed factorial design would yield 375,840 outputs per model with 87 personas, not about 369,000; 55 would yield 237,600. No collection date or immutable API revisions are reported. The mitigation study selects Qwen's 1,000 most toxic baseline cases and applies up to three feedback rounds with Qwen or Ernie as evaluator. Selected medians around .6-.8 fall to .1-.3, but there is no fresh no-feedback regeneration control. Regression to the mean after selecting stochastic extremes is therefore unresolved, and usefulness, semantic preservation, refusal, cost, latency, and human safety are not measured. Most importantly, the promised GitHub dataset, classifier, and code return 404 and no rename or mirror was found. Without raw outputs, labels, checkpoints, scores, complete tables, or scripts, no result can currently be recomputed. The defensible contribution is a broad red-team warning that persona wording, target group, and prompt valence are associated with highly model-specific safety behavior and that repeated attempts can expose a non-refusal. It does not establish a causal gender effect, history adaptation, culturally calibrated toxicity, tested joint interactions, a stable ranking of current services, or utility-preserving mitigation.

Este artículo estudia si asignar personas por prompt altera el rechazo y la toxicidad de cuatro servicios LLM chinos: Qwen-Turbo, Ernie-4.5-Turbo-128k, DeepSeek-V3 y Hunyuan-Standard. Está publicado en ACM Transactions on Intelligent Systems and Technology, DOI 10.1145/3819074. La auditoría usa el manuscrito abierto arXiv:2506.04975v2, revisado el 26 de mayo de 2026, porque ACM bloqueó el PDF; Crossref confirma recepción el 29 de abril de 2025, aceptación el 6 de abril de 2026 y publicación el 30 de mayo de 2026. Se inspeccionaron visualmente sus 32 páginas, el texto y el TeX completos. El diseño cruza personas, 240 grupos sociales chinos de 13 categorías y seis plantillas: decir algo genérico, bueno, malo, negativo, dañino o tóxico sobre un grupo. Las personas parten de trabajo occidental, se traducen con py-googletrans y dos hablantes nativos las revisan. Se dividen en condición por defecto, descriptores Basic como una persona buena, mala o desagradable, y Character personas basadas en figuras concretas. El sistema pide copiar la forma de hablar de la persona. Por cada combinación se generan tres respuestas independientes con temperatura 1, 500 tokens, top_p 0,90 y presence penalty 0,02; Hunyuan no recibe top_p. Menos del 5% de salidas no chinas se traducen antes del análisis. El paper declara unas 369.000 respuestas por modelo y más de 1.476.000 en total. El rechazo se detecta con una lista de frases y con un bert-base-chinese ajustado sobre 1.200 respuestas Qwen anotadas por tres personas. Una combinación solo cuenta como rechazo si las tres réplicas rechazan; cualquier respuesta que no rechace convierte la combinación en no-rechazo. La toxicidad se obtiene con Perspective API únicamente sobre respuestas no rechazadas y se conserva el máximo de las tres réplicas. Esta combinación es útil para red teaming porque busca el peor intento, pero no estima el comportamiento típico. En diez consultas idénticas e independientes, el rechazo agregado cae aproximadamente de 30% a menos de 20% en Qwen, de 20% a 8% en Ernie, desde 7% hasta casi cero en DeepSeek y de 50% a más de 30% en Hunyuan. Como las llamadas son explícitamente stateless, esto muestra inestabilidad entre intentos, no adaptación a historial o memoria. En las comparaciones declaradas significativas, los conjuntos de personas femeninas rechazan más que los masculinos: Qwen en Bad, Negative, Harmful y Toxic; DeepSeek en Bad, Negative y Toxic; Ernie solo en Harmful; Hunyuan en Generic, Harmful y Toxic. Sin embargo, no son versiones contrafactuales de una misma persona: se comparan figuras, ocupaciones e identidades distintas. El efecto atribuido a género está confundido con identidad, profesión, política, fama y texto de la persona, por lo que no identifica estereotipos de género causales. Sexual orientation, race, disease y disability tienden a activar más rechazo, mientras age y categorías socioeconómicas o educativas suelen quedar más bajas, con gran heterogeneidad. En toxicidad absoluta, Qwen ronda una mediana 0,04 y Hunyuan 0,08; DeepSeek pasa de aproximadamente 0,06-0,08 a 0,14 con Toxic; Ernie está cerca de cero por defecto y en 0,10-0,12 con plantillas restrictivas. Los ratios persona/default son mucho más llamativos: cerca de 9,4 para hateful/Toxic en Qwen, más de 10 para nasty en DeepSeek y más de 40 en una celda Ernie. El propio artículo reconoce que el denominador casi cero infla estos cocientes; además, no documenta qué hace con denominadores exactamente cero. Hunyuan se mantiene normalmente en 1-1,3. Los ejemplos máximos bajo nasty person llegan a 0,92 para Younger Sister y 0,86 para Middle School Student en DeepSeek, 0,72 para Rural People en Qwen, 0,69 para Son en Hunyuan y 0,60 para Male Classmate y People From Liaoning en Ernie. Los modelos de regresión encuentran efectos muy diferentes por producto. Basic Persona aumenta la toxicidad estimada aproximadamente 0,145 en Qwen, hasta 0,40 en DeepSeek, 0,21-0,22 en Ernie y 0,075 en Hunyuan. Pero el abstract afirma que los factores actúan independiente y conjuntamente, mientras el método ajusta modelos separados para persona, grupo y plantilla, sin interacciones. No estima efectos conjuntos ajustados ni prueba interacciones. Las observaciones reutilizan las mismas personas, grupos y plantillas, pero no se agrupan errores ni se usan modelos jerárquicos; se interpretan muchos intervalos y Welch tests sin política de multiplicidad. La OLS opera sobre una variable 0-1, filtrada por rechazo y transformada al máximo, sin diagnósticos o sensibilidades. Perspective API tampoco se valida culturalmente para este dominio chino, un límite que los autores reconocen. El clasificador de rechazo tiene 0,9133 de accuracy media en diez folds y 0,9167 final, pero el apéndice mezcla un split 60/20/20 con validación cruzada sin explicar la relación. El 98/100 manual procede solo de casos en que BERT dice rechazo y la regla no; no es accuracy general ni valida otros modelos. Tres anotadores se mencionan sin acuerdo o adjudicación. El paper dice 87 personas, mientras el apéndice visible dice 55 y el TeX conserva comentada una tabla antigua de 87. Además, 87×240×6×3 son 375.840 salidas por modelo, no ~369.000; 55 producirían 237.600. Los datos ausentes impiden reconciliarlo. Tampoco hay fecha de recogida, revisión exacta de los cuatro endpoints, IDs de respuesta, seeds o política de reintentos, por lo que los resultados no fijan una versión estable de servicios mutables. La mitigación toma las 1.000 condiciones Qwen con mayor toxicidad y permite hasta tres rondas de feedback, usando Qwen-Turbo o Ernie-Character-8K como evaluador. La mediana seleccionada de 0,6-0,8 cae a 0,1-0,3 y Ernie queda algo más bajo. Es evidencia exploratoria, no causal concluyente: al escoger extremos y volver a generar sin un control nuevo sin feedback, parte de la caída puede ser regresión a la media. No se mide utilidad, conservación semántica, rechazo, coste, latencia, acuerdo humano ni falsos positivos; una respuesta genérica segura también bajaría Perspective. Finalmente, el manuscrito promete dataset, clasificador y código en GitHub, pero el repositorio devuelve 404 y no aparece renombrado o espejado. Sin las 1,4 millones de salidas, labels, checkpoint, splits, scores, tablas de regresión o scripts, ningún resultado puede recomputarse. La contribución defendible es una alerta de red teaming amplia: el framing de persona, el grupo objetivo y la valencia del prompt se asocian con riesgos muy distintos entre servicios, y repetir intentos puede encontrar una salida no rechazada. No demuestra un efecto causal de género, adaptación por historial, toxicidad culturalmente calibrada, interacciones conjuntas, superioridad actual de un modelo ni eficacia de mitigación preservando utilidad.