The Persona Paradox: Medical Personas as Behavioral Priors in Clinical Language Models

This work asks whether a one-sentence system instruction, “You are an Emergency Department Physician/Nurse,” Bold/Cautious variants, “Helpful Assistant,” or no persona, changes five clinical models on two tasks. The audit covers all 14 pages of arXiv:2601.05376v1, its source package, and the official repository at commit 19a7487. As of 15 July 2026, no later definitive publication was found; the first author's CV describes it as ACL/ARR work, so it should be treated as a non-peer-reviewed preprint. The paper provides a clear demonstration of prompt sensitivity, but its results are not equivalent to clinical validation or a clean measure of expertise.

The triage task combines 1,466 de-identified records from an emergency observation unit involving suspected TIA/stroke with 201 lower-acuity symptom cases. Models choose A stay home, B routine/primary care, or C emergency care. The study tests HuatuoGPT-o1-8B and 70B on Llama backbones, HuatuoGPT-o1-7B and 72B on Qwen backbones, and MedGemma-27B. Metrics include accuracy, ECE, agreement between the highest-probability label and generated label, emergency-label propensity, and a ratio of over-triage to under-triage errors. On PatientSafetyBench, responses to 466 open-ended queries are ranked by GPT-5, HuatuoGPT-o1-70B, and 72B for harmfulness, helpfulness, and factual accuracy.

The main descriptive finding is real but narrower than the headline: emergency-department roles shift predictions toward greater urgency. That shift improves accuracy by as much as about 20 percentage points on the high-acuity subset, worsens it by about 10 points on primary-care cases, and changes ECE and consistency in model-dependent ways. No primary-care persona is tested on primary-care cases. The design therefore confounds “medical persona” with contextual congruence: the same emergency role is applied both to emergency and non-emergency data. Source, label prevalence, and clinical context also change together across subsets. Without within-source per-class performance, improved reasoning cannot be separated from a simple shift in the prior toward label C.

The abstract says gains of “~+20% in accuracy and calibration,” whereas the body and figure report percentage-point changes: roughly +20 pp accuracy and −20 pp ECE. Lower ECE is improvement, not a positive 20% calibration gain. Calibration comes from A/B/C token probabilities, not confidence communicated to a patient; the number of bins, binning sensitivity, intervals, and per-class calibration are not reported. Consistency is not access to an internal state either: it compares two observable readings of the same model, conditional label probability and decoded text, and removes unparsable outputs from the denominator.

Bold and Cautious variants do not control risk monotonically. The paper acknowledges that ordering reverses across models, with small propensity differences in some cases and widely different sensitivity ratios. This demonstrates fragility to short phrasings, not a validated manipulation of the psychological constructs “bold” or “cautious.” There is no manipulation check, paraphrase robustness, seed replication, stochastic repetition, complete role-by-style factorial design, or uncertainty for these ratios. Type-I/Type-II ratios can be unstable with small or zero denominators and omit A-versus-B errors.

LLM evaluation favors medical roles in aggregate, but case-level agreement among the three judges is low: 43–53% majority agreement and kappa between 0 and .1. Aggregate statistical differences do not turn those preferences into clinical truth. Judges observe more or less professionalized language, rate partly stylistic dimensions, and are explicitly told not to use ground truth for reasoning-quality rankings. Paired t-tests on bounded ordinal MRR, many persona/model/task/dimension comparisons, no multiplicity correction, and no complete effect/p-value tables limit inference.

Human evaluation uses three volunteer coauthors: two attending physicians with more than ten years of practice and one recent MD graduate. Each sees 50 pairs per task; 149 reasoning judgments and 150 safety judgments are returned. This is neither an independent nor a representative sample. The 50 cases are selected only after all three LLM judges unanimously agree, balanced as 25 medical-preferred and 25 non-medical-preferred. It is validation conditioned on the evaluator's own extreme cases, not an estimate over the full corpus.

The reported kappa=.43 is described ambiguously. Figure 5b shows clinician–clinician kappas of −.10, −.067, and .45, averaging about .09. Clinician–“LLM Judge” kappas are −.091, .76, and .64; their average is .436 and accounts for the cited .43. Thus .43 is not average agreement among clinicians. It is calculated on only 16 safety cases passing a confidence threshold. The statement that 95.9% of reasoning responses have low confidence also does not literally match the histogram, which visibly contains many individual ratings at or above 50; it may refer to cases failing an undefined joint-rater criterion. Annotations are not released to resolve the discrepancy.

The claim that this “validates” LLM judges is too strong: one annotator has negative agreement with the aggregate LLM decision, clinician-to-clinician agreement is low, sampling incorporates LLM consensus, and preferences do not measure outcomes or clinical correctness. Preference percentages describe only selected, confidence-filtered cases. Perceived safety, fluency, and justification are not actual safety.

The released code does not reproduce the full study. The repository contains five Python scripts, one figure, and a one-sentence README; there are no data, outputs, analysis scripts, tables, notebooks, requirements/lockfile, license, tests, or CI. Clinical data are DUA-restricted, but there is not even a synthetic fixture or schema. infer_safety.py hard-codes ED Nurse and runs head(5). run_triage_med_gemma.py uses head(5), while run_triage_reasoning_model.py uses tail(5), absolute GPFS paths, and repeated import blocks. Both judge scripts use head(3). No script computes McNemar tests, t-tests, ECE, MRR, risk metrics, kappa, or figures; there is no GPT-5 judge implementation or ranking-prompt assembly. Default input files are absent.

Paper and code also diverge. The MedGemma prompt requires a “## Final Response” header not present in the paper; the triage judge script asks for ASSERTIVENESS and CLINICAL EXPERIENCE in addition to JUSTIFICATION QUALITY, whereas the paper defines only the latter; and the safety script concatenates its added scenario without a separating space after the query. Parsers accept aliases and phrases even though the protocol requires one letter, adding undocumented decision rules. All Python files compile syntactically, but that is not an executable analysis pipeline and cannot verify any reported result.

The defensible conclusion is that minimal professional-role instructions can alter response priors, generated text, and judge preferences in clinical models, with direction depending on task context and model. This is a useful warning against assuming an expert persona guarantees safety. It does not demonstrate clinical improvement, acquired expertise, a causal role effect separated from label priors, user-facing calibration, deployment safety, or robust clinician agreement.

Este trabajo estudia si una instrucción de sistema de una sola frase, “You are an Emergency Department Physician/Nurse”, sus variantes Bold/Cautious, “Helpful Assistant” o ninguna persona, cambia cinco modelos clínicos en dos tareas. La auditoría cubre las 14 páginas de arXiv:2601.05376v1, su paquete fuente y el repositorio oficial en el commit 19a7487. A 15 de julio de 2026 no se localizó publicación definitiva posterior: el CV de la primera autora lo presenta como trabajo ACL/ARR, por lo que debe tratarse como preprint no revisado por pares. El paper aporta una demostración clara de sensibilidad al prompt, pero sus resultados no equivalen a validación clínica ni a una medida limpia de expertise.

La tarea de triage combina 1.466 registros desidentificados de pacientes de una unidad de urgencias con sospecha de TIA/ictus y 201 casos sintomáticos de menor agudeza. El modelo debe elegir A quedarse en casa, B atención rutinaria/primaria o C urgencias. Se prueban HuatuoGPT-o1-8B y 70B sobre Llama, HuatuoGPT-o1-7B y 72B sobre Qwen, y MedGemma-27B. Se calculan accuracy, ECE, concordancia entre la etiqueta de mayor probabilidad y la generada, propensión a elegir urgencias y una razón de errores de sobretriage/undertriage. En PatientSafetyBench se generan respuestas a 466 consultas abiertas y tres jueces, GPT-5, HuatuoGPT-o1-70B y 72B, ordenan las personas por harmfulness, helpfulness y factual accuracy.

El hallazgo descriptivo principal es real pero más estrecho que el titular: los roles de urgencias desplazan las predicciones hacia mayor urgencia. Ese desplazamiento mejora hasta unos 20 puntos porcentuales la accuracy en el conjunto de alta agudeza, empeora alrededor de 10 puntos en atención primaria y modifica ECE y consistencia de forma dependiente del modelo. No se compara una persona de primaria con los casos de primaria. Por tanto, el diseño confunde “persona médica” con congruencia de contexto: exactamente el mismo rol de urgencias se aplica a datos de urgencias y fuera de urgencias. Además, procedencia, prevalencia de etiquetas y contexto cambian juntos entre los dos subconjuntos. Sin rendimiento por clase dentro de una fuente común, no se puede separar mejor razonamiento de un simple cambio del prior hacia C.

El abstract dice ganancias de “~+20% in accuracy and calibration”, pero el cuerpo y la figura muestran cambios en puntos porcentuales: aproximadamente +20 pp de accuracy y −20 pp de ECE. La ECE menor es una mejora; no es una ganancia positiva de 20%. La calibración se deriva de probabilidades de tokens A/B/C, no de confianza comunicada al paciente, y no se documentan número de bins, sensibilidad a binning, intervalos ni calibración por clase. La consistencia tampoco accede a un estado interno: compara dos lecturas observables del mismo modelo, probabilidad condicionada y texto decodificado, y excluye outputs no parseables del denominador.

Las variantes Bold y Cautious no controlan el riesgo de manera monotónica. El paper lo reconoce: el orden cambia según el modelo, con diferencias de propensión pequeñas en algunos casos y razones de sensibilidad muy dispares. Esto demuestra fragilidad ante formulaciones cortas, no que el constructo psicológico “bold/cautious” haya sido manipulado o medido. No hay manipulation check, paraphrases, seeds, repetición estocástica, factorial role×style completo ni estimación de incertidumbre para estas razones. La razón Type-I/Type-II puede ser inestable con denominadores pequeños o cero y omite errores A↔B.

La evaluación por LLM favorece en agregado a roles médicos, pero el acuerdo caso a caso de los tres jueces es bajo: 43–53% de acuerdo mayoritario y κ entre 0 y 0,1. Las diferencias significativas agregadas no convierten esas preferencias en verdad clínica. Los jueces ven respuestas más o menos profesionalizadas, evalúan dimensiones parcialmente estilísticas y, por instrucción, no usan ground truth en reasoning quality. La t de Student sobre MRR acotado/ordinal, las numerosas comparaciones de personas, modelos, tareas y dimensiones, la ausencia de corrección y la falta de tablas de efectos/p exactos limitan la inferencia.

La validación humana usa tres coautores voluntarios: dos attending physicians con más de diez años y un MD recién graduado. Cada uno evalúa 50 pares por tarea; se reciben 149 juicios de razonamiento y 150 de seguridad. No es una muestra independiente ni representativa. Los 50 casos se seleccionan después de que los tres jueces LLM coincidan unánimemente, balanceando 25 favorables a persona médica y 25 a no médica. Es una validación condicionada a extremos del propio evaluador, no una estimación del corpus completo.

El κ=0,43 está descrito de forma equívoca. La matriz de la Figura 5b muestra κ clínico–clínico de −0,10, −0,067 y 0,45, cuyo promedio es aproximadamente 0,09. Los valores clínico–“LLM Judge” son −0,091, 0,76 y 0,64; su promedio es 0,436 y explica el 0,43 citado. Por tanto, 0,43 no es acuerdo medio entre clínicos. Solo se calcula sobre 16 casos de seguridad que superan el umbral de confianza. La afirmación de que 95,9% de las respuestas de reasoning tienen baja confianza tampoco concuerda literalmente con el histograma, que contiene numerosos ratings individuales ≥50; quizá se refiera a casos que no cumplen un criterio conjunto no definido. No se liberan anotaciones para resolverlo.

La conclusión de que esto “valida” a los jueces LLM es demasiado fuerte: una persona anotadora tiene acuerdo negativo con el agregado LLM, el acuerdo entre clínicos es bajo, la selección incorpora el consenso LLM y las preferencias no miden outcomes ni corrección clínica. La tabla de preferencias solo describe el subconjunto seleccionado y filtrado por confianza. Perceived safety, fluidez o justificación no son seguridad real.

El código publicado no reproduce el estudio completo. El repositorio tiene cinco scripts Python, una figura y un README de una frase; no contiene datos, outputs, análisis, tablas, notebooks, requirements/lockfile, licencia, tests ni CI. Los datos clínicos son restringidos por DUA, pero tampoco se incluye un fixture sintético o un esquema. infer_safety.py fija la persona ED Nurse y procesa solo head(5). run_triage_med_gemma.py procesa head(5) y run_triage_reasoning_model.py tail(5); este último tiene rutas GPFS absolutas y bloques de imports duplicados. Los dos evaluadores solo procesan head(3). Ningún script calcula McNemar, t-tests, ECE, MRR, risk metrics, κ o las figuras; no hay implementación del juez GPT-5 ni ensamblado de prompts de ranking. Los defaults apuntan a archivos ausentes.

Hay además divergencias entre paper y código: el prompt de MedGemma exige un encabezado “## Final Response” ausente en el paper; el evaluador de triage solicita ASSERTIVENESS y CLINICAL EXPERIENCE además de JUSTIFICATION QUALITY, mientras el paper solo define esta última; y el script de safety concatena la frase adicional sin espacio tras el query. Los parsers aceptan aliases y frases aunque el protocolo exige una sola letra, introduciendo reglas no documentadas. Los archivos compilan sintácticamente, pero eso no constituye un pipeline ejecutable ni permite verificar ninguna cifra.

La conclusión defendible es que instrucciones profesionales mínimas pueden alterar el prior de respuesta, el texto y las preferencias de jueces en modelos clínicos, con dirección dependiente del contexto y del modelo. Es una advertencia útil contra asumir que una persona experta garantiza seguridad. No demuestra mejora clínica, expertise adquirido, causalidad del rol separada del prior de etiqueta, calibración para usuarios, seguridad de despliegue ni acuerdo clínico robusto.