When Does Persona Prompting Actually Help? A Retrieval and Metric Analysis of Expert Role Injection in LLMs

This six-page preprint compares neutral, generic-domain-expert, embedding-retrieved expert-role, and Gemini-selected hybrid role prompting for GPT-4o mini. A claimed 1,140 synthetic questions span 38 roles and six domains. Claude Haiku 4.5 rates accuracy, expertise depth, relevance, safety, clarity, and time-sensitive correctness from one to five. Reported aggregate scores are Baseline 4.390, Hybrid 4.382, General 4.373, and Embedding 4.349. Baseline and Hybrid are statistically indistinguishable at adjusted p=1.0, while both comparisons reported against Embedding are significant but small. Role conditions receive higher perceived expertise depth and lower clarity; Hybrid moves depth from Baseline 3.638 to 3.923 and clarity from 4.896 down to 4.550. The paper's restrained conclusion that role prompting reshapes style more than capability is directionally defensible. The release nevertheless has major arithmetic, measurement, and reproducibility gaps. Its type counts are 850 advisory plus 284 conceptual, totaling 1,134 rather than 1,140, with no explanation for six questions. The headline averages match weighted averages over those 1,134 typed cases. They do not equal the mean of the six displayed metric columns: Baseline metrics average 4.330 rather than 4.390, Embedding 4.304 rather than 4.349, General 4.317 rather than 4.373, and Hybrid 4.330 rather than 4.382. No weighting or not-applicable policy explains this. Benchmark creation, domain/role counts, prompts, answer sources and quality control are absent. The exact embedding model, top-k, distance function, Chroma settings, selector prompt, judge rubric, model snapshots and decoding settings are unspecified. Although questions are role-structured, retrieval is never evaluated against an intended role. The method promises retrieval similarity, role-selection, and Spearman analyses, but no correlation or selection results appear. Response length is invoked as a mechanism without a single length statistic or length-controlled evaluation. This is decisive because role prompts are designed to induce professional terminology, detail and structure, the same surface signals a single LLM judge may reward as expertise depth. Anonymization and metric decomposition do not remove verbosity bias. Accuracy, temporal correctness and safety lack reference answers, sources, browsing, human calibration, alternate judges or domain experts and therefore remain Claude perceptions rather than verified outcomes. Subgroup and metric comparisons omit complete multiplicity handling, confidence intervals and exact statistics, while domain and interaction type are confounded. Three citations are unrelated to their claims: an endoscopy microscopy paper and a metabolite model are cited for medicine/psychology prompting benefits, and an EVM transaction-code benchmark is cited for general multidimensional evaluation. No author-linked code or data repository was found. The arXiv source contains only manuscript assets, not the questions, prompts, 4,560 responses, ratings, selected roles, code or statistics. The defensible contribution is a useful hypothesis that role prompting can trade perceived depth for clarity and that aggregate scoring may hide it. The release does not establish improved expertise, factual accuracy, professional safety, retrieval quality, human utility, or generality across models and real traffic.

Este preprint de seis páginas compara cuatro maneras de responder preguntas abiertas con GPT-4o mini: una instrucción neutral, un experto genérico del dominio, el rol más cercano recuperado por embeddings OpenAI en ChromaDB y una variante híbrida donde Gemini Flash selecciona entre los top-k roles. El benchmark se describe como 1.140 preguntas sintéticas diseñadas para 38 roles de medicina, psicología, finanzas, derecho, ciencia y tecnología. Claude Haiku 4.5 puntúa cada respuesta de 1 a 5 en exactitud, profundidad experta, relevancia, seguridad, claridad y corrección temporal. Los promedios publicados son Baseline 4,390, Hybrid 4,382, General 4,373 y Embedding 4,349. Friedman detecta diferencia global, chi-cuadrado 31,30 y p=7,34e-7, pero los efectos agregados declarados son menores de d=0,12. Baseline supera a Embedding con p Holm 0,0056; Hybrid supera a Embedding con 0,0048; Baseline y Hybrid no difieren, p ajustada 1,0. El patrón más visible es de estilo juzgado: Hybrid sube profundidad de 3,638 a 3,923 frente a Baseline, diferencia 0,285 y d=0,54, pero baja claridad de 4,896 a 4,550. Hybrid obtiene seguridad 4,809. En 850 preguntas advisory, Hybrid es primero con 4,403; en 284 conceptual, Baseline lidera con 4,435. Los autores interpretan que el role prompting añade terminología, cautela y estructura útiles para asesoramiento, pero perjudica explicaciones concisas. Esa lectura es plausible y el artículo acierta al no presentar el prompting como mejora universal. Sin embargo, la auditoría encuentra que la evidencia publicada no permite verificarla de forma independiente. Primero, 850+284 son 1.134, no 1.140: seis preguntas quedan sin tipo ni política de exclusión. Los cuatro promedios headline coinciden casi exactamente con el promedio ponderado de esas 1.134 preguntas, no con el corpus anunciado. Segundo, Avg. no es la media de las seis columnas métricas. Para Baseline, los seis valores promedian 4,330, no 4,390; Embedding 4,304, no 4,349; General 4,317, no 4,373; Hybrid 4,330, no 4,382. Podría existir weighting o valores no aplicables, especialmente para corrección temporal, pero el método no define ninguno. El benchmark tampoco se documenta: no se publica cómo se escribieron o generaron las preguntas, cuántas hay por dominio y rol, qué revisión tuvieron, si existen duplicados, fuentes o respuestas de referencia. Solo aparecen cuatro ejemplos. Faltan los 38 prompts, la instrucción neutral, prompts genéricos, selector Gemini y rúbrica Claude. No se especifican modelo de embedding, top-k, distancia, ChromaDB, versiones exactas, temperaturas, seeds o repeticiones. Como las preguntas ya están estructuradas por rol, podría medirse si cada retriever recupera el rol previsto, pero el artículo no lo hace. Concluye que mejora la retrieval quality solo a partir del score downstream del mismo juez. El método promete analizar similitud de retrieval, selección de roles y Spearman, pero Results no contiene una sola correlación, distribución o matriz de selección. También afirma respuestas sustancialmente más largas sin publicar words/tokens, medias, incertidumbre, tests o control por longitud. Ese vacío es central: los prompts fueron diseñados para inducir terminología, framing profesional y estructura, exactamente las señales que un LLM judge puede convertir en profundidad. El juez único puede premiar detalle y caveats; anonimizar y separar métricas no controla verbosity. Sin respuestas de referencia, fuentes, browsing o expertos humanos, accuracy, time-sensitive correctness y safety son percepciones de Claude, no verificación factual o profesional. No hay calibración humana, segundo juez, acuerdo, repeat judging o human preference. Las comparaciones por seis métricas, dos tipos y seis dominios tampoco presentan familia completa de multiplicidad, IC o estadísticos; frases como p<0,001 across comparisons y medical statistically strong carecen de p corregida y test exacto. Dominio y tipo están confundidos: el propio paper dice que medicina/psicología contienen más asesoramiento y los demás más explicación, pero no publica la tabla cruzada ni una interacción. Además, tres citas no respaldan las afirmaciones asociadas: usa un trabajo de microscopía endoscópica y otro de análisis multimodal de metabolitos para justificar beneficios en medicina/psicología, y un benchmark de generación de código de transacciones EVM como apoyo general a evaluación multidimensional junto a HELM y FLASK. La búsqueda no encuentra repositorio de autores. No se publican las 1.140 preguntas, roles, 4.560 respuestas, scores, justificaciones, selecciones, código, longitud o scripts estadísticos; el tar de arXiv solo contiene TeX, bibliografía, una figura y la clase IEEE. La contribución defendible es una hipótesis experimental útil: el role prompting puede cambiar profundidad percibida y claridad en direcciones opuestas, y una media única puede ocultarlo. Con este release no queda demostrado que mejore expertise, accuracy, safety, retrieval o utilidad humana, ni que el patrón generalice más allá de un generador, un juez y una mezcla sintética no publicada.