Este preprint estudia cuánto cambian las conclusiones de evaluaciones MCQA condicionadas por una persona cuando varían el prompt de persona, el prompt de tarea y la temperatura. Aunque una frase de métodos dice cuatro modelos, las tablas y análisis evalúan cinco: Llama-3.2-1B-Instruct, Llama-3.1-8B-Instruct y Qwen2.5-Instruct de 1,5B, 7B y 14B. Cada modelo responde las 5.013 preguntas de un compuesto de MMLU, Social IQa y NormAd-Eti bajo 41 etiquetas y 48 configuraciones: cuatro formatos de prompt de persona, cuatro de tarea y temperaturas 0, 0,5 y 1. Las 41 etiquetas incluyen 39 roles o identidades y dos controles, `a human` y `NO PERSONA`; por tanto, los agregados denominados persona también incluyen controles. El diseño implica 1.968 evaluaciones completas y 9.865.584 respuestas a preguntas por modelo. Los autores proponen tres métricas. IA es la diferencia absoluta media de accuracy entre pares de configuraciones y ofrece una medida descriptiva clara. IO resume la desviación ponderada de los rankings de etiquetas, pero sus pesos y su factor final dependen de la dispersión de accuracy entre personas; no es una medida pura de cambio de rango. IQ calcula uno menos la intersección de preguntas correctas en todas las configuraciones dividida por su unión. Esta definición depende mecánicamente del número de configuraciones: con 48 condiciones, exigir que una pregunta sea correcta en todas hace que la intersección se reduzca aunque la probabilidad de acierto sea estable. La propia tabla de sensibilidad lo muestra: al pasar de 12 a 48 configuraciones, IQ sube de 61,083 a 78,293 para Llama-8B y de 32,061 a 52,828 para Qwen-14B, cambios incompatibles con describir la métrica como apenas variable. Su correlación de .948–.990 con Fleiss kappa usa la misma matriz binaria de aciertos y no valida de forma independiente el constructo. Descriptivamente, los modelos pequeños son por lo general más sensibles; Qwen-7B presenta los menores IA e IO, mientras Qwen-14B mejora IQ pero empeora ligeramente IA e IO respecto a 7B. El formato de tarea es el factor más influyente, pero sus niveles cambian entre responder solo una opción y generar una explicación, además de recordar o no la persona: no es únicamente una variación superficial de redacción. Matemáticas y razonamiento social/commonsense muestran más sensibilidad y las configuraciones pueden cambiar la mejor y peor etiqueta, un resultado útil para advertir contra rankings de personas basados en una sola configuración. La comparación entre cuatro condiciones llamadas estables a temperatura 0 y cuatro llamadas inestables a temperatura 1 favorece la accuracy en cuatro de cinco modelos, pero selección y evaluación se hacen con los mismos datos y las métricas derivan de accuracy o sus rankings; es evidencia exploratoria, no causal ni held-out. Cada celda estocástica se observa una sola vez, de modo que no se separa el efecto de temperatura o prompt de la variación de la realización aleatoria. Tampoco se publican salidas, dataset compuesto, código de etiquetado, parser, métricas, semillas, revisiones exactas de modelos o scripts de análisis. El hallazgo defendible es que las conclusiones de este protocolo persona-MCQA pueden depender materialmente de la configuración; no que las tres métricas sean dimensiones validadas e invariantes, ni que las etiquetas demográficas reflejen diferencias humanas.
Pregunta de investigación
¿Cuánto cambian la accuracy, el ranking entre etiquetas de persona y el conjunto de preguntas acertadas de una evaluación MCQA al variar el formato del prompt de persona, el formato del prompt de tarea y la temperatura?