Verbal Confidence Saturation in 3-9B Open-Weight Instruction-Tuned LLMs: A Pre-Registered Psychometric Validity Screen

Ocho modelos Q5_K_M responden 524 TriviaQA con confianza numérica 0-100 y categoría de 10 clases, 8.384 ensayos greedy. Siete instruct entran en hipótesis preregistradas. El screen usa degeneración, L, Fp y RBS; además calcula AUROC2, ridge con validación cruzada, correlación con longitud de razonamiento y sensibilidad de missingness.

7.336 ensayos confirmatorios de siete modelos instruct; un modelo base se conserva para exploración. Todos se ejecutan localmente en hardware de consumo. La media de confianza numérica >=95% fue 91,7%. Los siete modelos se clasificaron Invalid en formato numérico. El prompt categórico redujo precisión por debajo de 5% en seis de siete modelos. AUROC2 numérico quedó entre .527 y .683, impulsado por la minoría no saturada.

Solo hay dos prompts y greedy decoding. La escala se limita a 3-9B y TriviaQA. Todos los pesos están cuantizados Q5_K_M. El supuesto MAR se viola: fallan más respuestas correctas. La caída categórica puede deberse a esa redacción concreta. No demuestra ausencia de incertidumbre interna. No invalida otros métodos de calibración o elicitation. No generaliza a modelos mayores o tareas abiertas.

Eight Q5_K_M models answer 524 TriviaQA items with numeric 0-100 confidence and a 10-class category, producing 8,384 greedy trials. Seven instruct models enter preregistered hypotheses. The screen uses degeneracy, L, Fp, and RBS; it also computes AUROC2, cross-validated ridge, reasoning-length correlation, and missingness sensitivity.

7,336 confirmatory trials from seven instruct models; one base model is retained for exploration. All run locally on consumer hardware. Mean numeric confidence >=95% was 91.7%. All seven models were classified Invalid in numeric format. The categorical prompt reduced accuracy below 5% for six of seven models. Numeric AUROC2 ranged from .527 to .683, driven by the non-saturated minority.

There are only two prompts and greedy decoding. Scale is limited to 3-9B and TriviaQA. All weights are quantized as Q5_K_M. The MAR assumption is violated: more correct responses fail parsing. Categorical collapse may be specific to that wording. It does not demonstrate absence of internal uncertainty. It does not invalidate other calibration or elicitation methods. It does not generalize to larger models or open-ended tasks.