Epistemic Stance Flexibility Probing: Measuring Prompt-Conditioned Register Shift in Large Language Models

Benchmark de 104 ítems ingleses en seis categorías y cinco plantillas, 520 prompts por modelo y ocho modelos. Combina tasa léxica de atribución, sensibilidad de embeddings MiniLM, densidad de postura anotada por dos jueces LLM, kappa entre formulaciones, bootstrap de 1.000 ítems y un compuesto relativo a la cohorte.

Ocho modelos de cinco proveedores; cada modelo responde 520 prompts de un solo turno. No hay participantes humanos ni etiquetas humanas de validez del constructo. DeepSeek-V3.2 obtuvo .805, Claude Sonnet 4.6 obtuvo .782 y Gemma-3-27B obtuvo .781; el trío quedó estadísticamente empatado. Gemini 3.1 Pro obtuvo .399 en el compuesto. La densidad de postura explicó la mayor parte del contraste. Todos los modelos cambiaron algún componente entre condiciones.

El compuesto es relativo a la cohorte y no comparable entre evaluaciones. El contraste PSI implementado no coincide con el contraste conceptual declarado. No hay gold labels humanos ni acuerdo humano-juez. Solo hay ocho modelos, inglés y un turno. El bootstrap no propaga incertidumbre de juez o endpoint. No mide creencias, experiencia subjetiva ni competencia general. No valida que el compuesto sea una escala psicométrica humana. No permite interpretar diferencias pequeñas como estables entre versiones.

Benchmark of 104 English items in six categories and five templates, yielding 520 prompts per model across eight models. It combines lexical attribution rate, MiniLM embedding sensitivity, stance density annotated by two LLM judges, cross-phrasing kappa, a 1,000-item bootstrap, and a cohort-relative composite.

Eight models from five providers; each model answers 520 single-turn prompts. There are no human participants or human construct-validity labels. DeepSeek-V3.2 scored .805, Claude Sonnet 4.6 scored .782, and Gemma-3-27B scored .781; the three were statistically tied. Gemini 3.1 Pro scored .399 on the composite. Stance-content density explained most of the contrast. Every model shifted at least one component across conditions.

The composite is cohort-relative and not comparable across evaluations. The implemented PSI contrast does not match the declared conceptual contrast. There are no human gold labels or human-judge agreement. Only eight models, English, and one turn are covered. The bootstrap does not propagate judge or endpoint uncertainty. It does not measure beliefs, subjective experience, or general competence. It does not validate the composite as a human psychometric scale. It does not allow small differences to be interpreted as stable across versions.