Shu et al. formulan una pregunta previa a cualquier test de personalidad aplicado a modelos: antes de interpretar una puntuación, ¿el LLM entiende el formato y mantiene la misma respuesta cuando el contenido no cambia o cuando la proposición se invierte? Para estudiarlo construyen MODEL-PERSONAS, 693 enunciados procedentes de 39 instrumentos y organizados en 115 ejes. El conjunto no se limita a personalidad: mezcla rasgos, valores, creencias políticas y morales, actitudes sociales, descriptores y respuestas situacionales. Los ítems se normalizan a una pregunta binaria Yes/No o True/False y se evalúan mediante cambios de puntuación, espacios, separadores, etiqueta de respuesta, orden de opciones y dos inversiones de significado: negación directa y paráfrasis de polaridad opuesta.
El paper separa tres propiedades. «Comprehensibility» es la proporción de respuestas cuyo primer token pertenece a las opciones permitidas; «sensitivity» es la fracción que no cambia ante variaciones espurias de formato; «consistency» es la fracción que conserva la respuesta ante etiquetas u orden equivalentes o la invierte cuando se invierte el significado. Esta última es consistencia intraítem, no alfa, omega, fiabilidad test–retest ni consistencia entre ítems; los autores lo explicitan. Se prueban 17 modelos a temperatura 0. GPT-2 y RedPajama se excluyen del análisis principal de consistencia por baja capacidad de producir respuestas válidas, de modo que la Figura 1 compara 15: 13 abiertos y GPT-3.5/GPT-4.
Los resultados muestran una fragilidad real y relevante. BLOOMZ y FLAN-T5 suelen devolver tokens válidos, mientras Falcon, RedPajama y varios Llama 2 pueden pasar de responder correctamente a casi no hacerlo por un espacio, salto de línea o signo final. FLAN-T5 Base/Large/XL es la familia más robusta a cambios espurios. El orden y el cambio True/False–Yes/No conservan muchas respuestas, aunque el propio artículo advierte que contestar siempre en la misma dirección también produce una consistencia alta. La prueba decisiva es la negación: 10 de 15 modelos quedan cerca o por debajo del azar en al menos estas comparaciones, y todos rinden peor con negación parafrástica que con una palabra negativa explícita.
El trabajo fija manualmente 0,6 como umbral simultáneo para cuatro métricas y afirma que solo FLAN-T5-XL, GPT-3.5 y GPT-4 lo cumplen, con FLAN-T5-Large cerca. Ese corte no está calibrado ni predefinido y no equivale a un criterio psicométrico. La auditoría del artefacto oficial, commit fdfdf513a88de2af50294d10def9ca9ccfac87e8, reproduce la lógica publicada pero encuentra casos frontera sensibles a datos/procesado: el CSV procesado liberado da aproximadamente 0,605 a FLAN-T5-Large en negación parafrástica, mientras el output liberado de GPT-3.5 da aproximadamente 0,592. Con una regla estricta sin redondear, la pertenencia al grupo cambia respecto a la prosa. Esto no invalida la fragilidad general, pero sí impide tratar el grupo de tres como resultado estable.
Una segunda prueba añade «You are a normal person», seis perfiles concretos o una descripción de 35 atributos. En promedio, todas esas intervenciones reducen la consistencia de negación; algunos ejes relacionados mejoran como valores atípicos, pero el prompt altamente personificado queda entre los peores. El resultado respalda una conclusión prudente: inyectar más adjetivos no crea por sí solo una medición estable. Sin embargo, las pruebas capturan robustez de respuestas binarias condicionadas por prompts, no demuestran que un modelo carezca de toda tendencia conductual ni que exista o no una personalidad latente. La aportación de referencia es, por tanto, el control de formato y polaridad que debería preceder a cualquier interpretación de cuestionarios; no una validación ontológica de la personalidad del modelo.