Stable and Explainable Personality Trait Evaluation in Large Language Models with Internal Activations

PVNI proposes converting internal activations into five OCEAN scores intended to be prompt-neutral. For each trait, it generates responses under positive, negative, and neutral instructions; averages hidden states at a fixed layer and probe position; defines the axis as positive minus negative activation; projects the neutral vector onto that axis; clips the coefficient to [0,1]; and uses it to interpolate between two extreme scores assigned by GPT-4.1-mini. GPT-5.2 generates contrastive prompts and questions. The geometric intuition is clear: locate a “neutral” response between two explicitly constructed endpoints.

The experiment compares PVNI with IPIP-BFFM-50, IPIP-NEO-120, and API-judged open-ended evaluation on Qwen-2.5-7B-Instruct, Llama-3-8B-Instruct, and Mistral-7B-v0.1-Instruct. Each protocol uses ten prompt sets in two families: question rewrites and role-play variants. The favorable result is consistent: PVNI has the lowest standard deviation in all 30 model-by-trait-by-variant-family combinations. For Qwen question rewrites, for example, PVNI reports O 83.55±.82, C 87.63±.73, E 42.89±2.49, A 93.39±.68, and N 36.45±.83, whereas IPIP-BFFM standard deviations range from 5.9 to 18.1. On Mistral, PVNI's least stable case is extraversion at 60.15±5.89 versus 36.98±24.86 for open-ended evaluation. The evidence supports lower sensitivity to this controlled set of prompt reformulations.

It does not show that PVNI scores are truer, psychometrically valid, or behaviorally predictive. There is no ground truth, human panel, behavioral evaluation, convergent or discriminant validity, factor structure, or external criterion. Method means disagree sharply: for Mistral extraversion, IPIP-BFFM gives 75, IPIP-NEO 70.83, open-ended evaluation 36.98, and PVNI 60.15. Without a criterion, the study cannot determine which describes the model better. A constant estimator would also have zero variance; stability can be necessary for measurement but is not sufficient evidence of validity.

Some stability is structural. PVNI averages prompts, outputs, and activations, projects onto one axis, clips coefficients outside [0,1], and interpolates between averaged extremes. It does not report clipping frequency or ablate clipping, prompt count, layers, or probe positions. Positive and negative prompts already define the trait the judge is asked to detect; the method measures where neutral falls between constructed endpoints. Calling this “internal personality” conflates a coordinate relative to a prompt ensemble with an intrinsic, task-independent disposition.

The formal theory does not empirically validate PVNI. It assumes local score linearity, a well-trained persona parameter update, approximately rank-one amplification, and, when discussing generalization, an orthonormal OCEAN basis. The experiment uses prompting rather than the persona-adapted models in Assumption 2 and tests neither rank-one structure, orthogonality, error bounds, composition, negation, nor out-of-domain synthesis. The limitations themselves acknowledge correlated axes and that neutrality may not lie on the positive-negative axis. The theorems therefore state consequences conditional on assumptions, not evidence that those assumptions hold.

“Explainable” means the computation can be described as projection and interpolation. The paper does not identify neurons, tokens, layers, or mechanisms that cause behavior, test explanation fidelity, or even report the actual layer and probe position used. There is no layer/token sensitivity, temporal stability, repeated decoding, long-context, dialogue, multilingual, scale, or larger-model evaluation. Requiring activations restricts PVNI to white-box models.

The preprint links no code, artifact checkpoints, complete five-trait prompts, extraction/evaluation splits, outputs, judge scores, or executable configuration. GPT-4.1-mini and GPT-5.2 snapshots, dates, temperatures, seeds, layer, probe position, and the reproducible procedure for a logit-weighted average over integer tokens 0–100 are absent. Tables and partial examples are insufficient to reconstruct the results. PVNI is a promising representation-robustness proposal, but it is not yet a validated LLM personality assessment or an operational benchmark for model comparison.

PVNI propone convertir activaciones internas en cinco puntuaciones OCEAN supuestamente neutras al prompt. Para cada rasgo, genera respuestas bajo instrucciones positivas, negativas y neutrales; promedia el hidden state de una capa y posición fijas; define el eje como activación positiva menos negativa; proyecta el vector neutral sobre ese eje; recorta el coeficiente a [0,1] y lo usa para interpolar entre dos puntuaciones extremas asignadas por GPT-4.1-mini. GPT-5.2 genera los prompts contrastivos y las preguntas. La intuición geométrica es clara: ubicar la respuesta “neutral” entre dos extremos creados explícitamente.

El experimento compara PVNI con IPIP-BFFM-50, IPIP-NEO-120 y evaluación abierta juzgada por API en Qwen-2.5-7B-Instruct, Llama-3-8B-Instruct y Mistral-7B-v0.1-Instruct. Para cada protocolo usa diez conjuntos de prompts en dos familias: reescrituras de preguntas y variantes de role-play. El resultado favorable es consistente: la desviación estándar de PVNI es la menor en las 30 combinaciones modelo×rasgo×familia. Por ejemplo, en Qwen bajo reescritura, PVNI da O 83,55±0,82, C 87,63±0,73, E 42,89±2,49, A 93,39±0,68 y N 36,45±0,83, mientras IPIP-BFFM alcanza desviaciones entre 5,9 y 18,1. En Mistral, el caso más inestable de PVNI es extraversión, 60,15±5,89, frente a 36,98±24,86 con evaluación abierta. La evidencia sostiene que el pipeline es menos sensible a este conjunto controlado de reformulaciones.

No demuestra que las puntuaciones sean más verdaderas, psicométricamente válidas o conductualmente predictivas. No existe ground truth, panel humano, evaluación de comportamiento, validez convergente/discriminante, estructura factorial ni criterio externo. Los métodos discrepan ampliamente en medias: para extraversión de Mistral, IPIP-BFFM da 75, IPIP-NEO 70,83, evaluación abierta 36,98 y PVNI 60,15. Sin criterio no puede decidirse cuál describe mejor al modelo. Una salida constante también tendría varianza cero; estabilidad es una propiedad necesaria para algunas mediciones, no evidencia suficiente de validez.

Parte de la estabilidad es estructural. PVNI promedia preguntas, respuestas y activaciones, proyecta sobre un único eje, recorta coeficientes fuera de [0,1] e interpola entre promedios extremos. No se publica cuántos casos son recortados ni una ablación sin clipping, con menos prompts o con otras capas. Los prompts positivos y negativos ya definen el rasgo que el juez debe detectar; el método mide dónde cae el neutral entre esos endpoints construidos. Llamarlo “personalidad interna” confunde una coordenada relativa al conjunto de prompts con una disposición intrínseca e independiente de la tarea.

La teoría formal no valida empíricamente PVNI. Parte de supuestos fuertes: linealidad local del score, persona bien adaptada mediante un cambio de parámetros, actualización aproximadamente de rango uno y, para generalización, una base OCEAN ortonormal. El experimento usa prompting, no los modelos persona-adaptados del supuesto 2; no verifica rango uno, ortogonalidad, límites de error, composición, negación ni síntesis fuera de dominio. La propia sección de limitaciones admite que los ejes están correlacionados y que lo neutral puede no estar sobre el eje positivo-negativo. Por tanto, los teoremas expresan consecuencias condicionales de supuestos, no una demostración de que esos supuestos se cumplan.

“Explainable” significa que el cálculo puede describirse como proyección e interpolación. No se identifica qué neuronas, tokens, capas o mecanismos causan conducta, no se prueba fidelidad de la explicación y ni siquiera se especifican en el paper la capa l o posición de probe empleadas. No hay análisis de sensibilidad por capa/token, estabilidad temporal, decodificación repetida, contexto largo, diálogo, idiomas, tamaños o modelos mayores. El requisito de activaciones limita PVNI a modelos white-box.

El preprint no enlaza código, checkpoints de artefactos, prompts completos para los cinco rasgos, conjuntos train/evaluation, salidas, scores del juez o configuración ejecutable. Faltan snapshots de GPT-4.1-mini y GPT-5.2, fecha, temperatura, seeds, capa, posición y procedimiento reproducible para el promedio ponderado por logits de enteros 0–100. Con solo tablas y ejemplos parciales no se pueden reconstruir los resultados. PVNI es una propuesta prometedora para robustez de representaciones, pero todavía no es una evaluación validada de personalidad LLM ni un referente operativo listo para comparar modelos.