CAPE: Context-Aware Personality Evaluation Framework for Large Language Models

This preprint introduces CAPE, comparing a 120-item Machine Personality Inventory administered as independent turns with one that retains all prior questions and answers in history. It evaluates seven models under five perturbations, temperatures .5/1/1.5, three option wordings, three orders, three instructions, and two paraphrases plus the original, along with three stability repetitions at temperature zero. Each A–E answer is mapped to 1–5 according to the trait key. Its defensible contribution is showing that questionnaire history changes responses and repeatability. This “context” is not natural conversation, interlocutor information, or real experience; it is a sequence of prior items and the model's own choices that acts as demonstrations and self-conditions later answers. CAPE uses Total Agreement Rate (TAR) and Euclidean Distance (ED), and proposes Trajectory Consistency (TC) and OCEAN Consistency (OC). TC applies a four-item moving average, normalizes, fits an RBF Gaussian process over question index, and computes intersection-over-union of predictive intervals from three trajectories. This assumes arbitrary item order is a continuous axis and adjacent questionnaire items share a dynamic, although no such time scale exists. Smoothing removes discrepancies and interval width depends on kernel and hyperparameters; wide intervals can raise overlap without equal answers. The published moving-average equation repeats y(i,t−1) inside the sum rather than indexing t−j, so the prose and possible implementation cannot be reconciled from the paper. OC concatenates all 120 permutations of the same five scores into an artificial 600-point series and applies the same procedure. This does not prove order invariance: permutation sequence and boundaries create fictional neighborhoods and pseudo-replicate five observations. Table 1 shows an aggregate context benefit, with TC p=.0006, d=.81 and OC p=.0084, d=.60 across conditions, but improvements are not uniform. GPT-3.5 stability rises from TAR 86.67 to 91.67 and TC 28.34 to 72.89, yet instruction TAR and paraphrase TAR/ED/TC worsen. GPT-4 improves option-order TAR from 45.00 to 90.83 but instruction TAR falls from 52.50 to 32.50 while ED and OC worsen. Claude deteriorates on all four temperature metrics and on TC/OC for several perturbations; Llama-8B also worsens under temperature and partly under instructions/paraphrases. Llama-70B has the most regular positive pattern. TC/OC correlations with TAR and ED of |r|=.77–.81 are expected because all derive from the same three trajectories and show concurrence, not personality validity. Alpha=.86–.91 and test–retest=.83–.89 lack sufficient explanation of units, repeated trials, and partitioning. Distinguishing context from no context is also not construct validation: that difference is the effect the metrics were designed to detect. The t-test, Wilcoxon, and ANOVA analyses do not model repeated dependence by model and perturbation. A GPT-3.5 ablation shows that retaining more recent answers makes the path converge to the full session; this confirms in-context copying, not more valid personality. The appendix finds context preserves or improves answers to 38 semantically similar pairs but sharply worsens correct polarity for many of 73 logically opposite pairs. In an attack that replaces every prior answer with neutral C, Gemini and Llama-8B ultimately choose C almost everywhere, and GPT shifts 30–35 responses; this shows susceptibility to manipulated history rather than separating “intrinsic personality.” The order experiment presents only radar charts for four models, with no numbers, uncertainty, or tests despite calling differences significant. Across 32 fictional characters, RPA++ retains history and modestly improves human alignment over RPA: for GPT-3.5, OA 67.92→68.69 and MAE 6.94→6.45; for GPT-4, 68.62→68.93 and 6.67→6.42. Consistency rises substantially, but the random baseline already has OA 67.44, only 1.49 points below the best, revealing weak OA discrimination. Traits with “high annotation ambiguity” are excluded without a threshold or list, the adaptation of OC between one human label and three runs is not specified, and no intervals or character-level tests are reported. The appendix supplies a counterexample omitted from the main set: DeepSeek-R1-8B and 671B deteriorate under context on every metric; the 671B model falls from TAR 64.17 to 14.17 and OC 93.58 to 70.19. Attributing this to “overthinking” is speculative, and excluding it for this behavior weakens generalization. CAPE therefore demonstrates carryover, self-conditioning, and questionnaire-order sensitivity. It does not demonstrate a more coherent or human personality: a sequence can be repeatable because it copies its history while becoming logically worse, manipulable, and less faithful to a character.

Este preprint introduce CAPE, una comparación entre administrar 120 ítems del Machine Personality Inventory en turnos independientes o conservar en el historial todas las preguntas y respuestas anteriores. Evalúa siete modelos y cinco perturbaciones, temperatura 0,5/1/1,5, tres redacciones de opciones, tres órdenes, tres instrucciones y dos paráfrasis más el original, además de tres repeticiones de estabilidad a temperatura 0. Cada respuesta A–E se convierte a 1–5 según la clave del rasgo. La contribución defendible es mostrar que el historial del propio cuestionario altera respuestas y su repetibilidad; este «contexto» no es conversación natural, información del interlocutor ni experiencia real, sino una secuencia de ítems y elecciones previas que funciona como demostración para autocondicionar las siguientes. CAPE usa Total Agreement Rate (TAR) y distancia euclídea (ED), y propone Trajectory Consistency (TC) y OCEAN Consistency (OC). TC suaviza con media móvil de ventana 4, normaliza y ajusta un proceso gaussiano RBF sobre el índice de pregunta; calcula la intersección/unión de intervalos predictivos de tres trayectorias. Esto presupone que el orden arbitrario de los ítems es un eje continuo y que vecinos consecutivos comparten una dinámica, aunque no existe tal escala temporal. El suavizado elimina discrepancias y el ancho del intervalo depende del kernel y sus hiperparámetros; intervalos anchos pueden aumentar el solapamiento sin respuestas realmente iguales. La ecuación publicada de la media móvil repite y(i,t−1) dentro de la suma en vez de indexar t−j, por lo que texto y posible implementación no se pueden reconciliar desde el paper. OC concatena las 120 permutaciones de los mismos cinco scores en una serie artificial de 600 puntos y aplica el mismo procedimiento. Eso no prueba invariancia al orden: la secuencia elegida de permutaciones y los bordes entre ellas crean vecindades ficticias y pseudorreplican cinco observaciones. En la Tabla 1, el contexto mejora el promedio agregado, y las pruebas sobre las condiciones reportan TC p=0,0006, d=0,81 y OC p=0,0084, d=0,60. Sin embargo, no es una mejora uniforme. GPT-3.5 pasa en estabilidad de TAR 86,67 a 91,67 y TC 28,34 a 72,89, pero empeora en instrucciones para TAR y en paráfrasis para TAR/ED/TC. GPT-4 mejora fuertemente el orden, TAR 45,00 a 90,83, pero con instrucciones baja TAR 52,50 a 32,50 y empeoran ED y OC. Claude pierde en las cuatro métricas bajo temperatura y en TC/OC en varias perturbaciones; Llama-8B también empeora con temperatura y parcialmente con instrucciones/paráfrasis. Llama-70B muestra el patrón positivo más regular. Correlaciones de TC/OC con TAR y ED de |r|=0,77–0,81 son esperables porque todos se calculan sobre las mismas tres trayectorias y demuestran concurrencia, no validez de personalidad. Alfa 0,86–0,91 y test–retest 0,83–0,89 carecen de una explicación suficiente de unidades, repeticiones y partición. Distinguir contexto/no contexto tampoco valida el constructo: esa diferencia es a la vez el efecto que la métrica fue diseñada para detectar. El paper no modela la dependencia repetida por modelo y perturbación en sus t-test/Wilcoxon/ANOVA. Un ablation de GPT-3.5 muestra que, al conservar más respuestas recientes, la trayectoria se aproxima a la sesión completa; esto confirma in-context copying, no que la personalidad sea más válida. El propio apéndice encuentra que contexto mantiene o mejora respuestas a 38 pares semánticamente similares, pero empeora de forma marcada la polaridad correcta de muchos de 73 pares lógicamente opuestos. En un ataque que sustituye cada respuesta previa por la opción neutral C, Gemini y Llama-8B terminan eligiendo C casi siempre, y GPT desplaza 30–35 respuestas; esto evidencia vulnerabilidad a historial manipulado, no permite separar una «personalidad intrínseca». El experimento de orden solo muestra radares de cuatro modelos, sin cifras, incertidumbre ni tests pese a hablar de diferencias significativas. En 32 personajes ficticios, RPA++ conserva historial y mejora frente a RPA: con GPT-3.5, OA 67,92→68,69 y MAE 6,94→6,45; con GPT-4, 68,62→68,93 y 6,67→6,42. La consistencia sube mucho, pero el baseline aleatorio ya logra OA 67,44, apenas 1,49 puntos por debajo del mejor, lo que revela escasa discriminación de OA. Se excluyen rasgos con «alta ambigüedad» sin umbral ni lista, no se explicita cómo adaptar OC entre una etiqueta humana y tres runs, y no hay intervalos o tests sobre personajes. El apéndice aporta un contraejemplo omitido de los resultados principales: DeepSeek-R1-8B y 671B empeoran con contexto en todas las métricas; el 671B cae de TAR 64,17 a 14,17 y OC 93,58 a 70,19. Atribuirlo a «overthinking» es especulativo, y excluirlo por ese comportamiento debilita la generalización. En conjunto, CAPE demuestra carryover, autocondicionamiento y sensibilidad al orden del cuestionario. No demuestra una personalidad más coherente o humana: una secuencia puede ser repetible porque copia respuestas previas y, al mismo tiempo, ser lógicamente peor, manipulable y menos fiel a un personaje.