The Dual Nature of LLM Persona: Aggregated Tendencies and Frame-Dependent Geometry

Evaluación y validez psicométrica2026arXivRevisión editorial aprobada

Autores: Yuan Yuan

Palabras clave: IPIP-50, Question-order effects, Item-dimension matrix, SPD manifold, Post-hoc frame alignment, Cultural persona prompting, Unsupervised clustering, Bootstrap pseudoreplication, Emotional Stability, Psychometric validity, Reproducibility, Withdrawn preprint

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

1
Autores
12
Hallazgos
33
Limitaciones
8
Evidencias

Resumen editorial

Español

Este preprint retirado de ICML 2026 examina cuánto cambia la respuesta de GPT-4o a un IPIP-50 cuando se reordenan las preguntas. Compara dos instrucciones explícitas: responder como una persona estadounidense típica y responder como una persona chino-estadounidense. Su tesis es que una persona LLM tendría dos componentes: medias Big Five relativamente robustas al marco de análisis y una supuesta geometría de correlaciones dependiente de que todas las respuestas compartan el mismo orden. Los números muestran sensibilidad al orden y a la forma de construir features, pero el diseño no valida una geometría temporal interna ni una personalidad cultural.

El modelo es gpt-4o-2024-05-13, temperatura 0,7 y máximo 150 tokens. No usa system prompt. En orden fijo, todas las llamadas reciben los 50 ítems en la misma secuencia; en orden aleatorio, cada llamada recibe una permutación distinta. La muestra principal reportada contiene 193 respuestas fijas, 96 estadounidenses y 97 chino-estadounidenses, y 187 aleatorias, 92 y 95, 380 en total. Existe una contradicción: el apéndice afirma que se recogieron 100 llamadas válidas por cada una de cuatro celdas y que las inválidas se reemplazaron, lo que debería dar 400. No se publican los 20 casos ausentes ni el número de reintentos. Un estudio grande apunta a 500 por celda, pero reporta 1.931 respuestas completas y después titula sus tablas de clustering como N=2.000.

La aportación técnica es una matriz 10×5 por respuesta. Cada columna contiene los diez ítems de un rasgo Big Five en el orden en que aparecen; luego se calcula una correlación Pearson 5×5 entre columnas y se aplica logaritmo matricial para obtener features SPD. El problema es fundamental: una fila no contiene cinco variables observadas en un mismo instante. Empareja el primer ítem encontrado de extraversión con el primero encontrado de amabilidad, responsabilidad, estabilidad emocional e intelecto, aunque cada uno apareció en una posición temporal distinta y pregunta por contenido diferente. La segunda fila hace lo mismo con los segundos ítems. Es una correlación entre emparejamientos arbitrarios por rango dentro de cada rasgo, no covariación multivariante contemporánea. La validez del IPIP como escala agregada no valida esta nueva geometría.

Las tres condiciones analíticas son FO, RO y RO-BTSP. Esta última no vuelve a consultar el modelo bajo un marco temporal compartido. Toma las respuestas ya generadas con órdenes aleatorios distintos y, en cada iteración, recompone todas sus matrices con una misma permutación nueva. Así rompe la relación con el orden real de generación y fuerza post hoc el mismo emparejamiento semántico entre ítems. Si el clustering se recupera, demuestra que un esquema de emparejamiento común hace más separables las salidas de dos prompts; no demuestra que una coordinación autoregresiva latente reaparezca al alinear tiempo. La afirmación de «computational connectivity» es una interpretación mecanicista no medida: no se inspeccionan activaciones, atención o estados internos.

En la muestra principal, el acuerdo entre dos clusters y las etiquetas de prompt es 96,89 % para medias Big Five en orden fijo y 75,90 % en orden aleatorio. Para las features SPD es 95,34 %, 52,94 % y 84,50 % en FO, RO y RO-BTSP. Los autovalores dan 61,14 %, 50,27 % y 59,20 %; el autovector principal 50,78 %, 50,27 % y 63,10 %. Solo SPD exhibe la V fuerte. Los autovalores muestran una recuperación pequeña y el autovector empieza y permanece al azar antes de subir por encima de su valor fijo. Por eso la afirmación textual de que todas las features geométricas colapsan catastróficamente y se recuperan no coincide con la propia tabla.

El abstract denomina 21 % a la caída agregada: son 20,99 puntos porcentuales o 21,66 % respecto al valor fijo. Para SPD, la pérdida total es 42,40 puntos. La diferencia entre 84,50 y 95,34 atribuida al orden es 10,84 y la diferencia entre 52,94 y 84,50 atribuida al marco es 31,56: 25,6 % y 74,4 % del total. La conclusión imprime 78 % de degradación por desalineación, no el 74 % de la tabla. Son inconsistencias de presentación, no pruebas de una ontología dual.

El análisis principal ajusta UMAP a todas las observaciones y luego spectral clustering con k=2 sobre el mismo conjunto. La accuracy maximiza la permutación de etiquetas. No hay train/test, validación cruzada, prompts retenidos, órdenes retenidos o réplica externa; es separación in-sample, no precisión predictiva ni validez psicométrica. Seeds y opciones completas de UMAP/clustering faltan. También se publican AUC 0,98 y 0,61 sin definir score, orientación o estimador para obtener ROC a partir de clusters no supervisados. En la muestra grande se cambia a k-means sobre features crudas; por ello, comparar el estudio principal con el grande mezcla tamaño muestral y algoritmo, y no valida un tamaño «óptimo» de unas 100 respuestas.

Los tests t con 1.999 grados de libertad tratan 2.000 permutaciones post hoc de las mismas 187 respuestas como si fueran la muestra inferencial. El t=102,69 y d=2,30 para la recuperación SPD proceden de la dispersión entre marcos impuestos; aumentar el número de iteraciones aumenta el t sin añadir llamadas independientes, modelos, personas o prompts. De hecho, solo 86,8 % de las iteraciones supera las medias Big Five, una descripción más directa que p<0,001. Esos p-valores miden precisión Monte Carlo condicionada al dataset y no incertidumbre de generalización.

La afirmación de que las matrices son SPD tampoco queda garantizada solo por tener forma 10×5. Centrar datos puede reducir el rango; columnas Likert constantes o dependientes producen correlaciones singulares, y el logaritmo matricial exige autovalores positivos. No se describen umbrales, regularización, nearest-SPD, exclusiones o comprobaciones de autovalor mínimo. El claim de Random Matrix Theory también es insuficiente: se dice que los espaciados siguen Wigner-Dyson y por ello no son ruido, pero no se publica ajuste, test, null, unfolding ni forma de pooling. Wigner-Dyson es precisamente una ley de ensembles de matrices aleatorias; una semejanza visual no refuta por sí sola una explicación aleatoria ni demuestra coordinación semántica.

Hay un límite psicométrico adicional. La clave oficial de los 50 marcadores IPIP denomina al factor 4 Emotional Stability y puntúa en sentido inverso estrés, preocupación e inestabilidad emocional. El apéndice sigue esa dirección, pero las tablas llaman Neuroticism al resultado. Salvo que el código aplique una segunda inversión no documentada, la variable impresa como neuroticismo tiene realmente dirección de estabilidad emocional. Tampoco se publica el mapeo numérico A-E, el procesamiento de ítems inversos ni si las matrices usan puntuaciones crudas o corregidas.

La clasificación cultural debe interpretarse como obediencia a dos prompts, no como medida de población. La etiqueta está explícita en la instrucción y se pide reflejar valores «típicos». La versión chino-estadounidense presupone una única mezcla que «caracteriza» esa experiencia. No hay participantes, validación comunitaria, subgrupos, variantes del prompt, baseline neutral o análisis de estereotipos. La referencia citada como base de diferencias culturales conserva en la bibliografía un identificador placeholder, arXiv:2401.xxxxx. El experimento no demuestra cómo son personas estadounidenses o chino-estadounidenses ni prevalencia de sesgos del modelo.

El archivo es arXiv v1 y SSRN; ambos indican retirada de ICML 2026. El pie «Proceedings of ICML / PMLR 306» es residuo de plantilla y no prueba aceptación. La fuente promete código y datos solo «upon acceptance», pero no existe publicación ni repositorio localizado. El tar contiene TeX y siete figuras, no respuestas, código, seeds o logs. La contribución defendible es estrecha: el orden de preguntas cambia de forma importante salidas y medias de GPT-4o, y una evaluación seria debe variar el orden, revelar todas las decisiones de feature engineering y probar fuera de muestra. No se establece una naturaleza dual de la personalidad, conectividad computacional o traits humanos simulados.

English

This ICML 2026-withdrawn preprint examines how GPT-4o's IPIP-50 answers change when questions are reordered. It compares two explicit instructions: answer as a typical American person and answer as a Chinese-American person. Its thesis is that an LLM persona has two components: Big Five means that are relatively robust to the analysis frame and a correlation geometry that depends on all responses sharing the same ordering. The numbers show sensitivity to question order and feature construction, but the design does not validate internal temporal geometry or cultural personality.

The model is gpt-4o-2024-05-13 with temperature 0.7 and 150 maximum tokens. No system prompt is used. In fixed order, every call receives the same 50-item sequence; in random order, each call receives a different permutation. The reported main sample has 193 fixed responses, 96 American and 97 Chinese-American, and 187 random responses, 92 and 95, for 380 total. There is a contradiction: the appendix says it collected 100 valid calls in each of four cells and replaced invalid calls, which should produce 400. The 20 missing cases and retry counts are unavailable. A large experiment targets 500 per cell but reports 1,931 complete answers and later labels clustering tables N=2,000.

The technical contribution is a 10x5 matrix for every response. Each column contains the ten items of one Big Five factor in encounter order; a 5x5 Pearson correlation is then computed across columns and mapped with a matrix logarithm to SPD features. The fundamental problem is that a row does not contain five variables observed at the same time. It pairs the first encountered extraversion item with the first encountered agreeableness, conscientiousness, emotional-stability, and intellect items, although they appeared at different questionnaire positions and ask about different content. The second row similarly pairs the second items. This is correlation over arbitrary within-factor rank pairing, not contemporaneous multivariate covariance. Aggregate IPIP validity does not validate this new geometry.

The three analysis conditions are FO, RO, and RO-BTSP. The last does not query the model again under a shared temporal frame. It takes answers already generated under different random orders and, on every iteration, rebuilds all matrices using one new common permutation. This breaks their link to actual generation order and imposes the same semantic item pairing after generation. If clustering recovers, it shows that common pairing makes outputs from two prompts more separable; it does not show that latent autoregressive coordination reappears under temporal alignment. The 'computational connectivity' interpretation is unmeasured: no activations, attention, or internal states are inspected.

In the main sample, two-cluster agreement with prompt labels is 96.89% for Big Five means in fixed order and 75.90% in random order. SPD features score 95.34%, 52.94%, and 84.50% in FO, RO, and RO-BTSP. Eigenvalues score 61.14%, 50.27%, and 59.20%; the top eigenvector scores 50.78%, 50.27%, and 63.10%. Only SPD shows a strong V. Eigenvalues recover modestly and the eigenvector begins and remains at chance before rising above its fixed value. The textual statement that all geometric features catastrophically collapse and recover is therefore inconsistent with the table.

The abstract calls the aggregate decrease 21%: it is 20.99 percentage points, or 21.66% relative to fixed order. SPD loses 42.40 points in total. The difference from 84.50 to 95.34 attributed to order is 10.84 and that from 52.94 to 84.50 attributed to frame is 31.56: 25.6% and 74.4% of the total. The conclusion prints 78% degradation from misalignment rather than the table's 74%. These are reporting inconsistencies, not evidence for a dual ontology.

The main pipeline fits UMAP to all observations and then applies two-cluster spectral clustering to the same set. Accuracy maximizes the binary label permutation. There is no train/test split, cross-validation, held-out prompt, held-out order, or external replication; this is in-sample separation, not predictive accuracy or psychometric validity. Seeds and complete UMAP/clustering settings are absent. AUC values of 0.98 and 0.61 are also reported without defining the score, orientation, or estimator used to obtain ROC from unsupervised clusters. The large experiment switches to k-means on raw features, so main-versus-large comparisons confound sample size with algorithm and cannot validate an 'optimal' size near 100.

The t tests with 1,999 degrees of freedom treat 2,000 post-hoc permutations of the same 187 answers as the inferential sample. The t=102.69 and d=2.30 for SPD recovery come from dispersion across imposed frames; adding Monte Carlo iterations increases t without adding independent calls, models, people, or prompts. Only 86.8% of iterations exceed Big Five means, a more direct description than p<0.001. Those p-values measure Monte Carlo precision conditional on the dataset, not generalization uncertainty.

The claim that matrices are SPD is not guaranteed by a 10x5 shape. Centering can reduce rank; constant or dependent Likert columns produce singular correlations, and matrix logarithms require positive eigenvalues. No threshold, regularization, nearest-SPD repair, exclusion, or minimum-eigenvalue check is reported. The Random Matrix Theory argument is also incomplete: the paper says spacings follow Wigner-Dyson and therefore are not noise, but provides no fit, test, null, unfolding, or pooling method. Wigner-Dyson is itself a spacing law for random-matrix ensembles; visual resemblance alone does not refute randomness or demonstrate semantic coordination.

There is an additional psychometric boundary. The official 50-item IPIP factor-marker key names factor 4 Emotional Stability and reverse-scores stress, worry, and mood-instability items. The appendix follows that direction, but tables call the result Neuroticism. Unless missing code performs a second undocumented inversion, the variable printed as neuroticism actually runs in the emotional-stability direction. The A-E numeric mapping, reverse-scoring implementation, and whether matrices use raw or corrected scores are not released.

Cultural classification should be read as obedience to two prompts, not population measurement. The label is explicit and the model is asked to reflect 'typical' values. The Chinese-American prompt assumes one blend that 'characterizes' that experience. There are no participants, community validation, subgroups, prompt variants, neutral baseline, or stereotype audit. A citation used to support cultural differences retains a placeholder identifier, arXiv:2401.xxxxx. The experiment does not establish what American or Chinese-American people are like or the prevalence of model bias.

The artifact is arXiv v1 and SSRN; both identify withdrawal from ICML 2026. The 'Proceedings of ICML / PMLR 306' footer is template residue, not acceptance evidence. The source promises code and data only 'upon acceptance', but no publication or repository was found. Its archive contains TeX and seven figures, not responses, code, seeds, or logs. The defensible contribution is narrow: item order materially changes GPT-4o outputs and means, so serious evaluation should vary order, disclose feature construction, and test out of sample. It does not establish a dual nature of personality, computational connectivity, or simulated human traits.

Pregunta de investigación

¿La separabilidad de dos personas culturales inducidas en GPT-4o mediante IPIP-50 procede de medias agregadas estables o de una geometría de correlaciones que depende del orden y del marco de emparejamiento de los ítems?

Método

Diseño 2×2 con dos prompts culturales explícitos y orden fijo o aleatorio de IPIP-50. Construye por respuesta una matriz 10×5 agrupando ítems por rasgo y rango de aparición, calcula correlaciones 5×5 y features log-SPD, y compara medias Big Five, SPD, autovalores y autovector mediante UMAP+spectral clustering. RO-BTSP reordena post hoc las respuestas aleatorias bajo una permutación común durante 2.000 iteraciones. Un piloto grande usa k-means y 200 iteraciones.

Muestra: Muestra principal: 380 outputs GPT-4o de cuatro celdas, aunque el protocolo afirma 100 válidos por celda. Piloto: 1.931 outputs completos, aunque las tablas de clustering lo etiquetan N=2.000. No hay participantes humanos.

Hallazgos

  • Las medias Big Five separan los prompts al 96,89 % en orden fijo y 75,90 % en aleatorio.
  • Las features SPD pasan de 95,34 % a 52,94 % y recuperan 84,50 % tras emparejamiento común post hoc.
  • Los autovalores dan 61,14 %, 50,27 % y 59,20 %.
  • El autovector principal da 50,78 %, 50,27 % y 63,10 % y no muestra un colapso desde señal inicial.
  • Solo SPD respalda claramente la forma V propuesta.
  • La pérdida agregada es 20,99 puntos, no invariancia al orden.
  • La contribución de marco calculada para SPD es 74,4 %, mientras la conclusión dice 78 %.
  • El estudio grande informa SPD 87,60 %, 76,21 % y 85,85 %, pero cambia el algoritmo.
  • El orden aleatorio aumenta la dispersión de las medias Big Five.
  • El factor impreso como Neuroticism sigue la dirección oficial de Emotional Stability.
  • La recuperación se produce mediante reordenación analítica de respuestas existentes, no nueva generación.
  • La evidencia sólida es sensibilidad al orden y al emparejamiento de features.

Limitaciones

  • Trabajo retirado de ICML 2026 y no revisado por pares como publicación aceptada.
  • El pie Proceedings/PMLR es residuo de plantilla.
  • Solo evalúa una versión de GPT-4o.
  • Solo usa dos prompts culturales explícitos.
  • No hay humanos o validación cultural.
  • Las etiquetas de grupo aparecen en el propio prompt.
  • Los prompts reducen identidades heterogéneas a respuestas típicas.
  • No hay baseline neutral o paraphrase sensitivity.
  • La referencia cultural central contiene arXiv:2401.xxxxx.
  • La matriz 10×5 empareja ítems no simultáneos.
  • Las filas no son observaciones multivariantes en tiempos compartidos.
  • La validez agregada de IPIP no valida las correlaciones por rango.
  • RO-BTSP es reordenamiento post hoc, no alineamiento de generación.
  • No se inspeccionan activaciones o atención.
  • No se garantiza que todas las correlaciones sean SPD.
  • Faltan validación de autovalores, regularización y reglas de exclusión.
  • No se publica mapeo A-E o código de scoring.
  • Neuroticism está etiquetado con dirección de Emotional Stability.
  • No se sabe si las matrices usan ítems crudos o corregidos.
  • Los recuentos principales contradicen 100 llamadas válidas por celda.
  • Los recuentos grandes contradicen N=2.000 completo.
  • No se reportan rechazos y replacements.
  • UMAP y clustering se ajustan y evalúan en los mismos datos.
  • No hay test, cross-validation o holdout.
  • Faltan seeds y parámetros completos.
  • AUC no tiene procedimiento definido.
  • La muestra grande usa otro algoritmo de clustering.
  • Los tests tratan iteraciones Monte Carlo como n=2.000.
  • Los p-valores no reflejan independencia de nuevas llamadas.
  • El análisis Wigner-Dyson carece de fit, null y procedimiento.
  • Solo SPD muestra claramente la forma de colapso-recuperación.
  • El 78 % de conclusión contradice el 74 % calculable.
  • No existen datos o código públicos pese a la promesa condicional.

Qué no demuestra

  • Que GPT-4o posea personalidad Big Five.
  • Que una persona LLM tenga exactamente dos componentes naturales.
  • Que las correlaciones construidas sean una serie temporal válida.
  • Que exista conectividad computacional interna.
  • Que RO-BTSP recupere un estado de generación.
  • Que la geometría sea causal o intrínseca.
  • Que los clusters predigan datos fuera de muestra.
  • Que 95 % sea validez psicométrica.
  • Que los p-valores bootstrap generalicen a nuevas respuestas.
  • Que Wigner-Dyson descarte ruido.
  • Que los prompts representen a estadounidenses o chino-estadounidenses.
  • Que las diferencias sean rasgos culturales reales.
  • Que la variable etiquetada Neuroticism tenga esa dirección.
  • Que el resultado generalice a otros modelos, órdenes, idiomas o culturas.
  • Que el trabajo haya sido aceptado en ICML o publicado en PMLR.
  • Que el análisis sea reproducible con los artefactos públicos.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2607.02368v1; 15-page withdrawn ICML 2026 preprint; PDF, all pages, TeX source, publication status, method, matrices, clustering, bootstrap inference, IPIP scoring, sample arithmetic, cultural prompts, artifacts and claim boundaries audited 2026-07-16

Fuente consultada: https://arxiv.org/abs/2607.02368v1

Revisión: Codex 15-page full-text visual, TeX source, publication, item-pairing, post-hoc frame, SPD, clustering, bootstrap inference, IPIP scoring, sample arithmetic, cultural-prompt and artifact audit, 2026-07-16

Aprobación: Codex fidelity pass, 2026-07-16

Modelos evaluados

  • gpt-4o-2024-05-13; temperature 0.7; max_tokens 150; no system prompt

Instrumentos y métricas

  • IPIP 50-item Big-Five factor markers
  • American persona prompt
  • Chinese-American persona prompt
  • 10x5 item-dimension matrix
  • 5x5 Pearson correlation matrix
  • Log-Euclidean SPD tangent features
  • Big Five aggregate means
  • Eigenvalues and top eigenvector
  • UMAP and spectral clustering
  • K-means large-sample sensitivity analysis
  • Silhouette, cluster-label agreement and unspecified AUC
  • RO-BTSP shared post-hoc permutation procedure
  • Response entropy and asserted Wigner-Dyson spacing

Datos utilizados

  • Main fixed-order outputs: 193 complete GPT-4o calls
  • Main random-order outputs: 187 complete GPT-4o calls
  • Large fixed-order outputs: 960 complete GPT-4o calls
  • Large random-order outputs: 971 complete GPT-4o calls
  • No released responses, permutations, code, seeds, logs or processed matrices

Evidencia y localización

  • Método, resultados, anexos, prompts y límites: arXiv:2607.02368v1 PDF, 15 pages; every page rendered and visually inspected
  • Versión, fecha y categoría: Official arXiv record for 2607.02368v1
  • Retirada de ICML y estado de preprint: Manuscript title-page withdrawal statement and SSRN 6733402 record
  • Ausencia de publicación ICML/PMLR, OpenReview y repo: Exact-title OpenReview, ICML, PMLR and GitHub searches checked 2026-07-16
  • Contenido del tar y promesa condicional de artefactos: arXiv source archive sha256:193af326e7aed75c; TeX and seven PDF figures inspected
  • Dirección de Emotional Stability: Official IPIP 50-item factor-marker scoring page checked 2026-07-16
  • Emparejamiento no temporal, porcentajes y recuentos: Independent reconstruction from manuscript equations, Tables 1-2 and Appendices A-C, 2026-07-16
  • Auditoría consolidada: reports/verification/article-282-withdrawn-icml-item-dimension-pairing-frame-realignment-bootstrap-psychometric-and-claim-audit.json