Personality, Role, and Expressive Style in Large Language Models: An Interactionist Analysis

Personas, identidad y agentes2026arXivRevisión editorial aprobada

Autores: Moe Nagao, Koichiro Terao, Mikio Nakano, Naoto Iwahashi

Palabras clave: Split-or-Steal simulation, Persona prompting, Repeated social dilemma, LLM cooperation, Strategic behavior, Virtual human, Big Five-inspired personas, Session-level dependence, No-persona control, LLM topic annotation, Annotation truncation, Reproducibility audit

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

4
Autores
10
Hallazgos
16
Limitaciones
3
Evidencias

Resumen editorial

Español

Este preprint plantea una pregunta útil para agentes conversacionales: una instrucción Big Five no se expresa igual en todos los contextos, porque el rol y la forma de hablar también cambian la impresión de personalidad. El diseño cruza seis condiciones de personalidad, Unspecified y un prompt alto para cada rasgo Big Five, con tres roles, Chat abierto, vendedor de microondas y cliente de esa tienda, y tres estilos, Unspecified, as emotional as possible y as rational as possible. Son 54 celdas. GPT-5.2, snapshot gpt-5.2-2025-12-11, genera 20 diálogos estocásticos de diez intercambios declarados por celda en inglés y japonés: 1.080 por idioma. Gemini 2.5 Flash lee cada diálogo completo y puntúa de 1 a 5 Extraversion, Agreeableness, Conscientiousness, Neuroticism y Openness. o3-mini vuelve a puntuar los 1.080 diálogos ingleses. Los autores hablan correctamente de personalidad percibida por LLM, no de personalidad real ni de psicometría humana. Los resultados impresos muestran que el factor dominante depende del outcome juzgado. En el ANOVA tridimensional, Personality domina Openness, ω²=0,3053, y Neuroticism, 0,6845. Expressive Style es mayor para Conscientiousness, 0,4078, Agreeableness, 0,4024, y Extraversion, 0,2744. Para Openness, Role alcanza 0,2471 y Personality×Role 0,1410. Las interacciones triples son significativas pero más pequeñas, ω² entre 0,0255 y 0,0535. En el análisis Chat de personalidad por estilo, Style llega a 0,638 para Conscientiousness y 0,454 para Agreeableness. En personalidad por rol, Role supera a Personality para Openness, 0,424 frente a 0,254. Gemini y o3-mini muestran RMSE 0,275-0,568 y correlaciones 0,504-0,903 según rasgo. Inglés y japonés tienen RMSE entre medias de condición de 0,30-0,50. La aritmética publicada es sólida: 6×3×3×20 da 1.080; la auditoría reproduce los p-values a partir de F y grados de libertad y todos los ω² de la tabla principal con diferencia máxima menor de 0,00005. La contribución defendible es que, para este generador y esta rúbrica, instrucciones de rol/tarea y estilo cambian sistemáticamente la impresión Big Five de la salida, y evaluar un prompt de personalidad en un solo contexto puede ocultar esa variación. Pero no identifica personalidad latente ni separa limpiamente los tres conceptos. Primero, los prompts y la rúbrica comparten casi las mismas palabras. Extraversion inyecta active, assertive, energetic y el judge busca sociable, energetic, assertive; Conscientiousness repite organized y reliable; Openness, Agreeableness y Neuroticism tienen solapamientos equivalentes. Los grandes efectos directos son en parte manipulation checks: el modelo produce las señales que se le ordenan y otro modelo las reconoce. El caso extremo es Neuroticism. Bajo el prompt high Neuroticism, todas las puntuaciones del análisis de estilo quedan fijadas en 5 para las 60 conversaciones, sin varianza. Por eso Style y Personality×Style tienen exactamente F=35,34 y ω²=0,072. Es saturación del judge y violación de supuestos de ANOVA, no evidencia fina de estabilidad psicológica. Segundo, Role no cambia solo el rol. Chat es abierto; Salesperson y Customer comparten una tarea de compra de microondas, dominio, objetivo, vocabulario y estructura. Que el retail parezca más conscientious y el chat más open puede proceder de la tarea. El propio paper reconoce parcialmente este confound. Tercero, Style tampoco queda aislado. Cada diálogo se genera de nuevo y no es una reescritura del mismo contenido. El ejemplo Emotional-Unspecified-Chat deriva a soledad, ideación suicida simulada y apoyo de crisis; el ejemplo Rational del mismo rol deriva a planificación laboral, deadlines y checklists. Cambian tema, riesgo y conducta, no solo tono. Afirmar que Style altera personalidad percibida rather than merely surface form excede el método: intervención y evaluación solo observan texto, tono, palabras y estilo, sin control semántico, tarea conductual o estado latente. Además, el ejemplo emocional revela una cuestión de seguridad no analizada: ordenar máxima emocionalidad induce contenido de autolesión; no se publica incidencia ni mitigación aunque el trabajo recomienda diseño de agentes controlables. Cuarto, la analogía interaccionista con humanos es conceptual. No existe un agente persistente sometido a varios contextos; cada celda es una conversación nueva sin memoria o identidad latente compartida. El estudio mide interacciones entre prompts en muestras del mismo modelo. GPT-5.2 genera tanto target como interlocutor, de modo que la otra parte puede amplificar las señales del target y el judge ve el diálogo completo. Quinto, cada ANOVA de Personality usa solo dos niveles, Unspecified frente al rasgo alto correspondiente, y reutiliza el mismo baseline en cinco modelos. Los cinco outcomes los produce simultáneamente el mismo judge. No hay análisis multivariante, efectos de prompts cruzados sobre rasgos no target ni corrección por las numerosas familias de tests. Las variables dependientes son ratings ordinales 1-5, con techo demostrado, y no se presentan diagnósticos de residuos, homocedasticidad o sensibilidad ordinal/robusta. Los ω² ayudan a no confundir significación y magnitud, pero no corrigen la medición. Sexto, la concordancia entre dos judges expuestos a la misma rúbrica y a las mismas señales explícitas solo muestra scoring compartido; r=0,504 para Agreeableness es además moderada. No valida percepción humana, constructo Big Five o independencia del judge. Los autores lo admiten. Séptimo, la conclusión lingüística es descriptiva. Solo compara RMSE de 54 medias y selecciona visualmente dos condiciones con mayor diferencia; no hay factor Language, incertidumbre, pairing por seed/tema o multiplicidad. La rúbrica inglesa se aplica sin traducir al japonés y los prompts japoneses/proceso de traducción no se publican. Por último, el paper ofrece los prompts Big Five y estilo en inglés, una condición Salesperson, la rúbrica y dos diálogos, pero no los 2.160 diálogos, puntuaciones, razones, prompts japoneses, prompts completos de target/interlocutor, settings, seeds, parser, código o entorno. No hay repositorio localizable. El trabajo sustenta variación contextual en personalidad percibida por máquinas; no demuestra una personalidad interna, equivalencia con humanos, causalidad abstracta de rol o estilo, seguridad del control emocional, generalización multilingüe ni reproducibilidad independiente.

English

This preprint asks a useful agent-design question: a Big Five instruction may not look the same across contexts because role and expressive manner also affect perceived personality. Six personality conditions, Unspecified plus one high prompt for each Big Five trait, are crossed with open Chat, microwave Salesperson, and microwave Customer roles and with Unspecified, as-emotional-as-possible, and as-rational-as-possible styles. GPT-5.2 snapshot gpt-5.2-2025-12-11 generates twenty stochastic dialogues for each of 54 cells in English and Japanese, 1,080 per language. Gemini 2.5 Flash assigns five one-to-five trait ratings to each complete dialogue; o3-mini re-rates all English dialogues. The authors appropriately call these LLM-based estimates of perceived personality rather than true personality or human psychometrics. Dominant reported factors differ by scored trait. In the three-way models, explicit Personality is largest for Openness, omega-squared 0.3053, and Neuroticism, 0.6845. Expressive Style is largest for Conscientiousness, 0.4078, Agreeableness, 0.4024, and Extraversion, 0.2744. Openness also has a Role effect of 0.2471 and Personality-by-Role effect of 0.1410. Three-way interactions are significant but smaller, 0.0255-0.0535. Printed arithmetic is coherent: the 1,080 count is correct, F-distribution p-values reproduce, and every main-table omega-squared value reconstructs within 0.00005. The defensible contribution is that role/task and style instructions systematically change machine-perceived Big Five ratings for this generator and rubric, so evaluating a personality prompt in one context can hide variation. The design does not, however, isolate latent personality or cleanly separate its three factors. Treatment prompts and judge criteria reuse the same descriptors. Extraversion injects active, assertive, and energetic while the judge seeks sociable, energetic, and assertive; equivalent overlap exists for the other traits. Large direct effects are partly manipulation checks in which one model emits instructed cues and another recognizes them. Neuroticism is the extreme case: every explicit-Neuroticism dialogue receives the maximum score across style cells, creating zero variance and identical Style and Personality-by-Style statistics. This is judge saturation and an ANOVA-assumption problem, not fine-grained psychological stability. Role is confounded with task and domain: Chat is open-ended, while both retail roles concern buying a microwave. Goal structure, vocabulary, topic, and role change together. Style is also confounded with content because conditions are fresh generations rather than matched rewrites. The published emotional-chat example becomes a loneliness and simulated self-harm crisis, while the rational-chat example becomes deadline and checklist planning. Topic, risk, and behavior change along with tone. The paper's claim that style changes perceived personality rather than merely surface form exceeds a study whose treatment and outcome inspect only text, tone, word choice, and interaction style. The emotional example also exposes an unmeasured safety issue: maximal emotionality induces self-harm content, but no incidence or mitigation is reported. The human interactionist analogy remains conceptual because no persistent agent or shared latent identity is exposed to multiple contexts; every cell is a new dialogue. GPT-5.2 generates both target and interlocutor, so partner scaffolding and self-interaction can amplify cues before the judge sees the full exchange. Each ANOVA compares only Unspecified with one matching high-trait condition, reusing the baseline across five models. Five correlated outcomes come from the same judge call, yet there is no multivariate model, cross-trait spillover analysis, or multiplicity control. Integer one-to-five ratings have demonstrated ceiling effects, and no residual, homoscedasticity, ordinal, or robust sensitivity analysis is provided. Agreement between two LLM judges using the same cue-rich rubric shows shared machine scoring, not human validity; correlation is only 0.504 for Agreeableness. The authors acknowledge this. Language claims are descriptive: RMSE across 54 condition means and two visually selected largest differences replace a Language-factor test, uncertainty, seed/topic matching, and multiplicity handling. The English rubric is applied unchanged to Japanese, while Japanese prompts and translation procedures are absent. Finally, no public repository releases the 2,160 dialogues, scores, rationales, Japanese prompts, complete target/interlocutor prompts, decoding settings, seeds, parser, scripts, or environment. The release supports contextual variation in machine-perceived personality, not internal personality, human equivalence, abstract role/style causality, safe emotional control, multilingual generality, or independent reproduction.

Pregunta de investigación

¿Cómo interactúan la especificación Big Five, el rol conversacional y el estilo emocional/racional para moldear la personalidad percibida en diálogos generados, y se repite el patrón en inglés y japonés?

Método

Factorial 6 personalidades × 3 roles × 3 estilos × 20 diálogos, repetido en inglés y japonés. GPT-5.2 genera target e interlocutor; Gemini 2.5 Flash puntúa cinco rasgos y o3-mini reevalúa inglés. ANOVA trait-specific de dos y tres factores, ω², MDS exploratorio, RMSE y Pearson. La auditoría revisa 26 páginas, TeX, 41 figuras, prompts, aritmética, constructo y artefactos.

Muestra: 54 celdas factoriales y 20 generaciones por celda producen 1.080 diálogos por idioma. Cada ANOVA trait-specific usa 360 scores y compara Unspecified con un único prompt alto; el baseline se reutiliza en cinco modelos.

Hallazgos

  • Personality domina Openness y Neuroticism en el ANOVA completo.
  • Expressive Style domina Conscientiousness, Agreeableness y Extraversion.
  • Role es especialmente grande para Openness.
  • Las interacciones triples son menores que los principales efectos.
  • Los p-values y ω² impresos son aritméticamente coherentes.
  • Neuroticism explícito satura el judge en 5 bajo todos los estilos.
  • Dos judges muestran correlación 0,504-0,903, no validación humana.
  • El análisis inglés-japonés es solo descriptivo.
  • El ejemplo emotional induce contenido de autolesión no auditado.
  • No hay datos o código públicos.

Limitaciones

  • Solapamiento léxico directo entre prompts y rúbrica.
  • Techo completo de Neuroticism y varianza cero en celdas.
  • Role confundido con tarea, dominio y vocabulario.
  • Style confundido con tema, stakes y contenido de seguridad.
  • Sin agente persistente o rasgo latente compartido entre contextos.
  • Target e interlocutor generados por el mismo modelo.
  • Baseline reutilizado en cinco ANOVAs correlacionados.
  • Ratings ordinales 1-5 tratados con ANOVA sin diagnostics.
  • Sin corrección por multiplicidad.
  • Concordancia LLM-LLM sin humanos.
  • Idioma sin modelo inferencial o pairing temático.
  • Rúbrica inglesa aplicada a japonés.
  • Prompts japoneses y traducción ausentes.
  • Conteo de turns ambiguo frente a ejemplos de 20 utterances.
  • Riesgo de autolesión inducida sin evaluación.
  • Diálogos, scores, razones, settings, código y entorno ausentes.

Qué no demuestra

  • Una personalidad psicológica interna en GPT-5.2.
  • Que un mismo agente estable cambie expresión entre situaciones.
  • Percepción Big Five humana o validez psicométrica.
  • Efecto causal de rol separado de tarea y dominio.
  • Efecto de estilo separado de tema y contenido.
  • Que los efectos directos no sean principalmente criterion leakage.
  • Seguridad de instrucciones de emocionalidad máxima.
  • Equivalencia o generalización entre inglés y japonés.
  • Generalización a otros generadores, judges, roles y dominios.
  • Reproducción independiente de ANOVA, medias o figuras.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2605.28037v1, submitted 2026-05-27, 26 pages, arXiv non-exclusive distribution license; complete TeX, figures and printed statistics audited

Fuente consultada: https://arxiv.org/abs/2605.28037

Revisión: Codex 26-page visual, complete TeX, prompt-rubric construct, ANOVA arithmetic, language, safety and missing-artifact audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • GPT-5.2 gpt-5.2-2025-12-11
  • Gemini 2.5 Flash gemini-2.5-flash
  • OpenAI o3-mini snapshot no especificado

Instrumentos y métricas

  • Cinco prompts Big Five altos
  • Tres roles
  • Tres estilos expresivos
  • Rúbrica LLM Big Five 1-5
  • ANOVA factorial
  • Classical omega-squared
  • MDS
  • RMSE
  • Pearson r

Datos utilizados

  • 1.080 diálogos ingleses no publicados
  • 1.080 diálogos japoneses no publicados
  • 5.400 ratings Gemini por idioma
  • 5.400 ratings o3-mini en inglés no publicados
  • TeX, 41 figuras y dos diálogos de ejemplo

Evidencia y localización

  • Método, tablas, prompts, ejemplos y limitaciones: arXiv:2605.28037v1, all 26 pages rendered and visually inspected, sha256 a02b1fbe66c59bf511c21b4bc81b0d7e4fe8f63d7edd550b17443f3b1ebe635c
  • TeX, figures, arithmetic and artifact availability: Complete arXiv v1 source, sha256 66b1f5d98425fae965a0a270516b81eafeff407dc62f1f8ff96a23fd18fe6a50
  • Construct, confounding, statistics, language, safety and reproducibility: reports/verification/article-317-interactionist-prompt-judge-construct-statistics-language-safety-and-artifact-audit.json