Modeling Complex Behaviors: Multi-Personality Composition and Dynamic Switching in Vision-Language Models

Personas, identidad y agentes2026arXivRevisión editorial aprobada

Autores: Peiqi Jia, Haonan Jia, Ziqi Miao, Linkang Du, Yuntao Wang, Zhou Su

Palabras clave: Big Five, Vision-language models, Prompt conditioning, Personality switching

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

6
Autores
10
Hallazgos
20
Limitaciones
4
Evidencias

Resumen editorial

Español

Este preprint estudia cómo instrucciones explícitas de Big Five cambian las respuestas de modelos visión-lenguaje y sus resultados en captioning y visual question answering (VQA). El término del título «multi-personality» debe leerse con precisión: el experimento no combina personas, identidades, agentes ni personalidades completas, sino dos direcciones seleccionadas de rasgos Big Five dentro de un mismo prompt. Tampoco observa una personalidad espontánea. Primero se ordena al modelo actuar con nivel alto o bajo de Amabilidad, Responsabilidad, Extraversión, Neuroticismo o Apertura. Después se mide si sus autodescripciones en BFI-44 e IPIP-NEO-120 se mueven en esa dirección y cómo cambian métricas multimodales. Se intentan dos técnicas publicadas: P2, que convierte cada rasgo en descriptores conductuales en lenguaje natural, y Big5-Scaler, que expresa intensidades numéricas. Los modelos base son LLaVA-v1.6-7B y Qwen2.5-VL-7B, sin IDs de repositorio, revisiones o checkpoint exactos. Los autores consideran que Big5-Scaler falla en Qwen y P2 falla en LLaVA; por ello, los análisis centrales de composición y cambio usan solo P2 con Qwen2.5-VL-7B. Para composición, un LLM auxiliar no identificado fusiona dos prompts y se publican nueve pares escogidos tras observar los efectos de rasgos individuales y priorizar tendencias alineadas. Para switching, el modelo mantiene un turno previo bajo una dirección del rasgo y recibe después la dirección opuesta dentro del mismo historial. La evaluación de personalidad usa las medias de BFI e IPIP-NEO. Captioning usa subconjuntos de 500 ejemplos de DOCCI y COCO-LN, con BLEU-4, CAPTURE, Objects F1 y Relations F1. El método también anuncia METEOR, pero no publica ningún valor METEOR. VQA abarca CCBench, HallusionBench, MathVista, MMBench, MMMU, MMStar y SEED-Bench. Los resultados muestran un fuerte seguimiento de instrucciones en los cuestionarios. Con P2 y Qwen, las direcciones alta y baja separan claramente la media del rasgo objetivo; por ejemplo, Extraversión BFI pasa de 3,38 en baseline a 5,00 o 1,13. También cambian dimensiones no objetivo. Esto demuestra que el prompt altera el autoinforme generado, pero no valida una personalidad latente, estable o equivalente a la humana: los dos inventarios son autodescripciones producidas por el mismo modelo bajo una instrucción que nombra y describe exactamente el rasgo que después se pregunta. No hay convergencia con conducta independiente, fiabilidad test-retest, validez discriminante ni invariancia al prompt. Varias medias llegan a 1,000 o 5,000, de modo que suelo y techo pueden comprimir artificialmente las diferencias en condiciones compuestas. En captioning, casi todas las condiciones superan el baseline en las métricas mostradas. Responsabilidad alta, por ejemplo, eleva BLEU-4 de 22,68/29,11 a 32,28/36,31 en DOCCI/COCO y CAPTURE de 55,89/44,12 a 58,39/45,90. Sin embargo, no se controla longitud, verbosidad ni formato, no hay evaluación humana de fidelidad y no se publican captions. Un prompt que pide estilo detallado puede producir textos más largos y con más objetos o relaciones, mejor alineados con referencias largas, sin que eso pruebe mejor razonamiento visual y quizá añadiendo detalle no sustentado. En VQA, el efecto depende mucho de tarea y dirección. HallusionBench qACC baja de 40,6 a 14,1 con Extraversión alta, mientras algunas direcciones bajas mejoran benchmarks concretos, como MMMU con Extraversión baja. El artículo interpreta que expresividad causa sobreafirmación y que contención reduce errores bajo incertidumbre, pero son explicaciones post hoc: no hay taxonomía de errores, análisis de longitud, anotación de alucinaciones ni ablación causal. Tampoco se informa cumplimiento del formato o fallos del parser; cambiar verbosidad, hedging o forma de la respuesta puede reducir una métrica exact-match sin demostrar deterioro del razonamiento. La composición de dos rasgos conserva en general las direcciones instruidas con valores menos extremos, mejora las métricas de captioning respecto al baseline y suele degradar parte de VQA. Los autores llaman a esas diferencias balancing, superposition, cancellation o compensation. Son patrones descriptivos interesantes, pero el diseño es selectivo: de cuarenta pares posibles de direcciones alta/baja que no enfrentan el mismo rasgo, solo se muestran nueve, elegidos después de mirar el rendimiento individual y buscando tendencias compatibles y rendimiento óptimo. El LLM auxiliar, su versión, prompt, parámetros y salidas compuestas no se revelan, así que cada efecto mezcla los rasgos con paráfrasis y descriptores desconocidos. No es un factorial exhaustivo ni una estimación confirmatoria de interacción. En switching, la segunda instrucción suele dominar, pero las medias son menos extremas que con una inducción fresca; captioning permanece sobre baseline y varios resultados VQA quedan entre los extremos individuales. El paper lo interpreta como residuo de la personalidad anterior. El experimento, no obstante, retiene la instrucción previa, el mensaje del usuario y la respuesta del propio modelo, y añade una instrucción contraria. Recencia textual, conflicto entre instrucciones y autocontinuación bastan para generar atenuación sin postular memoria de un estado psicológico interno. Además, la figura representa un segundo mensaje de sistema después de una respuesta de asistente, pero no explica cómo se serializa ese rol en cada chat template. El método habla de una serie multironda, mientras el experimento efectivo usa un único turno antes de un único cambio; no evalúa conmutaciones repetidas, estabilidad longitudinal ni personalidad que evoluciona naturalmente. La evidencia estadística es especialmente débil. Se publican puntos únicos sin semillas, repeticiones, intervalos, tests pareados o corrección por la gran cantidad de rasgos, modelos, métodos, métricas y benchmarks. El texto llama «significativas» a diferencias de cuestionario sin test, unidad de muestreo, p-value o intervalo. Tampoco se describen prompts completos, parser y reverse scoring de BFI/IPIP, tratamiento de respuestas inválidas, parámetros de generación, software, hardware, versiones de datasets o comandos de evaluación. La figura 1 contiene además una contradicción verificable: etiqueta una condición como baja Responsabilidad pero usa los descriptores organizada, disciplinada y fiable, iguales a los de alta Responsabilidad, mientras otro ejemplo bajo usa descriptores distintos y coherentes. El artefacto arXiv contiene TeX y figuras estáticas; no hay código, datos, prompts, respuestas, checkpoints ni repositorio público, y el propio paper condiciona la liberación del código a una futura aceptación. La conclusión fiel es acotada: en la configuración principal reportada, instrucciones Big Five cambian mucho lo que Qwen2.5-VL-7B dice de sí mismo y alteran métricas de captioning y VQA; las combinaciones seleccionadas y un cambio de instrucción dentro del historial producen resultados intermedios. No se demuestra personalidad humana, múltiples personalidades, persistencia interna, causalidad del mecanismo, significación estadística ni reproducibilidad independiente.

English

This preprint studies how explicit Big Five instructions change vision-language model responses and their image-captioning and visual-question-answering (VQA) results. The title's term 'multi-personality' needs a precise reading: the experiment does not combine people, identities, agents, or complete personalities. It combines two selected high/low Big Five trait directions in one prompt. Nor does it observe a spontaneous personality. The model is first told to act with high or low Agreeableness, Conscientiousness, Extraversion, Neuroticism, or Openness. The study then measures whether BFI-44 and IPIP-NEO-120 self-descriptions move in that direction and how multimodal metrics change. Two published techniques are attempted: P2 maps each trait to natural-language behavioral descriptors, while Big5-Scaler states numerical intensities. The base models are LLaVA-v1.6-7B and Qwen2.5-VL-7B, without exact repository identifiers, revisions, or checkpoints. The authors judge Big5-Scaler unsuccessful on Qwen and P2 unsuccessful on LLaVA, so the central composition and switching analyses use only P2 with Qwen2.5-VL-7B. For composition, an unidentified auxiliary LLM merges two prompts, and nine pairs selected after observing single-trait task effects and prioritizing aligned tendencies are reported. For switching, the model retains one prior turn under one trait direction and then receives the opposite direction inside the same history. Personality evaluation uses BFI and IPIP-NEO means. Captioning uses 500-example DOCCI and COCO-LN subsets with BLEU-4, CAPTURE, Objects F1, and Relations F1. The method also declares METEOR, but reports no METEOR value. VQA covers CCBench, HallusionBench, MathVista, MMBench, MMMU, MMStar, and SEED-Bench. Questionnaire results show strong instruction following. Under P2 with Qwen, high and low directions clearly separate the target-trait mean; for example, BFI Extraversion moves from a 3.38 baseline to 5.00 or 1.13. Non-target dimensions also move. This shows that the prompt alters generated self-report, but does not validate a latent, stable, or human-equivalent personality: both inventories are self-descriptions produced by the same model under an instruction that names and describes the trait subsequently queried. There is no convergence with independent behavior, test-retest reliability, discriminant validity, or prompt invariance. Several means reach 1.000 or 5.000, so floor and ceiling saturation can mechanically compress differences in composed conditions. In captioning, almost every condition exceeds the displayed baseline. High Conscientiousness, for example, raises BLEU-4 from 22.68/29.11 to 32.28/36.31 on DOCCI/COCO and CAPTURE from 55.89/44.12 to 58.39/45.90. Yet output length, verbosity, and format are uncontrolled, no human factuality evaluation is provided, and captions are not released. A detailed-style prompt can elicit longer text with more objects and relations that better matches long references without proving stronger visual reasoning and potentially while adding unsupported detail. In VQA, effects vary sharply by task and direction. HallusionBench qACC falls from 40.6 to 14.1 under high Extraversion, while some low directions improve individual benchmarks, such as MMMU under low Extraversion. The paper interprets expressiveness as causing overcommitment and restraint as reducing uncertain errors, but these are post hoc mechanisms: there is no response-level error taxonomy, length mediation, hallucination annotation, or causal ablation. Format compliance and parser failures are not reported either; changing verbosity, hedging, or answer form can lower exact-match-style scores without demonstrating impaired reasoning. Two-trait composition generally preserves instructed directions at less extreme levels, improves caption metrics over baseline, and degrades portions of VQA. The authors describe balancing, superposition, cancellation, and compensation. These are interesting descriptive patterns, but the design is selective: among forty possible unordered high/low pairs that do not oppose the same trait, only nine are shown, selected after inspecting individual performance and with the stated aim of aligned tendencies and optimal performance. The auxiliary model, version, prompt, parameters, and composite outputs are undisclosed, so each effect conflates target traits with unknown paraphrases and added descriptors. This is neither an exhaustive factorial design nor a confirmatory interaction estimate. In switching, the second instruction usually dominates but means are less extreme than under fresh single-trait induction; captioning remains above baseline and several VQA values fall between the individual extremes. The paper calls this a residual effect of the former personality. However, the experiment retains the prior instruction, user message, and model answer, then appends a contrary instruction. Ordinary textual recency, instruction conflict, and self-continuation can produce attenuation without memory of an internal psychological state. The figure also depicts a second system message after an assistant response without explaining its serialization in each chat template. The method describes a series of multi-turn exchanges, whereas the actual experiment uses one turn before one switch; it does not evaluate repeated switching, longitudinal stability, or naturally evolving personality. Statistical evidence is especially limited. Only single point estimates are shown, without seeds, repetitions, intervals, paired tests, or correction across many traits, models, methods, metrics, and benchmarks. The text calls questionnaire changes 'significant' without a test, sampling unit, p-value, or interval. Complete prompts, BFI/IPIP parsing and reverse scoring, invalid-response handling, generation parameters, software, hardware, dataset versions, and evaluation commands are also absent. Figure 1 contains a verifiable contradiction: a low-Conscientiousness condition uses organized, disciplined, and reliable, the same high-Conscientiousness descriptors shown above, while another low example uses different, directionally coherent wording. The arXiv artifact contains TeX and static figures only; there is no public code, data, prompts, outputs, checkpoints, or project repository, and the paper conditions code release on future acceptance. The faithful conclusion is narrow: in the principal reported configuration, Big Five instructions strongly change what Qwen2.5-VL-7B says about itself and alter captioning and VQA metrics; selected trait pairs and an instruction reversal inside retained history yield intermediate patterns. The study does not establish human personality, multiple personalities, internal persistence, mechanism-level causality, statistical significance, or independent reproducibility.

Pregunta de investigación

¿Cómo cambian los autoinformes Big Five y el rendimiento en captioning y VQA de modelos visión-lenguaje cuando reciben instrucciones de un rasgo alto/bajo, una composición seleccionada de dos rasgos o una instrucción opuesta después de un turno de conversación?

Método

Se aplican P2 y Big5-Scaler a LLaVA-v1.6-7B y Qwen2.5-VL-7B, se mide seguimiento del rasgo con BFI-44 e IPIP-NEO-120 y se evalúan captions y siete benchmarks VQA. Tras descartar combinaciones método-modelo consideradas fallidas, P2 con Qwen se usa para nueve pares de rasgos fusionados por un LLM auxiliar no identificado y para un único cambio alto↔bajo dentro de un historial de un turno.

Muestra: Captioning usa 500 ejemplos de DOCCI y 500 de COCO-LN según los nombres de los subconjuntos. Los tamaños efectivos, versiones y exclusiones de los siete benchmarks VQA no se detallan. Cada condición produce un conjunto agregado de respuestas de cuestionario y benchmark, pero no se informan repeticiones, semillas, n de generaciones válidas ni incertidumbre. Se reportan diez direcciones de rasgo individuales, nueve pares seleccionados y dos direcciones de cambio por cada rasgo en el modelo principal.

Hallazgos

  • P2 con Qwen2.5-VL-7B separa fuertemente las medias BFI/IPIP del rasgo instruido alto y bajo.
  • También cambian rasgos no objetivo, aunque el diseño no distingue acoplamiento psicológico de asociaciones semánticas del prompt.
  • Las condiciones de personalidad superan generalmente el baseline en métricas automáticas de captioning.
  • Responsabilidad alta eleva BLEU-4 de 22,68/29,11 a 32,28/36,31 en DOCCI/COCO.
  • Los efectos VQA son heterogéneos; HallusionBench qACC cae especialmente con Extraversión alta y algunas direcciones bajas mejoran benchmarks concretos.
  • Los nueve pares seleccionados muestran rasgos objetivo algo moderados, captions sobre baseline y degradaciones parciales en VQA.
  • Tras un cambio opuesto, la segunda instrucción sigue afectando al autoinforme, pero suele producir valores menos extremos que una inducción fresca.
  • Los resultados post-switch de captioning y VQA suelen quedar entre el baseline y/o los dos extremos individuales.
  • Big5-Scaler no se considera eficaz en Qwen y P2 no se considera eficaz en LLaVA, limitando la generalización método-modelo.
  • No se publica METEOR pese a declararse como métrica.

Limitaciones

  • Multi-personality significa dos direcciones de rasgo y no múltiples personas o personalidades completas.
  • Los cuestionarios miden autoinforme condicionado explícitamente y no personalidad latente.
  • BFI e IPIP comparten modelo, prompt y semántica y no son validaciones independientes.
  • Faltan prompts completos, parser, reverse scoring, manejo de inválidos y respuestas por ítem.
  • Los techos y suelos 1/5 pueden crear moderación aparente.
  • Solo se muestran nueve de cuarenta pares posibles no opuestos, seleccionados tras mirar resultados individuales.
  • El LLM auxiliar y sus salidas no están identificados.
  • El switching conserva texto e instrucciones previas y no aísla memoria de estado interno.
  • No se documenta cómo se inserta un segundo mensaje de sistema en el chat template.
  • Solo hay un turno antes de un único cambio.
  • Captioning no controla longitud, verbosidad, formato o alucinación factual.
  • VQA no controla compliance de formato o errores de parsing.
  • Las explicaciones de expresividad y contención son post hoc.
  • Se declara METEOR pero no se reporta; Objects/Relations F1 aparecen sin implementación suficiente.
  • Faltan checkpoints exactos, parámetros de generación, seeds, repeticiones y entorno.
  • No hay intervalos, tests, tamaños de efecto con incertidumbre o corrección de multiplicidad.
  • El lenguaje de significación estadística no está respaldado por inferencia reportada.
  • La figura 1 contiene un prompt low-Conscientiousness con descriptores de high-Conscientiousness.
  • No hay código, datos, prompts, outputs, configuración o repositorio público.
  • Es un preprint arXiv y no establece aceptación o peer review.

Qué no demuestra

  • No demuestra personalidad humana, consciente, estable o latente en los modelos.
  • No demuestra múltiples personalidades o simulación de múltiples personas.
  • No demuestra que el residuo post-switch sea memoria de una personalidad interna.
  • No demuestra que las mejoras de captioning sean mejor razonamiento visual y no mayor detalle o ajuste de estilo.
  • No demuestra que las caídas VQA sean deterioro de razonamiento y no formato o parser.
  • No demuestra interacciones exhaustivas o confirmatorias entre rasgos.
  • No demuestra significación estadística pese a usar ese término.
  • No generaliza el efecto a otros tamaños, familias, checkpoints, idiomas o tareas.
  • No identifica el mecanismo causal de balancing, compensation o cancellation.
  • No permite reproducción independiente con el artefacto público actual.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2606.11074v2

Fuente consultada: https://arxiv.org/abs/2606.11074v2

Revisión: Codex sixteen-page full-text visual, TeX, psychometric-construct, prompt-selection, switch-history, metric and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • Qwen2.5-VL-7B, exact variant and revision unspecified
  • LLaVA-v1.6-7B, exact repository and revision unspecified
  • Unspecified auxiliary LLM used to compose two trait prompts

Instrumentos y métricas

  • Personality Prompting (P2)
  • Big5-Scaler
  • 44-item Big Five Inventory (BFI-44)
  • 120-item IPIP-NEO
  • BLEU-4
  • CAPTURE
  • Objects F1
  • Relations F1
  • METEOR declared but not reported
  • Benchmark-specific CCBench, HallusionBench, MathVista, MMBench, MMMU, MMStar and SEED-Bench scores

Datos utilizados

  • DOCCI500 caption subset
  • COCO-LN500 caption subset
  • CCBench
  • HallusionBench
  • MathVista
  • MMBench
  • MMMU
  • MMStar
  • SEED-Bench
  • BFI-44 and IPIP-NEO-120 questionnaire items

Evidencia y localización

  • Metadatos, versión y condición de preprint: Official arXiv record 2606.11074v2, checked 2026-07-17
  • Método, tablas, apéndice, limitaciones y prompts ilustrados: arXiv v2, all sixteen PDF pages and complete TeX source
  • Ausencia de código público: Paper code-release statement and targeted web/GitHub search checked 2026-07-17
  • Auditoría de constructo, selección, historial, métricas, figura y reproducibilidad: reports/verification/article-302-vlm-multitrait-prompting-switch-history-psychometric-metric-and-reproducibility-audit.json