Modeling Complex Behaviors: Multi-Personality Composition and Dynamic Switching in Vision-Language Models

This preprint studies how explicit Big Five instructions change vision-language model responses and their image-captioning and visual-question-answering (VQA) results. The title's term 'multi-personality' needs a precise reading: the experiment does not combine people, identities, agents, or complete personalities. It combines two selected high/low Big Five trait directions in one prompt. Nor does it observe a spontaneous personality. The model is first told to act with high or low Agreeableness, Conscientiousness, Extraversion, Neuroticism, or Openness. The study then measures whether BFI-44 and IPIP-NEO-120 self-descriptions move in that direction and how multimodal metrics change. Two published techniques are attempted: P2 maps each trait to natural-language behavioral descriptors, while Big5-Scaler states numerical intensities. The base models are LLaVA-v1.6-7B and Qwen2.5-VL-7B, without exact repository identifiers, revisions, or checkpoints. The authors judge Big5-Scaler unsuccessful on Qwen and P2 unsuccessful on LLaVA, so the central composition and switching analyses use only P2 with Qwen2.5-VL-7B. For composition, an unidentified auxiliary LLM merges two prompts, and nine pairs selected after observing single-trait task effects and prioritizing aligned tendencies are reported. For switching, the model retains one prior turn under one trait direction and then receives the opposite direction inside the same history. Personality evaluation uses BFI and IPIP-NEO means. Captioning uses 500-example DOCCI and COCO-LN subsets with BLEU-4, CAPTURE, Objects F1, and Relations F1. The method also declares METEOR, but reports no METEOR value. VQA covers CCBench, HallusionBench, MathVista, MMBench, MMMU, MMStar, and SEED-Bench. Questionnaire results show strong instruction following. Under P2 with Qwen, high and low directions clearly separate the target-trait mean; for example, BFI Extraversion moves from a 3.38 baseline to 5.00 or 1.13. Non-target dimensions also move. This shows that the prompt alters generated self-report, but does not validate a latent, stable, or human-equivalent personality: both inventories are self-descriptions produced by the same model under an instruction that names and describes the trait subsequently queried. There is no convergence with independent behavior, test-retest reliability, discriminant validity, or prompt invariance. Several means reach 1.000 or 5.000, so floor and ceiling saturation can mechanically compress differences in composed conditions. In captioning, almost every condition exceeds the displayed baseline. High Conscientiousness, for example, raises BLEU-4 from 22.68/29.11 to 32.28/36.31 on DOCCI/COCO and CAPTURE from 55.89/44.12 to 58.39/45.90. Yet output length, verbosity, and format are uncontrolled, no human factuality evaluation is provided, and captions are not released. A detailed-style prompt can elicit longer text with more objects and relations that better matches long references without proving stronger visual reasoning and potentially while adding unsupported detail. In VQA, effects vary sharply by task and direction. HallusionBench qACC falls from 40.6 to 14.1 under high Extraversion, while some low directions improve individual benchmarks, such as MMMU under low Extraversion. The paper interprets expressiveness as causing overcommitment and restraint as reducing uncertain errors, but these are post hoc mechanisms: there is no response-level error taxonomy, length mediation, hallucination annotation, or causal ablation. Format compliance and parser failures are not reported either; changing verbosity, hedging, or answer form can lower exact-match-style scores without demonstrating impaired reasoning. Two-trait composition generally preserves instructed directions at less extreme levels, improves caption metrics over baseline, and degrades portions of VQA. The authors describe balancing, superposition, cancellation, and compensation. These are interesting descriptive patterns, but the design is selective: among forty possible unordered high/low pairs that do not oppose the same trait, only nine are shown, selected after inspecting individual performance and with the stated aim of aligned tendencies and optimal performance. The auxiliary model, version, prompt, parameters, and composite outputs are undisclosed, so each effect conflates target traits with unknown paraphrases and added descriptors. This is neither an exhaustive factorial design nor a confirmatory interaction estimate. In switching, the second instruction usually dominates but means are less extreme than under fresh single-trait induction; captioning remains above baseline and several VQA values fall between the individual extremes. The paper calls this a residual effect of the former personality. However, the experiment retains the prior instruction, user message, and model answer, then appends a contrary instruction. Ordinary textual recency, instruction conflict, and self-continuation can produce attenuation without memory of an internal psychological state. The figure also depicts a second system message after an assistant response without explaining its serialization in each chat template. The method describes a series of multi-turn exchanges, whereas the actual experiment uses one turn before one switch; it does not evaluate repeated switching, longitudinal stability, or naturally evolving personality. Statistical evidence is especially limited. Only single point estimates are shown, without seeds, repetitions, intervals, paired tests, or correction across many traits, models, methods, metrics, and benchmarks. The text calls questionnaire changes 'significant' without a test, sampling unit, p-value, or interval. Complete prompts, BFI/IPIP parsing and reverse scoring, invalid-response handling, generation parameters, software, hardware, dataset versions, and evaluation commands are also absent. Figure 1 contains a verifiable contradiction: a low-Conscientiousness condition uses organized, disciplined, and reliable, the same high-Conscientiousness descriptors shown above, while another low example uses different, directionally coherent wording. The arXiv artifact contains TeX and static figures only; there is no public code, data, prompts, outputs, checkpoints, or project repository, and the paper conditions code release on future acceptance. The faithful conclusion is narrow: in the principal reported configuration, Big Five instructions strongly change what Qwen2.5-VL-7B says about itself and alter captioning and VQA metrics; selected trait pairs and an instruction reversal inside retained history yield intermediate patterns. The study does not establish human personality, multiple personalities, internal persistence, mechanism-level causality, statistical significance, or independent reproducibility.

Este preprint estudia cómo instrucciones explícitas de Big Five cambian las respuestas de modelos visión-lenguaje y sus resultados en captioning y visual question answering (VQA). El término del título «multi-personality» debe leerse con precisión: el experimento no combina personas, identidades, agentes ni personalidades completas, sino dos direcciones seleccionadas de rasgos Big Five dentro de un mismo prompt. Tampoco observa una personalidad espontánea. Primero se ordena al modelo actuar con nivel alto o bajo de Amabilidad, Responsabilidad, Extraversión, Neuroticismo o Apertura. Después se mide si sus autodescripciones en BFI-44 e IPIP-NEO-120 se mueven en esa dirección y cómo cambian métricas multimodales. Se intentan dos técnicas publicadas: P2, que convierte cada rasgo en descriptores conductuales en lenguaje natural, y Big5-Scaler, que expresa intensidades numéricas. Los modelos base son LLaVA-v1.6-7B y Qwen2.5-VL-7B, sin IDs de repositorio, revisiones o checkpoint exactos. Los autores consideran que Big5-Scaler falla en Qwen y P2 falla en LLaVA; por ello, los análisis centrales de composición y cambio usan solo P2 con Qwen2.5-VL-7B. Para composición, un LLM auxiliar no identificado fusiona dos prompts y se publican nueve pares escogidos tras observar los efectos de rasgos individuales y priorizar tendencias alineadas. Para switching, el modelo mantiene un turno previo bajo una dirección del rasgo y recibe después la dirección opuesta dentro del mismo historial. La evaluación de personalidad usa las medias de BFI e IPIP-NEO. Captioning usa subconjuntos de 500 ejemplos de DOCCI y COCO-LN, con BLEU-4, CAPTURE, Objects F1 y Relations F1. El método también anuncia METEOR, pero no publica ningún valor METEOR. VQA abarca CCBench, HallusionBench, MathVista, MMBench, MMMU, MMStar y SEED-Bench. Los resultados muestran un fuerte seguimiento de instrucciones en los cuestionarios. Con P2 y Qwen, las direcciones alta y baja separan claramente la media del rasgo objetivo; por ejemplo, Extraversión BFI pasa de 3,38 en baseline a 5,00 o 1,13. También cambian dimensiones no objetivo. Esto demuestra que el prompt altera el autoinforme generado, pero no valida una personalidad latente, estable o equivalente a la humana: los dos inventarios son autodescripciones producidas por el mismo modelo bajo una instrucción que nombra y describe exactamente el rasgo que después se pregunta. No hay convergencia con conducta independiente, fiabilidad test-retest, validez discriminante ni invariancia al prompt. Varias medias llegan a 1,000 o 5,000, de modo que suelo y techo pueden comprimir artificialmente las diferencias en condiciones compuestas. En captioning, casi todas las condiciones superan el baseline en las métricas mostradas. Responsabilidad alta, por ejemplo, eleva BLEU-4 de 22,68/29,11 a 32,28/36,31 en DOCCI/COCO y CAPTURE de 55,89/44,12 a 58,39/45,90. Sin embargo, no se controla longitud, verbosidad ni formato, no hay evaluación humana de fidelidad y no se publican captions. Un prompt que pide estilo detallado puede producir textos más largos y con más objetos o relaciones, mejor alineados con referencias largas, sin que eso pruebe mejor razonamiento visual y quizá añadiendo detalle no sustentado. En VQA, el efecto depende mucho de tarea y dirección. HallusionBench qACC baja de 40,6 a 14,1 con Extraversión alta, mientras algunas direcciones bajas mejoran benchmarks concretos, como MMMU con Extraversión baja. El artículo interpreta que expresividad causa sobreafirmación y que contención reduce errores bajo incertidumbre, pero son explicaciones post hoc: no hay taxonomía de errores, análisis de longitud, anotación de alucinaciones ni ablación causal. Tampoco se informa cumplimiento del formato o fallos del parser; cambiar verbosidad, hedging o forma de la respuesta puede reducir una métrica exact-match sin demostrar deterioro del razonamiento. La composición de dos rasgos conserva en general las direcciones instruidas con valores menos extremos, mejora las métricas de captioning respecto al baseline y suele degradar parte de VQA. Los autores llaman a esas diferencias balancing, superposition, cancellation o compensation. Son patrones descriptivos interesantes, pero el diseño es selectivo: de cuarenta pares posibles de direcciones alta/baja que no enfrentan el mismo rasgo, solo se muestran nueve, elegidos después de mirar el rendimiento individual y buscando tendencias compatibles y rendimiento óptimo. El LLM auxiliar, su versión, prompt, parámetros y salidas compuestas no se revelan, así que cada efecto mezcla los rasgos con paráfrasis y descriptores desconocidos. No es un factorial exhaustivo ni una estimación confirmatoria de interacción. En switching, la segunda instrucción suele dominar, pero las medias son menos extremas que con una inducción fresca; captioning permanece sobre baseline y varios resultados VQA quedan entre los extremos individuales. El paper lo interpreta como residuo de la personalidad anterior. El experimento, no obstante, retiene la instrucción previa, el mensaje del usuario y la respuesta del propio modelo, y añade una instrucción contraria. Recencia textual, conflicto entre instrucciones y autocontinuación bastan para generar atenuación sin postular memoria de un estado psicológico interno. Además, la figura representa un segundo mensaje de sistema después de una respuesta de asistente, pero no explica cómo se serializa ese rol en cada chat template. El método habla de una serie multironda, mientras el experimento efectivo usa un único turno antes de un único cambio; no evalúa conmutaciones repetidas, estabilidad longitudinal ni personalidad que evoluciona naturalmente. La evidencia estadística es especialmente débil. Se publican puntos únicos sin semillas, repeticiones, intervalos, tests pareados o corrección por la gran cantidad de rasgos, modelos, métodos, métricas y benchmarks. El texto llama «significativas» a diferencias de cuestionario sin test, unidad de muestreo, p-value o intervalo. Tampoco se describen prompts completos, parser y reverse scoring de BFI/IPIP, tratamiento de respuestas inválidas, parámetros de generación, software, hardware, versiones de datasets o comandos de evaluación. La figura 1 contiene además una contradicción verificable: etiqueta una condición como baja Responsabilidad pero usa los descriptores organizada, disciplinada y fiable, iguales a los de alta Responsabilidad, mientras otro ejemplo bajo usa descriptores distintos y coherentes. El artefacto arXiv contiene TeX y figuras estáticas; no hay código, datos, prompts, respuestas, checkpoints ni repositorio público, y el propio paper condiciona la liberación del código a una futura aceptación. La conclusión fiel es acotada: en la configuración principal reportada, instrucciones Big Five cambian mucho lo que Qwen2.5-VL-7B dice de sí mismo y alteran métricas de captioning y VQA; las combinaciones seleccionadas y un cambio de instrucción dentro del historial producen resultados intermedios. No se demuestra personalidad humana, múltiples personalidades, persistencia interna, causalidad del mecanismo, significación estadística ni reproducibilidad independiente.