FinPersona-Bench: A Benchmark for Longitudinal Psychometric Stability of Autonomous Financial Agents

Aplicaciones, sesgos y seguridad2026arXivRevisión editorial aprobada

Autores: Muhammad Usman Safder, Ayesha Gull, Rania Elbadry, Fan Zhang, Yankai Chen, Xueqing Peng, Xue (Steve) Liu, Preslav Nakov, Zhuohan Xie

Palabras clave: Agent behavioral consistency, Financial agents, Mandate re-grounding, Synthetic market simulation, Long-horizon evaluation, Persona prompting, MBTI personas, Big Five personas, Prompt-position effects, Reproducibility

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

9
Autores
8
Hallazgos
12
Limitaciones
6
Evidencias

Resumen editorial

Español

Este preprint introduce FinPersona-Bench para estudiar si agentes financieros basados en LLM mantienen mandatos conductuales a lo largo de una simulación. El artículo cruza 18 modelos, tres prompts financieros asociados a ENTJ, ISFJ e INTJ, tres mercados sintéticos, dos arquitecturas de prompt y cinco semillas durante 200 pasos. El mercado plano evalúa desviación respecto a una fracción de caja fijada por los autores; el crash usa máximo drawdown; y la burbuja usa una regla binaria de compra por debajo y venta por encima de un valor fundamental oculto. La comparación agregada informa que repetir el mandato reduce 12,7% la desviación de caja en el mercado plano y 12,6% el drawdown en el crash, pero empeora 8,8% la regla de valor en la burbuja. El efecto depende fuertemente del prompt y el escenario: en plano, la repetición ayuda al perfil conservador ISFJ en 17 de 18 modelos y perjudica al agresivo ENTJ en 16 de 18. Esta interacción es el resultado descriptivo más útil: reforzar una instrucción puede mejorar o degradar la política según si el mandato es apropiado para el entorno. Sin embargo, la implementación no mide el mecanismo que el trabajo denomina Mandate Salience Decay por acumulación de contexto. El agente static es un predictor sin estado: en cada día hace una llamada nueva, vuelve a enviar la persona completa como mensaje de sistema y añade solo la observación actual y dos valores de cartera. No conserva conversación, racionales ni tokens previos. El agente memory recibe el mismo sistema y además una versión corta e imperativa del mandato en el mensaje de usuario. Por tanto, el contraste identifica efectos de duplicación, posición, redacción y saliencia inmediata del prompt, junto con la trayectoria de la cartera; no demuestra olvido por contexto largo. El aumento 4,4x de la brecha del crash tampoco es una medida directa de saliencia: usa drawdown acumulativo, mercados que cambian de fase y carteras dependientes del camino. Tampoco es una validación psicométrica. MAS mide distancia a objetivos de caja .2, .5 y 1.0 asignados por los autores; el apéndice Big Five prueba dos arquetipos de prompt y un control numérico, sin cuestionario, fiabilidad, estructura factorial ni validez de criterio. La auditoría del repositorio encuentra una deriva grave: el runner público usa tres modelos, 100 días y temperatura .2, frente a 18, 200 y temperatura 0 en el artículo; no soporta las rutas Hugging Face/vLLM declaradas y no publica resultados ni clasificadores. Además, el mercado usa el RNG global de NumPy dentro de diez hilos. Cuarenta construcciones concurrentes con la misma semilla 42 produjeron 40 mercados distintos, mientras cinco secuenciales fueron idénticos. El emparejamiento static/memory por semilla no está garantizado en el orquestador liberado, lo que amenaza los Wilcoxon pareados. Los tests tampoco pasan desde un clon limpio. La conclusión defendible es estrecha: repetir un mandato en el prompt actual cambia de forma heterogénea una política financiera sintética; no se ha demostrado decaimiento psicométrico longitudinal ni pérdida de instrucciones por acumulación de contexto.

English

This preprint introduces FinPersona-Bench to study whether LLM-based financial agents maintain behavioral mandates over a simulation. The paper crosses 18 models, three financial prompts associated with ENTJ, ISFJ, and INTJ, three synthetic markets, two prompt architectures, and five seeds over 200 steps. The flat market measures deviation from an author-assigned cash fraction, the crash uses maximum drawdown, and the bubble uses a binary rule for buying below and selling above a hidden fundamental value. Aggregated results report that repeating the mandate reduces flat-market cash deviation by 12.7% and crash drawdown by 12.6%, but worsens the bubble value-rule score by 8.8%. Effects depend strongly on prompt and scenario. In a flat market, repetition helps the conservative ISFJ prompt in 17 of 18 models and hurts the aggressive ENTJ prompt in 16 of 18. This interaction is the most useful descriptive result: reinforcing an instruction can improve or degrade policy depending on whether the mandate fits the environment. However, the implementation does not measure the mechanism called Mandate Salience Decay through accumulating context. The static agent is a stateless predictor. Each day makes a fresh call, re-sends the complete persona as a system message, and includes only the current observation and two portfolio values. It retains no conversation, rationales, or prior tokens. The memory agent receives the same system prompt and additionally gets a short imperative mandate in the user message. The contrast therefore identifies effects of duplication, position, wording, and immediate prompt emphasis together with portfolio trajectory; it does not demonstrate long-context forgetting. The reported 4.4x widening of the crash gap is also not a direct salience measure because it uses cumulative drawdown, market phases that change over time, and path-dependent portfolios. Nor is this a psychometric validation. MAS is distance from author-chosen cash targets .2, .5, and 1.0. The Big Five appendix tests two prompt archetypes and a numerical control without an inventory, reliability, factor structure, or criterion validation. The repository audit finds major drift: its public runner uses three models, 100 days, and temperature .2, whereas the paper reports 18, 200, and temperature 0. It lacks the stated Hugging Face/vLLM route and publishes no raw results or classifier. The market generator also uses NumPy's global RNG inside ten threads. Forty concurrent constructions labeled seed 42 produced 40 distinct markets, while five sequential constructions were identical. Static-memory pairing by seed is therefore not guaranteed by the released orchestrator, threatening the paired Wilcoxon design. Tests do not pass from a clean clone. The defensible conclusion is narrow: repeating a mandate in the current prompt heterogeneously changes a synthetic financial policy; longitudinal psychometric decay and instruction loss from accumulating context have not been demonstrated.

Pregunta de investigación

¿Mantienen agentes financieros basados en LLM una política compatible con mandatos de riesgo definidos por prompts durante 200 pasos, y cómo cambia su conducta al repetir un mandato corto en cada mensaje de usuario?

Método

Benchmark de simulación factorial. Dieciocho modelos reciben uno de tres prompts MBTI con extensiones financieras y objetivos de caja, y operan en mercados sintéticos plano, crash y burbuja. Compara un agente sin estado que reenvía la persona completa en el sistema en cada llamada con otro que además repite un mandato corto en el usuario. Ejecuta cinco semillas de mercado, 200 pasos y analiza distancia a caja objetivo, drawdown y una regla binaria de valor mediante Wilcoxon pareado. Incluye placebo, dos prompts Big Five, control solo numérico, frecuencia de reinyección, calibración temporal, sensibilidad del crash y análisis lingüístico.

Muestra: Grid principal declarado: 18 modelos, tres prompts de persona, tres escenarios, dos condiciones y cinco semillas; 1.620 simulaciones de 200 pasos, equivalentes a 324.000 decisiones. Los diagnósticos usan subconjuntos de uno a tres modelos y entre tres y cinco semillas.

Hallazgos

  • La repetición del mandato reduce la desviación MAS agregada de .391 a .342 en el mercado plano y mejora el drawdown de -26,18% a -22,89% en el crash.
  • En la burbuja, la misma intervención reduce la puntuación de la regla de valor de 85,9 a 78,4; reforzar un mandato desalineado con el escenario puede perjudicar la conducta definida como racional.
  • En plano, la reinyección ayuda al prompt conservador ISFJ en 17/18 modelos y perjudica al agresivo ENTJ en 16/18, mostrando una fuerte interacción entre contenido del mandato y entorno.
  • Los efectos por modelo son heterogéneos; varios modelos pequeños o abiertos revierten el patrón del crash o sufren costes mayores en la burbuja.
  • El placebo queda descriptivamente cerca de static, pero las comparaciones pooled placebo–memory y static–memory son p=.720 y p=.890; falta una prueba formal de interacción por persona.
  • Los dos arquetipos Big Five reproducen la dirección conservador/agresivo en tres modelos y el control numérico reduce el efecto, compatible con influencia del vocabulario del prompt.
  • La implementación pública no acumula contexto: cada llamada vuelve a recibir toda la persona y solo el estado actual; la condición memory añade redundancia e imperatividad inmediata.
  • El orquestador concurrente no conserva las rutas de mercado por semilla debido al RNG global; el emparejamiento estadístico del código liberado no es reproducible.

Limitaciones

  • No existe historial conversacional ni crecimiento de tokens entre días; por ello el diseño no observa degradación debida a contexto largo.
  • Static y memory difieren a la vez en duplicación, posición, longitud, tono imperativo y contenido del usuario; el placebo no iguala vocabulario o fuerza instruccional.
  • MAS usa objetivos de caja definidos por los autores y no puntuaciones psicométricas; MBTI y Big Five funcionan como plantillas de prompt, no instrumentos validados.
  • Máximo drawdown no mide directamente pánico o caricatura, y la regla binaria de valor impone una definición normativa y gruesa de racionalidad.
  • Las curvas temporales emplean medias y extremos acumulativos, carteras dependientes de la trayectoria y escenarios que cambian de fase, confundiendo tiempo con régimen y acumulación matemática.
  • Los Wilcoxon agregan modelos relacionados, personas y semillas sin modelar clustering ni aplicar una corrección global por las múltiples pruebas.
  • T=200 se elige tras una calibración con muchos horizontes; el propio apéndice reconoce multiple testing implícito y no hay evaluación temporal held-out.
  • El clasificador separa filas aleatoriamente en vez de agrupar por modelo, ejecución o semilla, permitiendo fuga de racionales casi duplicados entre train y validación.
  • El código convierte tras tres errores de proveedor/parser la decisión en HOLD sin una bandera específica; los fallos pueden parecer conducta conservadora.
  • Solo hay un activo, un agente y mercados sintéticos; no hay costes de transacción, slippage, cartera multiactivo, otros agentes ni validación en despliegue real.
  • Los alias de API son mutables, no hay semillas de muestreo del modelo y los resultados/salidas no se publican.
  • El repositorio diverge del artículo, carece de licencia, lock versionado y CI, y sus tests fallan.

Qué no demuestra

  • No demuestra que el mandato pierda saliencia porque se acumule contexto; el contexto de entrada del LLM no crece en la implementación.
  • No valida Mandate Salience Decay como constructo psicométrico ni mide personalidad estable, MBTI o la estructura Big Five.
  • No demuestra que la brecha 4,4x sea olvido longitudinal; puede surgir de drawdown acumulativo, fases del mercado y dependencia de cartera.
  • No identifica de forma aislada el contenido semántico como mecanismo de la reinyección, porque las comparaciones pooled con memory son no significativas y falta interacción formal.
  • No convierte drawdown en una medida validada de panic selling ni la regla P/V en una medida universal de racionalidad financiera.
  • No garantiza que los pares static/memory compartan el mismo mercado en el código concurrente liberado.
  • No permite reproducir las cifras de 18 modelos y 200 días con el runner público de tres modelos y 100 días.
  • No sustenta recomendaciones de trading, gestión fiduciaria o despliegue financiero real.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2606.31522v2; preprint in COLM 2026 style without an identified acceptance

Fuente consultada: https://arxiv.org/pdf/2606.31522

Revisión: Codex 29-page full-text visual, TeX, publication, construct, causal, metric, statistical, repository, executable test, RNG and reproducibility audit, 2026-07-16

Aprobación: Codex fidelity pass, 2026-07-16

Modelos evaluados

  • GPT-4o
  • GPT-4o-mini
  • GPT-4.1
  • GPT-4.1-mini
  • GPT-5-mini
  • GPT-5.4
  • GPT-5.4-mini
  • Claude Haiku 4.5
  • Claude Sonnet 4.6
  • Claude Opus 4.6
  • Gemini 2.5 Flash
  • Gemini 2.5 Pro
  • Gemini 3.1 Pro Preview
  • DeepSeek Chat
  • Llama-3.1-8B-Instruct
  • Gemma-2-9B-it
  • Qwen2.5-7B-Instruct
  • Gemma-3-4B-it
  • DistilBERT auxiliary persona-rationale classifier

Instrumentos y métricas

  • Mandate Adherence Score: absolute deviation from author-assigned cash target
  • Caricature Index: maximum portfolio drawdown
  • Rationality Gap: binary action alignment with hidden fundamental value
  • MBTI-derived persona prompts with financial extensions
  • Two Big Five prompt archetypes and numerical-only ablation
  • Static, placebo and mandate re-injection prompt conditions
  • DistilBERT intended-persona probability
  • Lexical Conflict Rate

Datos utilizados

  • FinPersona-Bench synthetic single-asset market
  • Flat low-signal scenario
  • Crash scenarios with price/value discounts .85, .92 and .95
  • Bull-trap bubble scenario
  • Unreleased model decision and rationale logs

Evidencia y localización

  • Estatus v2, autores corregidos, fecha y alcance declarado: Official arXiv record 2606.31522v2, TeX source and 29-page PDF, checked 2026-07-16
  • Arquitecturas, mercados, prompts, métricas y grid de 18 modelos: arXiv v2, Sections 3-4 and Appendices A-D
  • Resultados agregados, temporales, por persona y por modelo: arXiv v2, Tables 1 and 9-11, Figures 3-5
  • Placebo, Big Five, frecuencia, calibración y clasificador: arXiv v2, Appendices E-H and L
  • Ausencia de contexto acumulado, deriva del runner, RNG concurrente, tests y artefactos: Official repository usmansafdarktk/FinPersona-Bench at commit af2bd7a3ef3a65a12895bb87458b80c753ff12f0
  • Auditoría consolidada de constructo, causalidad, código, datos y reproducibilidad: reports/verification/article-286-arxiv-finpersona-stateless-prompt-reinjection-rng-pairing-code-data-and-claim-audit.json