Investor risk profiles of large language models

Aplicaciones, sesgos y seguridad2026arXivRevisión editorial aprobada

Autores: Hanyong Cho, Geumil Bae, Jang Ho Kim

Palabras clave: Persona conditioning, Psychometrics

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

3: Autores
8: Hallazgos
31: Limitaciones
5: Evidencias

Resumen editorial

Español

El estudio administra cien veces un cuestionario Charles Schwab de siete ítems a GPT-4o, Gemini 1.5 Pro y Llama 3.1-70B, reiniciando la conversación en cada repetición. Bajo el prompt genérico, GPT produce la mayor puntuación media de riesgo y variabilidad, Gemini una respuesta moderada y constante, y Llama la puntuación más conservadora de los tres. Después añade por separado etiquetas de apetito de riesgo, edad, riqueza o experiencia; las puntuaciones aumentan con 'risk-seeking', juventud, mayor riqueza y experiencia. Esto demuestra sensibilidad al prompt, pero no un perfil inversor latente: la intervención nombra directamente el riesgo deseado y las otras etiquetas solapan con preguntas sobre horizonte, conocimiento y activos. Las cien ejecuciones son muestras de un endpoint fijo, no cien inversores, y faltan fechas, proveedores, parámetros, prompts exactos, salidas, código y datos. Las tablas muestran 224 p-valores sin corrección, grupos con varianza cero y `nan` descrito incorrectamente como aceptación de la hipótesis nula. La evidencia procede de un póster de un workshop no archival y no evalúa inversores reales, asesores, carteras, adecuación regulatoria ni daño financiero. Debe leerse como un caso de sensibilidad de respuestas de cuestionario a modelo y persona, no como validación de perfilado o asesoramiento personalizado.

English

The study administers a seven-item Charles Schwab questionnaire one hundred times to GPT-4o, Gemini 1.5 Pro and Llama 3.1-70B, starting a new conversation for each repetition. Under the generic prompt, GPT has the highest mean risk score and variability, Gemini gives a moderate and constant response, and Llama is the most conservative of the three. The paper then separately adds labels for risk appetite, age, wealth or experience; scores rise with 'risk-seeking', youth, greater wealth and experience. This demonstrates prompt sensitivity, not a latent investor profile: the intervention directly names the desired risk direction, while the other labels overlap questions about horizon, knowledge and owned assets. One hundred runs are samples from a fixed endpoint, not one hundred investors, and dates, providers, settings, exact prompts, outputs, code and data are missing. The tables display 224 p values without correction, contain zero-variance groups and incorrectly describe `nan` as acceptance of the null hypothesis. The evidence comes from a poster at a non-archival workshop and does not evaluate real investors, advisors, portfolios, regulatory suitability or financial harm. It should be read as a case study of questionnaire-response sensitivity to model and persona wording, not as validation of profiling or personalized advice.

Pregunta de investigación

¿Difieren las distribuciones de respuesta de GPT-4o, Gemini 1.5 Pro y Llama 3.1-70B en un cuestionario de perfil inversor, y cambian cuando el prompt especifica apetito de riesgo, edad, riqueza o experiencia?

Método

Se formulan secuencialmente siete preguntas de opción múltiple del cuestionario de perfil inversor de Charles Schwab: dos generan una puntuación de horizonte y cinco una puntuación de tolerancia al riesgo. Cada cuestionario se repite cien veces por modelo y condición, con conversación nueva. Además del prompt genérico, se varía un solo atributo: tres niveles de riesgo, cuatro décadas de edad, tres niveles cualitativos de riqueza y tres niveles de experiencia. Se comparan medias y perfiles más frecuentes mediante ANOVA y Kruskal-Wallis.

Muestra: Cien conversaciones nuevas por modelo y condición. El diseño implica 4.200 cuestionarios: 300 bajo el prompt genérico y 3.900 bajo trece condiciones de persona. La unidad observada es una generación estocástica de un endpoint fijo; no hay personas, asesores, modelos entrenados independientemente ni olas temporales de replicación.

Hallazgos

Las medias por defecto de horizonte/riesgo son 16,86/24,68 para GPT, 18,00/20,00 para Gemini y 17,69/19,68 para Llama.
Gemini produce el mismo perfil por defecto en las cien repeticiones, Llama varía algo y GPT muestra la mayor dispersión bajo parámetros no publicados.
El prompt de riesgo mueve la media de tolerancia desde aproximadamente 9-11 en risk-averse hasta 34-39 en risk-seeking en los tres modelos.
La condición de 20s obtiene la puntuación de riesgo más alta y la de 50s la más baja en los tres modelos, aunque Llama no es monotónico entre 30s y 40s.
Las puntuaciones de riesgo aumentan con las etiquetas cualitativas de riqueza en los tres endpoints.
La ausencia de experiencia reduce fuertemente la puntuación frente a experiencia parcial o profesional.
Los resultados sustentan que modelo, redacción y persona alteran respuestas; no distinguen internalización de cumplimiento semántico.
El propio artículo recomienda cautela ante el uso de LLM en asesoramiento financiero personalizado.

Limitaciones

Los modelos reciben la instrucción de suponer que son inversores; las salidas son role-play y no preferencias poseídas por el sistema.
El supuesto perfil por defecto depende de una única redacción, orden, endpoint y protocolo y no se prueba como rasgo estable.
Risk-averse, risk-neutral y risk-seeking especifican directamente la dirección que luego mide el cuestionario.
Edad, riqueza y experiencia solapan semánticamente con ítems sobre horizonte, conocimiento y activos, por lo que el efecto puede ser eco de contenido.
Solo se modifica un atributo cada vez; no hay perfiles interseccionales, conflictos entre rasgos ni interacciones.
Riqueza inferior/media/superior y experiencia parcial/profesional carecen de definiciones monetarias, geográficas o conductuales.
La edad se limita a 20s-50s y excluye a inversores mayores.
Se utiliza un único cuestionario comercial de siete ítems, sin formas alternativas, reordenamiento, paráfrasis o validación psicométrica para salidas de modelos.
El snapshot 2024 y su puntuación exacta no se archivan; la URL actual de Schwab se carga dinámicamente.
No hay muestra humana, asesores autorizados, perfiles conocidos, conducta observada ni criterio externo de adecuación.
No se evalúan recomendaciones de cartera, retornos, pérdida, explicación, restricciones o correspondencia entre puntuación y producto.
Cien completados de un endpoint miden su distribución estocástica, no cien inversores ni incertidumbre entre modelos entrenados.
Faltan temperatura, top-p, semillas, mensajes de sistema, límites, manejo de respuesta inválida, reintentos y conteos de fallo.
No se publican proveedor, API, fecha, región o runtime; Gemini es un alias mutable y Llama no especifica checkpoint, cuantización o servidor.
Solo se resumen las siete preguntas; no se publican los mensajes exactos por turno ni la implementación de puntuación.
No se publican respuestas, conversaciones, puntuaciones por cuestionario, código, entorno, logs o archivos de análisis.
No se reconcilian explícitamente los 4.200 cuestionarios y 29.400 turnos implícitos ni posibles datos ausentes.
ANOVA se informa pese a datos ordinales, varianza mínima/cero y rechazo de homogeneidad; la prueba de Levene no se muestra.
Kruskal-Wallis no prueba en general igualdad de medianas sin supuestos adicionales, pese a esa descripción en el texto.
La nota de Tabla 9 interpreta `nan` como aceptación de la hipótesis nula; un estadístico indefinido no permite aceptar H0.
Gemini-riesgo-Q7 muestra ANOVA `nan` y Kruskal-Wallis 0,0000, contradiciendo una lectura uniforme de `nan` como no diferencia.
Las tablas 4 y 9 contienen 56 y 168 p-valores, 224 en total, sin corrección por multiplicidad ni jerarquía confirmatoria.
Los valores 0,0000 son redondeos, no probabilidades exactamente cero, y no se dan umbrales o mayor precisión.
Faltan tamaños de efecto, intervalos de confianza, incertidumbre de medias y procedimientos post-hoc.
Las pruebas solo generalizan, como máximo, a ejecuciones del endpoint y configuración fijos, no a familias, versiones, proveedores o tiempos.
La inferencia financiera confunde preferencia de riesgo con capacidad de asumir pérdidas, aunque la introducción distingue ambos conceptos.
Edad, riqueza y experiencia no bastan para adecuación: faltan objetivos, ingresos, deudas, liquidez, dependientes, fiscalidad y jurisdicción.
Los patrones pueden reforzar estereotipos simples, joven, rico o experto implica más riesgo, sin estudiar equidad, excepciones o daño.
No se evalúan calibración, falsos perfiles arriesgados/conservadores, prompts contradictorios, inyección, abstención o escalado humano.
La presentación fue un póster en un workshop no archival sin proceedings oficiales, no un artículo de actas ACM.
No hay sección de disponibilidad de datos/código, repositorio de autores o apéndice suplementario identificable.

Qué no demuestra

No establece personalidades o preferencias inversoras estables dentro de los modelos.
No demuestra inferencia correcta de un perfil humano no declarado; los atributos se entregan explícitamente.
No separa personalización genuina de obediencia a etiquetas y eco entre prompt e ítems.
No valida psicométricamente el cuestionario para LLM ni compara perfiles con personas o expertos.
No demuestra capacidad financiera, adecuación regulatoria o calidad de una recomendación de cartera.
No prueba seguridad, beneficio, calibración o ausencia de daño en asesoramiento real.
No generaliza entre prompts, orden, idiomas, instrumentos, checkpoints, proveedores o fechas.
No convierte cien muestras de una API en cien inversores o réplicas independientes de un modelo.
No permite reproducir puntuaciones y p-valores sin salidas, prompts, parámetros, código y archivos de análisis.
No justifica que personas jóvenes, ricas o expertas deban recibir automáticamente recomendaciones más arriesgadas.
No constituye una publicación archival en proceedings de ICAIF.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2603.09303v2; poster at AI for Finance Symposium '25 (non-archival)

Fuente consultada: https://arxiv.org/abs/2603.09303

Revisión: Codex 6-page visual full-text, prompt-construct, sampling, statistical, financial-suitability, data/code and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

GPT-4o, snapshot gpt-4o-2024-08-06
Gemini 1.5 Pro, alias gemini-1.5-pro
Llama 3.1 70B, identificador llama3.1-70b

Instrumentos y métricas

Cuestionario Charles Schwab de perfil inversor, versión 2024 según los autores
Dos ítems y puntuación de horizonte temporal
Cinco ítems y puntuación de tolerancia al riesgo
Prompts de apetito de riesgo, edad, riqueza y experiencia
ANOVA y prueba de Levene mencionada pero no publicada
Kruskal-Wallis sobre respuestas ordinales

Datos utilizados

300 cuestionarios por defecto, 100 por cada uno de tres endpoints, no publicados
3.900 cuestionarios condicionados por trece valores de persona y tres endpoints, inferidos del diseño pero no reconciliados en el artículo
Hasta 29.400 respuestas individuales implícitas en 4.200 cuestionarios de siete ítems, sin publicación ni registro de fallos
Snapshot del cuestionario Schwab 2024 no archivado con los materiales

Evidencia y localización

Método, prompts, instrumento, tablas, figuras, resultados, conclusión y referencias: arXiv:2603.09303v2, all 6/6 PDF pages rendered and individually inspected
Versiones, fechas, licencia y comentario de presentación: Official arXiv abstract and Atom metadata inspected 2026-07-17
Condición de póster y carácter no archival sin proceedings: Official AI for Finance Symposium '25 event and accepted-papers page inspected 2026-07-17
Ausencia de repositorio identificable y materiales de reproducción: Official arXiv e-print PDF plus authenticated GitHub repository/code searches inspected 2026-07-17
Auditoría de constructo, eco de prompt, unidad inferencial, estadística, adecuación financiera y reproducibilidad: reports/verification/article-394-investor-risk-profile-prompt-echoing-pseudoreplication-statistics-financial-suitability-data-code-and-reproducibility-audit.json