Elder-Sim: A Psychometrically Validated Platform for Personality-Stable Elderly Digital Twins

Pregunta de investigación

¿Pueden la memoria persistente, un modelo cognitivo estructurado y la adaptación de dominio reducir la deriva aparente de personalidad en agentes sintéticos de cuidados de mayores, medida mediante puntuaciones OCEAN repetidas y separación de roles?

Método

La plataforma usa n8n con inferencia local mediante Ollama/vLLM, perfiles JSON con objetivos OCEAN, memoria corta, MySQL y un CCD que enlaza historia, creencias, estrategias de afrontamiento, disparadores, pensamientos, emociones y conductas. Compara Baseline, +Memory, +CCD y +LoRA en seis perfiles sintéticos, diez escenarios y cinco generaciones por escenario. Una rúbrica no publicada asigna puntuaciones OCEAN de 1 a 5; se informan alfa de Cronbach, ICC de acuerdo absoluto, métricas de clasificación de rol y una puntuación de coherencia no definida en métodos. La configuración general nombra Qwen2.5-14B Q8_0, pero LoRA se entrena sobre Qwen2.5-7B-Instruct de 4 bits con 19.717 pares derivados de CHARLS.

Muestra: Seis perfiles sintéticos, tres de personas mayores y tres de profesionales sanitarios, reciben diez escenarios cinco veces en cada una de cuatro condiciones acumulativas: 300 respuestas por condición y 1.200 en total. No participan personas mayores, pacientes ni profesionales como evaluadores. La unidad exacta de los cálculos de alfa, ICC y clasificación no queda documentada.

Hallazgos

• Las tablas informan alfa media 0,702 en Baseline, 0,705/0,706 con memoria, 0,892 con CCD y 0,940 con LoRA.
• Los ICC publicados crecen de 0,856 a 0,958 y la discriminación de rol de 83,3% a 97,2% entre condiciones acumulativas.
• La memoria sola produce un cambio mínimo de consistencia interna, mientras CCD concentra el mayor incremento informado.
• LoRA obtiene los valores más altos publicados, pero cambia también el modelo base de 14B a 7B y no constituye una ablación aislada.
• La coherencia de respuesta aparece en resultados como 3,2/5, 3,5/5, 4,6/5 y 4,8/5 sin protocolo de medida.
• Los valores expuestos no permiten reproducir las pruebas t ni las p corregidas de la Tabla 13.
• El trabajo aporta un diseño conceptual detallado para separar memoria y estructura cognitiva, pero no un paquete empírico auditable.

Limitaciones

• El trabajo es un preprint no certificado por revisión por pares; medRxiv advierte que no debe orientar práctica clínica.
• La disponibilidad de código es un marcador '[repository URL]' y no un enlace funcional.
• No se publican las 1.200 respuestas, puntuaciones OCEAN, predicciones de rol, matrices de confusión ni datos de análisis.
• Faltan los prompts exactos, la rúbrica conductual y la identidad o naturaleza del evaluador.
• No hay codificación humana ciega, múltiples evaluadores, fiabilidad entre jueces ni criterio externo de personalidad.
• La condición general usa Qwen2.5-14B, pero LoRA se entrena sobre Qwen2.5-7B; el contraste cambia más que el adaptador.
• Las condiciones son acumulativas y no incluyen CCD solo, LoRA solo ni un control 7B emparejado.
• Roles, demografía, ocupación, salud, OCEAN y restricciones de conducta varían juntos entre solo seis perfiles.
• Los objetivos OCEAN y reglas conductuales se incluyen en el prompt, por lo que discriminarlos desde las respuestas no es validación independiente.
• No se define qué elementos y observaciones entran en cada alfa ni se demuestra unidimensionalidad de los diez escenarios heterogéneos.
• El ICC no especifica modelo, unidad, ocasiones, agregación, grados de libertad ni método de intervalo de confianza.
• Los pares ICC/F publicados implican aproximadamente dos mediciones bajo la relación estándar, no las cinco repeticiones declaradas.
• Las cinco generaciones repetidas sin intervalo temporal no equivalen a estabilidad longitudinal de una persona.
• No se informa si la memoria se reinicia entre repeticiones, escenarios, perfiles o condiciones; la retención de respuestas previas podría inflar estabilidad.
• No se declaran orden, aleatorización, contrabalanceo, semillas, fallos, reintentos ni fechas de ejecución.
• La media +Memory es 0,705 en una tabla y 0,706 en otra; los cinco valores visibles promedian 0,706.
• Las pruebas t recalculadas sobre los cinco alfa visibles no coinciden con ninguna de las seis t publicadas.
• Las p publicadas tampoco corresponden a las t y df=4 mostradas después de una corrección Bonferroni de seis comparaciones.
• El df=4 sugiere tratar las cinco dimensiones OCEAN como réplicas, aunque no son unidades experimentales independientes.
• No se define el clasificador, partición de entrenamiento/prueba, promediado multiclase ni denominador de accuracy, precision, recall, F1 o AUC.
• Las accuracies encajan casi exactamente con 30/36, 32/36, 34/36 y 35/36, pero el artículo describe 300 respuestas por condición y nunca define 36 casos.
• La coherencia se introduce solo en resultados, sin rúbrica, evaluador, incertidumbre o análisis.
• Los 19.717 pares CHARLS no incluyen transformación, ejemplos, partición de validación, control de fuga ni criterio de selección de checkpoint.
• Solo se comunica una pérdida final de entrenamiento cercana a 0,05, sin evaluación retenida.
• Faltan revisiones exactas de modelos, versiones de n8n/Ollama/vLLM/Unsloth, hardware, entorno, workflow y snapshot de base de datos.
• No hay análisis factorial, invariancia, validez convergente, discriminante, predictiva, de criterio o ecológica.
• Los agentes son perfiles inventados y no gemelos calibrados con trayectorias longitudinales de individuos reales.
• No participan personas mayores, cuidadores o clínicos para evaluar realismo, utilidad, aceptabilidad o daño.
• No se evalúan crisis, consejo dañino, alucinación, sesgo, edadismo, privacidad o deterioro cognitivo.
• No se documentan revisión ética, consentimiento, desidentificación ni gobernanza para convertir datos derivados de CHARLS en conversaciones de entrenamiento.

Qué no demuestra

• No demuestra validación psicométrica completa; aporta valores de fiabilidad no verificables sin validez externa.
• No prueba que CCD cause la mejora porque las condiciones son acumulativas y LoRA cambia el modelo base.
• No demuestra estabilidad longitudinal de personas mayores reales ni fidelidad de gemelos digitales individuales.
• No valida la discriminación de roles fuera de etiquetas y restricciones insertadas explícitamente en los prompts.
• No sustenta las p de las comparaciones pareadas como pruebas Bonferroni internamente coherentes.
• No permite reproducir la plataforma o los resultados con los materiales públicos actuales.
• No establece realismo clínico, seguridad, eficacia educativa ni utilidad para probar intervenciones.
• No generaliza más allá de seis perfiles sintéticos, diez escenarios, una familia Qwen y un contexto chino de cuidados.
• No demuestra que una respuesta estable sea correcta, no estereotipada o representativa de una persona mayor.
• No prueba que la adaptación CHARLS mejore fidelidad humana porque no hay criterio humano ni control base 7B emparejado.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2604.16343v1; medRxiv DOI 10.64898/2026.03.25.26349036

Fuente consultada: https://arxiv.org/abs/2604.16343

Revisión: Codex 19-page arXiv plus 19-page medRxiv visual full-text, psychometric-validity, model-ablation, statistical, data/code, clinical and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

• Qwen2.5-14B Q8_0 como modelo general declarado
• Qwen2.5-7B-Instruct 4-bit como base distinta de la condición LoRA
• LoRA r=16, alpha=16, exportada a GGUF Q8_0
• Ollama
• vLLM

Instrumentos y métricas

• Big Five/OCEAN programado en escala 1-5
• Cognitive Conceptualization Diagram basado en Beck
• Rúbrica conductual no publicada para puntuar respuestas
• Alfa de Cronbach
• ICC de acuerdo absoluto sin especificación completa
• Accuracy, precision, recall, F1 y AUC de discriminación de roles
• Coherencia de respuesta 1-5 sin método publicado

Datos utilizados

• 19.717 pares de instrucciones derivados de CHARLS, no publicados y disponibles solo bajo solicitud
• 1.200 respuestas sintéticas del experimento, no publicadas
• Seis configuraciones de agentes y diez escenarios estandarizados, no publicados como artefactos ejecutables

Evidencia y localización

• Arquitectura, diseño, tablas, discusión, limitaciones, disponibilidad y referencias: arXiv:2604.16343v1, all 19/19 PDF pages rendered and individually inspected
• Estado de preprint, DOI, fecha, advertencia clínica y persistencia del marcador de repositorio: medRxiv v1 DOI 10.64898/2026.03.25.26349036, all 19/19 PDF pages rendered and individually inspected; Crossref metadata
• Versión arXiv, autores, materias, fecha y licencia: Official arXiv abstract and Atom metadata inspected 2026-07-17
• Ausencia de repositorio identificable: Authenticated GitHub repository and code search for ELDER-SIM and the exact title, inspected 2026-07-17
• Reproducción aritmética, conflicto de modelo, auditoría psicométrica, clínica y de reproducibilidad: reports/verification/article-392-elder-sim-psychometric-validity-model-ablation-statistics-data-code-clinical-and-reproducibility-audit.json