BlossomPsy: A User-Centric AI System for Adaptive and Engaging MBTI Personality Assessments

Evaluación y validez psicométrica2026arXivRevisión editorial aprobada

Autores: Bingjia Huang

Palabras clave: MBTI-M, Adaptive personality assessment, Conversational interface, Photo-based questions, Multi-Head Classifier, Modified UCB, PID tuning, Mixed human-LLM evaluation, Psychometric validity, Metric reproducibility, User experience

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

1
Autores
18
Hallazgos
48
Limitaciones
8
Evidencias

Resumen editorial

Español

BlossomPsy es un prototipo de evaluación MBTI que sustituye parte del cuestionario por conversación abierta y, cuando su estimador considera baja la confianza, muestra pares de imágenes. Dos agentes Doubao formulan preguntas en chino. Un RoBERTa-base compartido alimenta cuatro clasificadores binarios y uno de 16 tipos; una variante de UCB decide qué dimensión explorar y un PID ajusta dos parámetros de la transformación de confianza durante entrenamiento sintético. Trece ítems MBTI-M se convierten en pares visuales mediante tres agentes y supervisión humana; nueve se retienen. Es una idea de interfaz adaptativa, no un instrumento psicométrico validado ni una herramienta clínica.

La comparación principal de arXiv v2 mezcla 12 estudiantes universitarios chinos con nueve participantes simulados mediante Qwen y Doubao. Los 21 completan BlossomPsy y MBTI-M chino. Siete coinciden en cuatro dimensiones, nueve en tres, tres en dos y dos en una; es decir, 16/21 coinciden en al menos tres. No se publican resultados separados para las 12 personas y los nueve LLM. Estos últimos representan el 43 % de la muestra y reciben prompts que les ordenan adoptar un tipo MBTI; su consistencia sirve como stress test del flujo, pero no añade evidencia psicométrica humana. MBTI-M se usa como referencia, no como verdad de personalidad.

La tabla dimensional no es aritméticamente reproducible. Reporta accuracy/F1/κ de 0,76/0,79/0,63 para E/I; 0,67/0,72/0,50 para S/N; 0,95/0,92/0,90 para T/F; y 0,76/0,78/0,62 para J/P. El propio artículo define accuracy como aciertos/(aciertos+errores). En clasificación binaria, accuracy 0,76 permite como máximo κ≈0,546, por lo que 0,63 y 0,62 son imposibles; accuracy 0,67 permite como máximo κ≈0,405, no 0,50. Una enumeración exhaustiva tampoco encuentra matrices 2×2 de 21 casos que reproduzcan esos tripletes. Solo T/F es factible. Si los accuracy redondeados fueran 16/21, 14/21, 20/21 y 16/21, sus intervalos Wilson 95 % serían aproximadamente [0,549;0,894], [0,454;0,828], [0,773;0,992] y [0,549;0,894]. Sin etiquetas, matrices o código, no deben citarse los κ como evidencia fiable.

Existe además deriva sustantiva entre versiones. v1 declaraba 45 participantes, 12 humanos y 33 LLM, y mostraba una distribución por 16 tipos que sumaba 45. Un día después, v2 declara 21, los mismos 12 humanos y solo nueve LLM, y reemplaza esa distribución por una tabla de procedencia. Las cifras de coincidencia, accuracy, F1, κ, el radar de experiencia y las conclusiones permanecen iguales. Los porcentajes de coincidencia encajan exactamente con 7, 9, 3 y 2 de 21, pero no hay explicación de la revisión ni datos para saber qué figuras usan 21, 45 u otros subconjuntos.

La afirmación de mayor satisfacción se apoya solo en un radar sin valores numéricos. No se indica si respondieron 12 humanos, los 21 casos mezclados u otra muestra; faltan ítems, anclajes, medias, dispersión, respuestas individuales, orden, contrabalanceo y tests pareados. El gráfico sugiere una preferencia preliminar de interfaz, pero no establece un aumento estadístico de satisfacción o engagement. Tampoco se reportan tiempo, abandono, errores, accesibilidad o carga cognitiva.

La validación visual está dominada por simulación. Cada uno de los 13 pares recibe diez respuestas humanas y 40 de Qwen; por tanto, 80 % de los 50 votos son sintéticos. Los pares se modifican y vuelven a probar hasta superar 66 %, y los nueve retenidos no se validan en una muestra independiente. Coincidir con el ítem textual mide acuerdo de elección, no que la imagen mida el rasgo MBTI. No hay análisis de ítems, estructura factorial, funcionamiento diferencial o validación de psicólogos. El texto reconoce posibles sesgos visuales por género y cambia figuras según el género del usuario, pero no valida esa regla, no contempla identidades no binarias y no presenta análisis de equidad.

El clasificador se entrena en Personality Cafe, 8.675 usuarios con 50 posts y etiquetas auto-reportadas, y se afina en posts CPME filtrados por palabras supuestamente propias de estudiantes, traducidos al inglés. No se publican tamaños después de filtros, vocabulario de selección, modelo de traducción, splits, índices, seeds o separación por autor. Personality Cafe trata explícitamente MBTI y puede filtrar nombres de tipos; el paper no dice si los elimina ni si segmenta antes de dividir usuarios. CPME tiene etiquetas por usuario; sin split por autor, fragmentos del mismo usuario podrían cruzar entrenamiento y test. También faltan controles de duplicados y asegurar que over/undersampling ocurre solo en training. La fila fuerte de RoBERTa, 0,838/0,920/0,797/0,759, carece de una definición inequívoca de población de test y métrica. Otra tabla publica 84/87/86/81 % en un «contextual setting» diferente que no se especifica.

Las ablaciones usan solo 16 LLM simulados, uno por tipo, sin repeticiones o incertidumbre. El sistema completo muestra más coincidencias que algunas variantes, pero eliminar PID, fotos o mUCB cambia también la información y la ruta conversacional. El PID converge cerca de α=15,57 y β=5,51 en un entorno CPME corrompido; no se compara con grid search o random search, y el propio artículo admite que alternativas simples podrían igualarlo. La convergencia de dos escalares no demuestra calibración, mejor testing adaptativo o necesidad de control PID.

No se encontró código, checkpoint, datos procesados, evaluaciones brutas o scripts estadísticos; el tar de arXiv contiene TeX y figuras. Tampoco se informa consentimiento, revisión ética, compensación, reclutamiento o gobernanza de conversaciones personales. La contribución defendible es un diseño exploratorio de UX y orquestación para hacer un test más conversacional. No demuestra validez MBTI, personalidad real, transferibilidad a Big Five, superioridad causal de sus componentes ni aptitud para clínica, educación, empleo o decisiones de alto impacto.

English

BlossomPsy is an MBTI assessment prototype that replaces part of a questionnaire with open conversation and, when its estimator reports low confidence, image pairs. Two Doubao agents ask questions in Chinese. A shared RoBERTa-base feeds four binary heads and one 16-type classifier; modified UCB chooses which dimension to probe and PID tunes two confidence-transformation parameters during synthetic training. Thirteen MBTI-M items are converted into visual pairs by three agents plus human supervision, and nine are retained. This is an adaptive-interface concept, not a validated psychometric instrument or clinical tool.

The current arXiv v2 comparison pools 12 Chinese university students with nine Qwen/Doubao-simulated participants. All 21 complete BlossomPsy and Chinese MBTI-M. Seven match on four dimensions, nine on three, three on two, and two on one; thus 16/21 match at least three. Results are not separated for the 12 humans and nine LLMs. The latter are 43% of the sample and receive prompts instructing them to adopt an MBTI type; their consistency can stress-test the flow but does not add human psychometric evidence. MBTI-M is a reference, not personality ground truth.

The dimensional table is not arithmetically reproducible. It reports accuracy/F1/kappa of 0.76/0.79/0.63 for E/I, 0.67/0.72/0.50 for S/N, 0.95/0.92/0.90 for T/F, and 0.76/0.78/0.62 for J/P. The paper defines accuracy as correct/(correct+incorrect). In binary classification, accuracy 0.76 permits a maximum kappa of about 0.546, so 0.63 and 0.62 are impossible; accuracy 0.67 permits at most about 0.405, not 0.50. Exhaustive enumeration likewise finds no 21-case 2x2 tables reproducing those metric triplets. Only T/F is feasible. If rounded accuracies correspond to 16/21, 14/21, 20/21, and 16/21, Wilson 95% intervals are approximately [0.549,0.894], [0.454,0.828], [0.773,0.992], and [0.549,0.894]. Without labels, confusion matrices, or code, the kappas should not be cited as reliable evidence.

There is also substantive version drift. Version 1 claimed 45 participants, 12 humans and 33 LLMs, and displayed a 16-type distribution summing to 45. One day later, v2 claims 21, the same 12 humans but only nine LLMs, and replaces that distribution with a source table. Match rates, accuracy, F1, kappa, the experience radar, and conclusions remain unchanged. Match percentages correspond exactly to 7, 9, 3, and 2 of 21, but no revision explanation or data reveals which figures use 21, 45, or other subsets.

The higher-satisfaction claim rests only on a radar chart without numeric values. It does not say whether 12 humans, all 21 mixed cases, or another sample responded; items, anchors, means, spread, individual responses, order, counterbalancing, and paired tests are missing. The chart suggests a preliminary interface preference but does not establish a statistical increase in satisfaction or engagement. Completion time, dropout, errors, accessibility, and cognitive load are also absent.

Visual validation is simulation-dominated. Each of 13 pairs receives ten human responses and 40 Qwen simulations, so 80% of 50 votes are synthetic. Pairs are adapted and re-tested until exceeding 66%, and the nine retained items receive no independent validation. Matching the text item measures choice agreement, not whether the image measures an MBTI trait. No item analysis, factor structure, differential-item functioning, or psychologist validation is reported. The text recognizes gender-related visual bias and changes figures based on user gender, but does not validate the rule, address nonbinary identities, or report fairness analysis.

The classifier trains on Personality Cafe, 8,675 users with 50 posts and self-reported labels, then fine-tunes on CPME posts filtered through purported student words and translated into English. Post-filter sizes, selection vocabulary, translator, splits, indices, seeds, and author separation are unavailable. Personality Cafe explicitly discusses MBTI and can leak type names; the paper does not say whether it removes them or segments before splitting users. CPME labels users; absent an author-level split, fragments from one user may cross train and test. Duplicate controls and training-only over/undersampling are also unspecified. The strong RoBERTa row, 0.838/0.920/0.797/0.759, lacks an unambiguous test population and metric. Another table reports 84/87/86/81% in a different unspecified “contextual setting.”

Ablations use only 16 LLM simulations, one per type, without repetitions or uncertainty. The full system shows more matches than some variants, but removing PID, photos, or mUCB also changes information and conversation paths. PID converges near alpha=15.57 and beta=5.51 in a corrupted CPME environment; it is not compared with grid or random search, and the paper concedes simple alternatives may match it. Two-scalar convergence does not demonstrate calibration, better adaptive testing, or a need for PID control.

No code, checkpoint, processed data, raw evaluations, or statistical scripts were found; the arXiv archive contains TeX and figures. Consent, ethics review, compensation, recruitment, and governance of personal conversations are not reported. The defensible contribution is an exploratory UX and orchestration design for making a test more conversational. It does not establish MBTI validity, real personality, Big Five portability, causal component superiority, or suitability for clinical, educational, employment, or other high-stakes decisions.

Pregunta de investigación

¿Puede una interfaz conversacional MBTI con selección adaptativa de dimensiones y preguntas visuales de fallback aumentar la experiencia percibida manteniendo concordancia preliminar con MBTI-M?

Método

Prototipo con dos agentes Doubao, clasificador RoBERTa multi-head, mUCB y ajuste PID. Compara BlossomPsy con MBTI-M en una muestra combinada de 12 humanos y nueve LLM, usa un radar Likert de UX, valida 13 pares visuales con 10 humanos y 40 simulaciones Qwen, y realiza ablaciones con 16 personas LLM.

Muestra: v2 declara 12 estudiantes universitarios chinos y nueve LLM simulados para consistencia; v1 declaraba 12 y 33. Diez humanos y 40 simulaciones Qwen evalúan cada par visual. Las ablaciones usan 16 LLM, uno por tipo MBTI.

Hallazgos

  • En v2, 7/21 coinciden en cuatro dimensiones y 9/21 en tres.
  • En total, 16/21 coinciden con MBTI-M en al menos tres dimensiones.
  • Los resultados humanos y LLM no se separan.
  • Tres de cuatro pares accuracy-kappa son matemáticamente incompatibles.
  • Accuracy 0,76 no puede producir kappa 0,63 o 0,62 en clasificación binaria.
  • Accuracy 0,67 no puede producir kappa 0,50 en clasificación binaria.
  • La pareja 0,95/0,90 de T/F sí es factible.
  • v1 declaraba 45 participantes y v2 21 sin cambiar resultados.
  • Los porcentajes de coincidencia de v2 equivalen exactamente a 7, 9, 3 y 2 casos.
  • El radar de UX no ofrece valores ni inferencia estadística.
  • 80 % de los votos de validación visual proceden de Qwen.
  • Nueve de 13 pares visuales superan el umbral tras adaptación y retest.
  • No existe validación visual fuera de muestra.
  • La fila más alta del MHC reporta 0,838/0,920/0,797/0,759 sin protocolo reproducible.
  • La tabla contextual del MHC publica otro conjunto 84/87/86/81 %.
  • Las ablaciones son LLM-only y sin repeticiones.
  • PID converge en simulación, pero no se compara con búsqueda simple.
  • La evidencia defendible es de concepto de interacción, no validez psicométrica.

Limitaciones

  • Preprint v2 sin revisión por pares verificada.
  • Solo 12 participantes humanos en la comparación principal.
  • Nueve LLM se mezclan con los humanos en las mismas métricas.
  • No hay resultados separados por procedencia.
  • Los LLM reciben el tipo MBTI objetivo en el prompt.
  • MBTI-M es referencia, no ground truth.
  • Tres valores kappa contradicen las accuracy impresas.
  • No se publican matrices de confusión o etiquetas individuales.
  • No hay intervalos, tests, potencia o corrección de multiplicidad.
  • v1 y v2 discrepan en 45 frente a 21 participantes.
  • Las tablas y figuras no cambian con la reducción de muestra.
  • No se explica la revisión entre versiones.
  • El radar de UX no contiene cifras extraíbles.
  • No se identifica quién respondió el radar.
  • Faltan ítems, anclajes, distribución y respuestas individuales de UX.
  • No hay contrabalanceo u orden aleatorio de MBTI-M y BlossomPsy.
  • No se miden tiempo, abandono, errores o accesibilidad.
  • La validación visual usa solo diez humanos por par.
  • Qwen aporta 40 de 50 votos por par.
  • Selección, adaptación y evaluación visual reutilizan el mismo loop.
  • No existe conjunto visual de confirmación independiente.
  • Acuerdo texto-imagen no valida el constructo MBTI.
  • No hay análisis de ítems o estructura factorial.
  • No participan psicólogos en la validación reportada.
  • La personalización por género no está validada.
  • No se contempla explícitamente género no binario.
  • No hay evaluación de sesgo o equidad.
  • Personality Cafe usa etiquetas auto-reportadas y contexto de personalidad.
  • No se documenta eliminación de nombres de tipos MBTI.
  • No se sabe si el split es por usuario antes de segmentar posts.
  • CPME se filtra con un vocabulario no publicado.
  • No se identifica el sistema de traducción CPME.
  • Faltan tamaños de datasets después de filtros.
  • Faltan splits, índices, seeds y control de duplicados.
  • No se asegura oversampling solo en training.
  • No hay test externo de estudiantes con etiquetas validadas.
  • Las tablas de MHC usan configuraciones no reconciliadas.
  • La confianza no se evalúa con calibración probabilística.
  • La recompensa visual se fija en 1 sin justificar corrección.
  • Las ablaciones usan una sola simulación por tipo.
  • No hay ablación humana o incertidumbre.
  • PID no se compara con grid o random search.
  • No se reportan modelos exactos, parámetros de generación o dependencias.
  • No se encontró código, checkpoint o datos procesados.
  • No hay data-availability statement.
  • No se informa consentimiento o revisión ética.
  • No se documentan privacidad, retención o borrado de conversaciones.
  • La transferibilidad a Big Five no se prueba.

Qué no demuestra

  • Que BlossomPsy sea un test psicométricamente válido
  • Que la concordancia con MBTI-M mida personalidad verdadera
  • Que los kappas publicados sean reproducibles
  • Que los resultados combinados representen a personas
  • Que los LLM simulados aporten validez humana
  • Que BlossomPsy aumente estadísticamente satisfacción o engagement
  • Que los pares visuales midan los rasgos MBTI pretendidos
  • Que la adaptación por género sea justa o segura
  • Que el MHC generalice fuera de los datasets y splits no publicados
  • Que mUCB esté calibrado como confianza psicológica
  • Que PID sea necesario o superior a búsqueda simple
  • Que las ablaciones identifiquen efectos causales estables
  • Que el sistema se transfiera a Big Five sin nueva validación
  • Que sea apto para diagnóstico, consejo, educación o empleo
  • Que el artefacto pueda reproducirse de extremo a extremo

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2607.06149v2; 23-page preprint; PDF, all pages, v1/v2 TeX, publication status, method, metrics, figures, datasets, UX and claim boundaries audited 2026-07-16

Fuente consultada: https://arxiv.org/abs/2607.06149v2

Revisión: Codex 23-page full-text visual, arXiv v1/v2 TeX diff, metric arithmetic, dataset, psychometric, UX, ethics and artifact audit, 2026-07-16

Aprobación: Codex fidelity pass, 2026-07-16

Modelos evaluados

  • Chinese RoBERTa-base encoder
  • BERT classifier baseline
  • XGBoost baseline
  • SVM baseline
  • Doubao-1.5-pro family dialogue agents; exact snapshot not reported
  • Qwen2.5-VL/Qwen family simulated users; exact snapshot not reported
  • Unspecified interpreter, image-generator and monitor LLMs

Instrumentos y métricas

  • Chinese MBTI-M reference scale
  • Four binary MBTI dimensions and one 16-class head
  • Multi-Head Classifier
  • Modified UCB and LCB intervals
  • PID tuning of alpha and beta
  • Five-dimension Likert UX radar
  • Text-photo response agreement threshold of 0.66
  • Accuracy, F1 and Cohen kappa
  • Wilson interval sensitivity audit

Datos utilizados

  • Personality Cafe Kaggle: 8,675 users with 50 posts and self-reported MBTI labels
  • CPME: 11,338 Weibo users and 566,900 posts with user-level MBTI and affect labels
  • Unreleased filtered and translated CPME college-language subset
  • 21-case mixed MBTI-M consistency comparison in v2
  • 13 generated photo pairs; nine retained
  • 16 LLM-only ablation trajectories
  • No released code, processed data, raw labels, ratings or outputs

Evidencia y localización

  • Método, resultados, figuras, apéndices y limitaciones: arXiv:2607.06149v2 PDF, 23 pages; every page rendered and visually inspected
  • Versión, fecha, categoría y estado editorial: Official arXiv record for 2607.06149v2
  • Deriva de 45 a 21 participantes: Line-by-line TeX diff between arXiv v1 source sha256:45dab150 and v2 source sha256:6884c54f
  • Incompatibilidad accuracy-kappa e intervalos descriptivos: Exhaustive binary confusion-matrix and Wilson interval audit from printed Table 2, 2026-07-16
  • Tamaño y estructura de CPME: Official arXiv:2411.08347 record
  • Estructura y riesgo de leakage de Personality Cafe: Cited Kaggle dataset description and published user-level dataset documentation
  • Ausencia de publicación y repo oficial: Exact-title arXiv, OpenReview and GitHub searches checked 2026-07-16
  • Auditoría consolidada: reports/verification/article-280-blossompsy-mbti-mixed-human-llm-kappa-arithmetic-version-drift-psychometric-code-data-and-ux-audit.json