Math Education Digital Shadows for facilitating learning with LLMs: Math performance, anxiety and confidence in simulated students and AIs

Aplicaciones, sesgos y seguridad2026arXivRevisión editorial aprobada

Autores: Naomi Esposito, Anthony Tricarico, Luisa Porzio, Ali Aghazadeh Ardebili, Massimo Stella

Palabras clave: Math Education Digital Shadows, Mathematics education, Persona conditioning, Synthetic students, Math anxiety, Mathematics self-efficacy, Psychometric scales, Forma mentis networks, Confidence calibration, Overconfidence, Dataset integrity, Reproducibility

Fuente:Abrir fuente primaria (abre en una pestaña nueva)

5
Autores
11
Hallazgos
20
Limitaciones
3
Evidencias

Resumen editorial

Español

Este preprint presenta MEDS, un corpus para estudiar cómo 14 carpetas nominales de LLM responden sobre matemáticas en dos condiciones: como asistente de IA sin persona o representando una persona sintética con sociodemografía, materias favoritas y rechazadas y rasgos OCEAN. Cada ejecución pretende conservar cinco JSON que cubren cuatro tareas: una entrevista de siete preguntas; tres escalas de autoeficacia y ansiedad con justificaciones; dos lotes de asociaciones semánticas; y 18 problemas de opción múltiple con explicación y confianza. El valor real del trabajo es el corpus abierto: permite inspeccionar prompts, respuestas, puntuaciones, asociaciones y metadatos, y comparar descriptivamente familias y modos. La validación del artículo encuentra distribuciones más variadas al usar personas, asociaciones negativas con matemáticas en algunos modelos, salidas clasificadas como falacias y brechas entre exactitud y confianza. Estas observaciones describen texto generado, no validan que los perfiles se comporten como estudiantes reales. No hay participantes humanos ni contraste con una población, y tampoco se presentan fiabilidad, estructura factorial, invariancia o validez criterial de las escalas cuando las responde un LLM. EmoAtlas mide léxico emocional y el clasificador DistilBERT etiqueta texto; ninguno demuestra emoción sentida, ansiedad, cognición o falacias adjudicadas humanamente. La auditoría integral de las 34 páginas, la fuente TeX y el commit público encuentra 139.948 JSON válidos, no 140.000. Hay 28.000 ejecuciones iniciadas, pero sólo 27.987 completas: trece ejecuciones humanas de Granite conservan únicamente la entrevista. De las 55.974 respuestas de asociaciones, 194 incumplen los 25 términos exigidos; nueve registros matemáticos sustituyen identificadores de preguntas por valores como 20, 45, 80, 200 o 360; 23 respuestas carecen de razonamiento y 59 resúmenes finales están vacíos. El CSV de escalas sí reproduce exactamente los 27.987 registros completos y 1.287.402 ítems. En cambio, el CSV demográfico tiene 27.543 personas, de las que sólo 21.004 pertenecen a ejecuciones humanas completas; 6.539 son restos fuera de la selección e incluyen dos modelos ausentes del corpus final. Diez carpetas mezclan alias de modelo o endpoints, sin digest que fije el checkpoint. El único código liberado es un notebook de generación sin ejecutar: fija `ROLE_MODES` a dos valores `human`, genera 1.800 sesiones con semilla nula y un modelo placeholder, por lo que no puede producir las 6.983 ejecuciones base LLM, los 14 entornos exactos, la selección, la limpieza ni las figuras. Tampoco se publica el código de corrección BERT, EmoAtlas, clasificación de falacias, redes, estadística o calibración. La Figura 8 presenta otra ruptura de trazabilidad: la exactitud pública reproduce 13 de 14 barras, pero ninguna barra de confianza coincide con el promedio de `(puntuación-1)/4` definido en el apéndice; Grok da 0,942 en los JSON frente a 0,884 en el SVG y Mistral Small 4 da 0,755 frente a 0,508. Ministral 3B muestra exactitud 0,350 en la figura, pero 0,486 en el corpus actual. Además, el problema 18 usa BD en la proporción y entrega BC como dato, de modo que la respuesta publicada presupone una corrección no escrita. MEDS es útil como colección sintética para auditorías exploratorias y diseño de herramientas, pero no demuestra realismo humano, eficacia educativa, seguridad de tutores ni diferencias reales entre grupos.

English

This preprint introduces MEDS, a corpus for studying how 14 nominal LLM folders respond about mathematics under two conditions: as a persona-free AI assistant or while role-playing a synthetic person with sociodemographics, favourite and disliked subjects, and OCEAN traits. Each run is intended to preserve five JSON artifacts covering four tasks: a seven-question interview; three self-efficacy and anxiety scales with justifications; two semantic-association batches; and 18 multiple-choice problems with explanations and confidence. The genuine contribution is the open corpus: it exposes prompts, answers, ratings, associations and metadata for descriptive comparisons across families and modes. The paper reports more varied score distributions under personas, negative mathematics associations in some models, classifier-labelled fallacies and accuracy-confidence gaps. These findings characterize generated text; they do not validate the profiles as realistic students. There are no human participants or population comparisons, and no reliability, factor structure, measurement invariance or criterion validity is reported for treating LLM scale responses as psychometric measurements. EmoAtlas measures emotional vocabulary and DistilBERT labels text; neither establishes felt emotion, anxiety, cognition or human-adjudicated fallacies. Full audit of all 34 pages, TeX source and the public commit finds 139,948 valid JSON files rather than 140,000. There are 28,000 started runs but only 27,987 complete runs: thirteen human-mode Granite runs preserve only the interview. Of 55,974 association outputs, 194 violate the required 25 cues; nine mathematical records replace expected question identifiers with values such as 20, 45, 80, 200 or 360; 23 answers have no reasoning and 59 final summaries are empty. The scale CSV exactly mirrors the 27,987 complete records and 1,287,402 items. In contrast, the demographics CSV has 27,543 personas, only 21,004 of which belong to complete human-mode runs; 6,539 are outside the selection and include two models absent from the final corpus. Ten folders mix model aliases or endpoints without checkpoint digests. The only released code is an unexecuted generation notebook: ROLE_MODES contains human twice, it requests 1,800 sessions with no seed and uses a placeholder model, so it cannot produce the 6,983 baseline LLM runs, the exact 14 environments, selection, cleaning or figures. Code for BERT correction, EmoAtlas, fallacy classification, networks, statistics and calibration is absent. Figure 8 has a further lineage break: public accuracy reproduces 13 of 14 bars, but none of the confidence bars equals the stated mean transformation `(score-1)/4`; Grok is 0.942 in released JSON versus 0.884 in the SVG, and Mistral Small 4 is 0.755 versus 0.508. Ministral 3B accuracy is 0.350 in the figure but 0.486 in the current corpus. Mathematical item 18 also uses BD in its proportion while supplying BC, so the published answer assumes an unwritten correction. MEDS is useful as a synthetic collection for exploratory audits and tool design, but it does not establish human realism, educational effectiveness, tutor safety or real group differences.

Pregunta de investigación

¿Cómo construir y describir un corpus multimodal de respuestas sintéticas que permita comparar rendimiento matemático, confianza declarada, ansiedad, autoeficacia, explicaciones y asociaciones semánticas de distintos LLM bajo modos de asistente y de persona humana simulada?

Método

Para cada una de 14 carpetas nominales de modelo se seleccionan 2.000 identificadores de ejecución, aproximadamente 1.500 en modo persona humana y 500 en modo LLM. En modo humano se genera un perfil con edad, género, orientación sexual, ciudad, empleo, educación, familia, migración, religión, hobbies, materias y OCEAN; en modo LLM la persona es nula. Cuatro llamadas secuenciales producen una entrevista de siete preguntas, las escalas MAES/MSES, AMAS y MSEAQ, 50 asociaciones divididas en dos lotes y 18 problemas MSES-R. El manuscrito describe reparación JSON, controles estructurales, similitud BERT, EmoAtlas, redes forma mentis, un clasificador DistilBERT de falacias y comparación descriptiva de exactitud y confianza. La auditoría leyó visualmente las 34 páginas, inspeccionó TeX, commit y notebook, censó los 139.948 JSON, concilió los CSV procesados y el manifest de IDs, reprodujo exactitudes y recalculó la confianza con la fórmula publicada.

Muestra: No hay estudiantes ni participantes humanos. El corpus público inicia 28.000 ejecuciones: 21.017 en modo persona humana y 6.983 en modo asistente LLM. Trece ejecuciones humanas de Granite quedan incompletas, por lo que la muestra analizable de las cuatro tareas es 27.987: 21.004 humanas simuladas y 6.983 LLM. Todas las carpetas usan 1.500/500 salvo Mistral Small 4, con 1.517/483. Los perfiles son combinaciones aleatorias del generador, no personas observadas ni una muestra representativa.

Hallazgos

  • Los 139.948 JSON públicos se parsean; representan 28.000 entrevistas, pero sólo 27.987 ejecuciones completas.
  • Trece ejecuciones humanas de Granite tienen sólo call1 y faltan sus otros 52 archivos.
  • El CSV de escalas contiene exactamente los 1.287.402 ítems esperados para 27.987 ejecuciones completas, sin claves duplicadas ni ratings fuera de 1-5.
  • Ciento noventa y cuatro lotes de asociaciones contienen 20 o 24 términos en vez de 25.
  • Nueve call4 sustituyen diez IDs esperados; hay 23 razonamientos vacíos y 59 reasoning_summary vacíos.
  • El CSV demográfico mezcla 21.004 personas finales con 6.539 personas fuera de la selección.
  • Diez carpetas combinan alias o endpoints, por lo que una carpeta no siempre equivale a un checkpoint inmutable.
  • El notebook público sólo genera modo humano y no contiene el pipeline de limpieza, validación o análisis.
  • Trece barras de exactitud de la Figura 8 se reproducen exactamente; Ministral 3B cambia de 0,350 a 0,486 en el corpus actual.
  • Ninguna de las 14 barras de confianza coincide con la media reescalada definida por el artículo.
  • Las personas inducen variabilidad en respuestas, pero no se demuestra que esa variabilidad sea realista o humana.

Limitaciones

  • Es un preprint arXiv v1 y no consta revisión por pares o aceptación.
  • No hay participantes humanos, estudiantes reales, resultados educativos ni comparación poblacional.
  • Las escalas psicométricas se administran a LLM y no se valida su fiabilidad, estructura, invariancia o equivalencia humana.
  • El papel alterna MSES y MAES para la escala de nueve ítems.
  • EmoAtlas y DistilBERT miden o clasifican texto, no emoción, ansiedad, cognición o falacias verificadas.
  • El corte de falacias al percentil 85 se selecciona por inspección visual y no se valida con anotación humana del corpus.
  • No se publican los intentos fallidos ni un manifest de regeneración que permita reconstruir descartes.
  • El corpus conserva 13 ejecuciones incompletas y 194 lotes semánticos que la limpieza descrita debería excluir.
  • Nueve juegos matemáticos tienen IDs sustituidos; 23 respuestas no tienen razonamiento y 59 resúmenes están vacíos.
  • El CSV demográfico contiene 6.539 personas ajenas al conjunto final y dos modelos no incluidos.
  • Diez carpetas mezclan identificadores o endpoints y varios alias latest son mutables.
  • El único notebook fija human/human, 1.800 runs, seed None y un modelo placeholder.
  • No se libera código de BERT, limpieza, reverse scoring, EmoAtlas, falacias, redes, estadística o figuras.
  • No hay LICENSE global, requirements, lockfile, tests, CI, tag de release o regresiones numéricas.
  • Las 14 medias de confianza de la Figura 8 no son reproducibles con la fórmula publicada.
  • La exactitud de Ministral 3B refleja una instantánea distinta de los datos públicos actuales.
  • El ítem 18 usa una variable no proporcionada y requiere asumir que BD debía ser BC.
  • La confianza ordinal se transforma linealmente sin curvas de calibración, Brier score o ECE.
  • Las asociaciones y rasgos demográficos pueden amplificar estereotipos de los datos de entrenamiento.
  • El artículo no demuestra mejora de aprendizaje, seguridad de tutor ni aptitud para despliegue con estudiantes.

Qué no demuestra

  • Que las personas MEDS representen estudiantes, grupos demográficos o poblaciones reales.
  • Que una ejecución sea un gemelo digital, un individuo persistente o un modelo validado de alumno.
  • Que variabilidad inducida por prompts equivalga a diversidad psicológica humana.
  • Que ratings de un LLM midan ansiedad, autoeficacia, confianza o personalidad con validez psicométrica.
  • Que vocabulario emocional implique emociones sentidas por el modelo.
  • Que las etiquetas automáticas sean falacias reales sin validación humana.
  • Que reasoning o reasoning_summary revelen razonamiento interno fiel.
  • Que los atributos de persona causen los resultados observados.
  • Que las carpetas correspondan a 14 checkpoints homogéneos e inmutables.
  • Que el código publicado regenere el corpus, la limpieza o las figuras.
  • Que la Figura 8 sea reproducible desde la instantánea pública con la fórmula descrita.
  • Que MEDS mejore aprendizaje, reduzca daño o valide un tutor para uso real.

Trazabilidad

Alcance: Texto completo

Versión: arXiv:2604.27618v1; repository commit 78259c2c7643f9438af5ad39cc69a9ffd07b06b7

Fuente consultada: https://arxiv.org/abs/2604.27618

Revisión: Codex 34-page visual full-text, TeX, 139,948-JSON census, CSV lineage, notebook, model-identity, psychometric, calibration and reproducibility audit, 2026-07-17

Aprobación: Codex fidelity pass, 2026-07-17

Modelos evaluados

  • DeepSeek Chat
  • Grok 4.1 Fast Reasoning
  • IBM Granite 4 H Tiny aliases
  • Microsoft Phi-4 Reasoning Plus aliases
  • Qwen3 4B Instruct 2507 aliases
  • Qwen3 4B Thinking 2507 aliases
  • Qwen3 4B Uncensored Unslop v2 aliases
  • Qwen3.5 9B aliases
  • Ministral 3B local aliases
  • Ministral 14B API and local reasoning aliases
  • Mistral Small 3.2 across API, LM Studio and Ollama aliases
  • Mistral Small latest, labelled Mistral Small 4
  • Magistral Small API and local aliases
  • ANITA-NEXT 24B Dolphin Mistral uncensored Italian

Instrumentos y métricas

  • Seven-question open mathematics interview
  • Nine-item Mathematics Self-Efficacy Scale, named MSES in the paper and MAES in code/data
  • Nine-item Abbreviated Math Anxiety Scale
  • Twenty-eight-item Mathematics Self-Efficacy and Anxiety Questionnaire
  • Fifty free-association cues with 1-5 valence
  • Eighteen-item MSES-R multiple-choice problem set
  • Synthetic persona generator with OCEAN scores
  • BERT semantic-similarity correction described at threshold 0.85
  • EmoAtlas emotional profile extraction
  • DistilBERT Base Fallacy Classification model with visually selected 85th-percentile cutoff
  • Behavioral forma mentis networks
  • Linear confidence rescaling and answer-key accuracy

Datos utilizados

  • 139,948 released original JSON files across 14 model folders
  • 28,000 started run IDs and 27,987 complete five-file runs
  • 21,004 complete human-mode and 6,983 complete LLM-mode runs
  • persona_dataset.csv with 27,543 rows, including 6,539 outside the selected corpus
  • filtered_run_ids.json with 2,000 unique IDs per folder, including 13 incomplete Granite runs
  • call2_dataset.csv with 1,287,402 scale-item rows
  • 55,974 call3 association batches and 27,987 call4 problem sets
  • Per-run task-3 edge-list CSV files

Evidencia y localización

  • Texto completo, tareas, validación, límites, instrumentos, esquema y disponibilidad: arXiv:2604.27618v1; PDF sha256 5d8b4ae6ea7896bcfc6650008c3ac33dace9400b5b1df82d7fd01cf1f4f87f90
  • Corpus, CSV, manifest, notebook, identidades de modelo y figuras: GitHub MassimoStel/MEDS commit 78259c2c7643f9438af5ad39cc69a9ffd07b06b7; tree 470ed5b6908902d00df5d566a54dd5dcff28eb1a
  • Censo de 139.948 JSON, contratos de tareas, métricas y conciliación de procesados: reports/verification/article-356-meds-corpus-schema-psychometric-calibration-code-and-reproducibility-audit.json