ChildEval: When large language models meet children's personalities

ChildEval, published in Findings of ACL 2026, is a benchmark of synthetic child-preference following, not a psychological test of children's personalities despite its title. Its useful question is whether an LLM can remember and infer a preference for a synthetic 3-to-6-year-old profile when the preference is stated explicitly or expressed implicitly in a dialogue and then separated from the query by irrelevant sessions. The pipeline claims 29,000 Chinese personas generated with Qwen2.5-72B. Two persona-conditioned preferences per persona yield 58,000 candidates, of which FAISS semantic filtering retains about 46,000. The same model generates a query and a 6-to-10-exchange child-assistant dialogue for each preference; English is machine-translated from Chinese. Five areas and fourteen subtopics cover art, cognition, nutrition and activity, language, and social-emotional development. Real WildChat-1M user-LLM logs are inserted as distractors to create contexts up to 50 rounds or about 21,000 tokens. Qwen2.5-3B, Qwen3-4B, LLaMA3.1-8B, Mistral-7B, and DeepSeek-R1 are evaluated through prompting with and without persona, LoRA fine-tuning, and a Persona Steer Model. Preference Consistency derives from binary acknowledgement, violation, hallucination, and helpfulness judgments. Child-Oriented Evaluation adds Emotional Adaptation, Interaction Scaffolding, Developmental Appropriateness, and Engagement, also judged by an LLM. Reported results suggest that implicit preferences are usually harder than explicit statements and that irrelevant context often reduces consistency, although several curves are non-monotonic. Persona injection improves every selected five-distractor bar: Qwen3-4B rises from 78.7% to 89.1% on explicit data, while Qwen2.5-3B changes only from 75.7% to 75.8% on implicit data. Developmental Appropriateness is near ceiling for many models, while Interaction Scaffolding is much weaker, including 35.8% for Qwen2.5-3B without persona on explicit data. LoRA and PSM improve several metrics, especially scaffolding, but error analysis shows a trade-off: preference-unaware failures decrease while inconsistent or unhelpful responses increase. Human validation covers only 600 examples and raw agreement percentages. Qwen2.5-72B versus human reaches 88.83% overall PC and DeepSeek-R1 87.67%; COE dimensions reach 96.5-99.67%. This is not psychometric reliability. The paper does not report annotator count, recruitment, expertise, compensation, human instructions, label prevalence, human-human agreement, adjudication, kappa, or uncertainty. Near-99% agreement on binary criteria may be driven by class imbalance. Qwen2.5-72B also generates personas, preferences, dialogues, translations, and judge labels, creating stylistic dependence and circularity; DeepSeek is a second judge, not an independent human or behavioral criterion. The repository contains a substantial corpus, but the full audit changes the interpretation. Six files contain 45,757 rows and only 24,331 distinct Chinese personas. There are 45,755 English persona strings because repeated Chinese profiles are independently translated with variations. Although n-round always declares 6-10, 828 records have a different actual number of exchanges: 24 have one pair, one has two, and two have eleven. Index 27872 reverses roles in part of the English translation. Index 36947 declares ten science/technology rounds but contains one technology question and an unrelated answer about bear-shaped candy. The universal 6-10-turn claim is false for the released artifact, and prompt self-verification did not reliably enforce the schema. The stated 80/20 split is also non-reproducible: the script shuffles rows without a seed or persona grouping. Because 14,028 Chinese persona strings occur more than once, the expected split shares about 5,504 identities across train and test, roughly 22.6% of released personas, potentially inflating fine-tuning results. Safety requires particular caution. The paper correctly admits it does not model child-specific risk, developmental harm, or age-dependent safety. The README nevertheless says all data were manually checked to exclude harmful content. The corpus contains 5,770 allergy rows and hundreds involving asthma, ADHD, or other sensitive traits; 28 milk-allergy cases treat yogurt as safe or recommend it. A safety prompt exists but the evaluation code never calls it, and no manual-review protocol or labels are released. WildChat filtering, identifiers, possible minors, and personal-data handling are undocumented. Ethical disclosure is internally inconsistent: the checklist says there were no annotators or human subjects, while the paper reports 600 manually annotated examples, manual corpus review, and consented AI-assisted interaction summaries from volunteers about their children used to inform persona design. It also says no computational experiments were run and then claims experimental hyperparameters and descriptive statistics were reported. In fact, learning rate, batch size, epochs, optimizer, LoRA rank/alpha, PSM dimensions, seeds, decoding settings, repeated runs, intervals, and error bars are absent. The code release is partial: LoRA/PSM training, WildChat assembly, outputs, labels, and plotting are missing. The metric extractor raises NameError because four COE variables are undefined; the preference generator accidentally disables few-shot examples and can store a different topic from the one used in its prompt. No requirements, locked environment, tests, CI, release, or repository license are provided. The defensible contribution is a large Chinese-first synthetic diagnostic for explicit and implicit preference following under distractors, with enough released data for follow-up audits and informative method trade-offs. It does not demonstrate child personality, natural child language, developmental validity, learning, well-being, safety, caregiver benefit, performance with real children, or independent reproduction of training results and figures.

ChildEval, publicado en Findings of ACL 2026, es un benchmark de seguimiento de preferencias infantiles sintéticas, no una prueba de personalidad psicológica de niños pese al título. Su pregunta útil es si un LLM puede recordar e inferir una preferencia de un perfil de 3 a 6 años cuando esa preferencia aparece de forma explícita en una frase o implícita en un diálogo y después queda separada de la consulta por sesiones irrelevantes. El pipeline declara 29.000 personas chinas generadas con Qwen2.5-72B. Se crean dos preferencias condicionadas por persona, 58.000 candidatas, y un filtrado semántico con FAISS retiene unas 46.000. Cada preferencia se asocia con una consulta y con un diálogo niño-asistente de 6 a 10 intercambios generado por el mismo modelo; el corpus inglés es una traducción automática del chino. Los temas cubren cinco áreas y catorce subtemas de arte, cognición, nutrición y actividad, lenguaje y desarrollo socioemocional. Para simular memoria larga, los autores intercalan como distractores conversaciones reales de WildChat-1M y prueban contextos de hasta 50 rondas o unos 21.000 tokens. Evalúan Qwen2.5-3B, Qwen3-4B, LLaMA3.1-8B, Mistral-7B y DeepSeek-R1 mediante prompting con y sin persona, ajuste LoRA y un Persona Steer Model que codifica el perfil e inyecta una representación mediante un adaptador y una compuerta. Preference Consistency combina juicios binarios de reconocimiento, violación, alucinación y utilidad. Child-Oriented Evaluation añade Emotional Adaptation, Interaction Scaffolding, Developmental Appropriateness y Engagement, todas puntuadas por otro LLM. Los resultados publicados indican que inferir preferencias implícitas suele ser más difícil que leerlas explícitamente y que añadir contexto irrelevante tiende a degradar el seguimiento, aunque varias curvas son no monótonas. Añadir la persona mejora todas las barras seleccionadas con cinco turnos distractores: el ejemplo mayor destacado es Qwen3-4B en explícito, de 78,7% a 89,1%, mientras Qwen2.5-3B apenas cambia en implícito, de 75,7% a 75,8%. Developmental Appropriateness queda cerca del techo en muchos modelos, pero Interaction Scaffolding es mucho menor, por ejemplo 35,8% para Qwen2.5-3B sin persona en el conjunto explícito. LoRA y PSM elevan varias métricas y el mayor avance descrito aparece en scaffolding, pero el análisis de errores muestra un intercambio real: bajan fallos por ignorar la preferencia y aparecen más respuestas inconsistentes o no útiles. La validación humana se limita a 600 ejemplos y porcentajes de acuerdo: Qwen2.5-72B frente a humano alcanza 88,83% en PC y DeepSeek-R1 87,67%; las cuatro dimensiones COE llegan a 96,5-99,67%. Esto no basta para hablar de fiabilidad psicométrica. No se publican número de anotadores, selección, experiencia, compensación, instrucciones humanas, prevalencia de etiquetas, acuerdo entre humanos, adjudicación, kappa ni incertidumbre. Un porcentaje de acuerdo cercano al 99% en variables binarias puede estar dominado por el desequilibrio de clases. Además, Qwen2.5-72B genera personas, preferencias, diálogos, traducciones y etiquetas de evaluación, creando dependencia estilística y circularidad; DeepSeek aporta un segundo judge, no un criterio humano o conductual independiente. La auditoría completa del repositorio confirma que sí hay un corpus sustancial, pero también descubre límites que cambian la lectura. Los seis archivos contienen 45.757 filas, no una tabla exacta de 46.000, y solo 24.331 personas chinas distintas. Hay 45.755 cadenas de persona inglesas porque cada repetición china se traduce de nuevo con variaciones. El campo n-round siempre declara 6-10, pero 828 registros no tienen ese número real de intercambios: 24 contienen una sola pareja de mensajes, uno contiene dos y dos contienen once; el índice 27872 invierte los roles en parte de la traducción inglesa. El índice 36947 declara diez rondas sobre ciencia y tecnología, pero solo contiene una pregunta sobre tecnología y una respuesta inconexa sobre caramelos con forma de oso. Por tanto, la afirmación universal de diálogos de 6-10 turnos no es cierta para el artefacto publicado, y la auto-verificación del prompt no funcionó de forma fiable. La separación 8:2 publicada tampoco es reproducible: el script baraja filas sin seed y sin agrupar por persona. Como 14.028 personas chinas aparecen en varias filas, el split esperado compartiría unas 5.504 identidades entre train y test, alrededor del 22,6% de las personas liberadas, lo que puede inflar el fine-tuning. El control de seguridad merece especial cautela. El paper reconoce correctamente que no modela riesgos infantiles, daño evolutivo ni seguridad dependiente de edad. Sin embargo, el README afirma que todo fue revisado manualmente para excluir contenido dañino. En el corpus hay 5.770 filas con alergias y cientos con asma, ADHD u otros rasgos sensibles; 28 casos describen alergia a la leche pero tratan el yogur como seguro o lo recomiendan. El repositorio incluye un prompt de seguridad, pero el script de evaluación nunca lo llama y no se publica protocolo, etiqueta ni rastro de la revisión manual. Tampoco se documenta cómo se filtran los logs reales de WildChat, si pueden incluir menores o datos personales, ni qué IDs se usaron. La divulgación ética es internamente inconsistente: el checklist marca que no hubo anotadores ni sujetos humanos, aunque el paper declara 600 ejemplos anotados, revisión humana del corpus y resúmenes consentidos de interacciones asistidas por IA aportados por voluntarios sobre sus hijos para diseñar las personas. También marca que no hubo experimentos computacionales y, a continuación, afirma haber informado de hiperparámetros y estadísticos descriptivos. En realidad no aparecen learning rate, batch, epochs, optimizer, rango/alpha de LoRA, dimensiones PSM, seeds, decoding, repeticiones, intervalos o barras de error. El código publicado es parcial: falta todo el entrenamiento LoRA/PSM, la construcción WildChat, outputs, labels y plotting. El extractor de métricas falla con NameError porque cuatro variables COE no están definidas; el generador de preferencias desactiva por error sus ejemplos few-shot y puede guardar un topic distinto del usado en el prompt. No hay requirements, entorno bloqueado, tests, CI, release ni licencia del repositorio. La contribución defendible es un gran diagnóstico sintético, chino primero, sobre seguimiento de preferencias explícitas e implícitas bajo distractores, con datos suficientes para auditorías posteriores y con trade-offs interesantes entre métodos. No demuestra personalidad infantil, lenguaje natural de niños, validez evolutiva, aprendizaje, bienestar, seguridad, beneficio para cuidadores, rendimiento con menores reales ni reproducción independiente de las figuras y resultados de entrenamiento.