Resonant Minds: Closed-Loop Social Avatars with Theory of Mind

Resonant Minds integrates a two-agent conversational avatar in a perception–reasoning–expression loop. HumanOmni-7B summarizes speech, emotion, and expression from the preceding video at 1 FPS. GPT-4o produces a BDIE attribution, belief, desire, intention, and emotion, generates three response candidates, and sends them to three GPT-4o judges for empathy, strategy, and coherence. Index-TTS v2, ElevenLabs backchannels, a CLIP-MLP adapter trained on about 360 synthetic pairs, and DICE-Talk translate the selected response into speech and faces; RIFE interpolates output to 25 FPS. The proposed corpus contains 50 GPT-4o-expanded profiles from manual seeds, 90 scenarios adapted from Sotopia, and 365 VICO/VICOX face-voice pairs. The main evaluation uses only ten cases fixed by seed 2132. Against an Agent baseline that generates one response from text history, Ours improves 16 of 17 automatic metrics; against the omniscient Script condition it improves eight and loses nine. Thus, the abstract's statement that it surpasses Script on key dimensions describes a subset rather than overall superiority. Twenty-two human dialogue raters prefer Script 40.5%, Ours 36.0%, and Agent 23.5%; Ours exceeds Agent on four of five scales, except depth, but no uncertainty or test is reported. For video, Ours leads Open-D, emotion accuracy, and Emo-Score, but not the three synchronization metrics. The user study recruits 85 and, according to the supplement, analyzes 82 after three exclusions; Ours scores highest on emotion 4.50, naturalness 4.34, and quality 3.38, although DICE-Talk is close on naturalness 4.15 and quality 3.29. The evidence does not isolate Theory of Mind. Ours receives multimodal perception, an extra prompt layer, a BDIE analysis, three candidates, and three evaluators; Agent receives one generation. There is no compute-matched best-of-three Agent with the same reranking or equally long deliberation without BDIE labels. The no-ToM ablation reports only Emo-Score, Emo-Acc, and Open-D, not goal achievement, believability, secret preservation, consistency, or human dialogue judgments. Nor are inferred beliefs, desires, intentions, or emotions checked against known states; the section called ToM causal analysis is a selected example. Seventeen automatic metrics are produced by GPT-5 over the same dialogues in three passes, so their standard deviations measure judge variability rather than generation variability. The 30-case OOD test has no baseline or ablation, and modest degradation therefore does not rule out memorization. Human validation also has gaps: the 22-rater protocol and statistics are absent; the video study contradicts 1–5 scales in the paper/table with 0–5 in the supplement, filters participants using a correlation from only three repeated clips, and omits degrees of freedom, intervals, and outcome-specific effects. Personas are GPT narratives from assigned traits, without BFI measurement, behavioral manipulation checks, or documented human validation. The linked repository has one commit, README, and assets and promises code, data, and benchmark later, so full prompts, runs, metrics, and analyses cannot be reproduced. The defensible contribution is an integration prototype suggesting that additional deliberation, candidate selection, and explicit emotion control improve selected metrics and visual ratings. It does not establish correct mental states, human personality, genuine social intelligence, long-horizon stability, or safety for persuasion, social training, or companionship.

Resonant Minds integra un avatar conversacional de dos agentes en un bucle percepción–razonamiento–expresión. HumanOmni-7B resume a 1 FPS el habla, la emoción y la expresión del vídeo anterior. GPT-4o formula una atribución BDIE, creencia, deseo, intención y emoción, genera tres respuestas candidatas y las somete a tres jueces GPT-4o de empatía, estrategia y coherencia. Index-TTS v2, backchannels de ElevenLabs, un adaptador CLIP-MLP entrenado con unas 360 parejas sintéticas y DICE-Talk traducen la respuesta a voz y caras; RIFE interpola a 25 FPS. El corpus propuesto contiene 50 perfiles expandidos por GPT-4o desde semillas manuales, 90 escenarios adaptados de Sotopia y 365 parejas rostro-voz de VICO/VICOX. La evaluación principal usa solo diez casos fijados con semilla 2132. Frente a un Agent que genera una única respuesta con historial textual, Ours mejora 16 de 17 métricas automáticas; frente al Script omnisciente mejora ocho y pierde nueve. Por eso la frase del abstract de que supera Script en dimensiones clave describe un subconjunto, no superioridad global. Los 22 evaluadores humanos de diálogo prefieren Script 40,5%, Ours 36,0% y Agent 23,5%; Ours supera a Agent en cuatro de cinco escalas, salvo profundidad, pero no se informan incertidumbre ni pruebas. En vídeo, Ours lidera Open-D, precisión emocional y Emo-Score, pero no las tres métricas de sincronización. El estudio de usuario recluta 85 y, según el suplemento, analiza 82 tras excluir tres; puntúa mejor a Ours en emoción 4,50, naturalidad 4,34 y calidad 3,38, aunque DICE-Talk queda cerca en naturalidad 4,15 y calidad 3,29. La evidencia no aísla Theory of Mind. Ours recibe percepción multimodal, una capa adicional de prompt, un análisis BDIE, tres candidatos y tres evaluadores; Agent recibe una sola generación. No hay baseline Agent best-of-three con el mismo reranking ni deliberación igualada sin etiquetas BDIE. La ablación sin ToM solo reporta Emo-Score, Emo-Acc y Open-D, no logro de objetivos, credibilidad, secretos, consistencia o juicio humano. Tampoco se verifica la exactitud de las creencias, deseos, intenciones o emociones inferidas contra estados conocidos; “ToM causal analysis” es un ejemplo seleccionado. Las 17 métricas automáticas se calculan con GPT-5 sobre los mismos diálogos en tres pases: su desviación mide al juez, no la variabilidad de generación. El estudio OOD de 30 casos no tiene baseline ni ablación, de modo que una caída moderada no descarta memorización. La validación humana también tiene vacíos: faltan protocolo y estadística para los 22 raters; el estudio de vídeo contradice escala 1–5 en cuerpo/tabla y 0–5 en suplemento, usa una correlación de solo tres vídeos repetidos como filtro y omite grados de libertad, intervalos y efectos por resultado. Las personalidades son narrativas GPT a partir de rasgos asignados, sin BFI, manipulación conductual ni validación humana documentada. El repositorio enlazado tiene un commit, README y assets y promete código, datos y benchmark para más adelante; por tanto no se pueden reproducir prompts completos, ejecuciones, métricas ni análisis. La aportación defendible es un prototipo de integración que sugiere que más deliberación, selección de candidatos y control explícito de emoción mejoran métricas y percepción visual en casos seleccionados. No demuestra estados mentales correctos, personalidad humana, inteligencia social genuina, estabilidad prolongada ni seguridad para persuasión, formación social o acompañamiento.