DeSRPA: Decoupled Speech Role-Playing Agent via Inference-Time Intervention

This INTERSPEECH 2026 paper proposes DeSRPA, a decoupled architecture for spoken role-playing agents that separately controls a character's textual identity and vocal expression. It uses Qwen3-4B as a cognitive controller and StyleTTS 2 as a synthesizer, with both base backbones frozen. Three vector classes, personality base, contextual activation, and linguistic style, are injected into LLM layers 15 and 20. These directions come from sparse autoencoders and a 15,000-sample corpus aligned to 30 Big Five facets described in another preprint by the authors. The LLM generates a response and emotion label. On the acoustic side, the system creates neutral, angry, happy, sad, surprise, disgust, and fear directions by subtracting mean neutral from mean emotional StyleTTS 2 representations. Each output also starts from a character's neutral reference utterance; the emotional direction shifts that style, passes through the diffusion predictor, and is separately interpolated for timbre and prosody. The engineering idea is coherent: adapt characters without fully fine-tuning an audio-text model and make the bridge from textual intent to acoustic emotion explicit. Evaluation has two branches. On SpeechRole, the authors select 72 English movie and television characters and report 372 evaluated responses. Gemini 2.5 Pro compares outputs against references across eight dimensions: instruction adherence, fluency, coherence, naturalness, prosody, emotion, personality, and knowledge. The study also measures time to first audio, WavLM speaker similarity, emotion2vec execution accuracy, and ASR word error rate. On OmniCharacter, six experts score ten Genshin Impact characters on six ten-point dimensions. The main automated results favor DeSRPA. Its judge mean is 0.8379, above SpeechRole 0.7747, LLaMA-Omni 0.7452, and Qwen2.5-Omni 0.5504, slightly above the AliCloud pipeline 0.8356, and below GPT-4o Audio 0.8862. It has the table's highest Emotion Execution Accuracy, 0.701, and speaker similarity 0.886, with WER 2.63% and TTFA 577 ms. Ablations are directionally informative: removing LLM vectors reduces personality from 0.7615 to 0.7235 and knowledge from 0.8116 to 0.7743; removing acoustic vectors reduces prosody from 0.7958 to 0.7186, emotion appropriateness from 0.8160 to 0.7245, and EEA from 0.701 to 0.549. The full system does not dominate every dimension: the no-vector baseline is slightly higher on fluency, coherence, and naturalness; latency is worse than five systems and all three ablations; and vectors slightly increase WER and reduce similarity relative to the baseline. In human ratings, DeSRPA leads fluency 8.70, emotional expression 7.41, and clarity 9.11, but trails OmniCharacter in consistency 6.07 versus 6.84, appropriateness 5.54 versus 5.63, and immersion 7.44 versus 8.52. An unreported equal-weight six-dimension mean is 7.378 for DeSRPA and 7.178 for OmniCharacter, but without dispersion or an inferential design it is descriptive only. Several abstract claims need narrowing. Training-free here means no per-character backbone fine-tuning, not absence of training: cognitive vectors are trained on 15,000 samples and acoustic directions are built from ESD and CREMA-D. Generalization to unseen characters is also not established because no seen/unseen split is documented and overlap among roles, profiles, voices, vector-training data, and coefficient annotation is not ruled out. The claimed modality alignment tax of end-to-end models is motivation rather than a result: no reasoning benchmark is run before and after audio-text training. DeSRPA also combines Qwen3-4B with StyleTTS 2 while baselines differ in family, size, role data, voice-cloning support, APIs, and latency. The comparison measures whole systems but does not causally isolate decoupling. Personality validity is especially limited. Personality Consistency is a Gemini 2.5 Pro score against profiles and references, not a psychometric measure or independent human validation. The paper does not release the judge prompt, score transformation, raw outputs, pair order, temperature, immutable snapshot, repetitions, or human agreement. The 372 responses are nested within 72 characters and multi-turn conversations but aggregated without intervals or clustering. The count itself is inconsistent: 72 characters averaging ten turns would yield about 720 responses, not 372; 372 implies 5.17 per character. No tests, intervals, or bootstrap support the word significantly. The table also contains stale arithmetic. Means for the core open systems and DeSRPA are simple eight-dimension averages, but w/o LLM recomputes to 0.8132 rather than 0.8120, w/o Speech to 0.8155 rather than 0.8168, and GPT-4o Audio to 0.8855 rather than 0.8862. Correcting them preserves the main ranking but shows some summary cells were not updated with their components. Important implementation details are missing: PDB is undefined; injection coefficients and contextual routing are not published; eta has no final value; and layer, range, and blending choices come from preliminary sweeps not tied to a separate held-out set. The human study, with six experts and ten characters, omits total clips and ratings, task assignment, blinding, randomization, rater background and recruitment, compensation, inter-rater reliability, uncertainty, tests, and an ethics statement. The public artifact allows listening but not reproduction. The linked repository contains two HTML files, ten avatars, and 159 WAVs; the interface uses 122 paths and leaves 37 audio files unreferenced. There is no code, profiles, prompts, vectors, data, splits, results, metrics, environment, checkpoints, README, license, tests, or CI. The demo compares selected neutral and emotion-steered variants rather than DeSRPA against table baselines. Some filenames suggest intensity values 3.0, 3.5, and 4.0 above the described 2.5 maximum, although without code the parameter meaning cannot be confirmed. The defensible contribution is a promising modular architecture with favorable descriptive gains in emotion control, voice similarity, and automatically judged role fidelity. It is not yet a reproducible, statistically significant, or causal demonstration of training-free personality control, preserved reasoning, and unseen-character generalization.

Este trabajo aceptado en INTERSPEECH 2026 propone DeSRPA, una arquitectura desacoplada para agentes de rol hablados que intenta conservar por separado la identidad textual del personaje y su expresión vocal. El sistema usa Qwen3-4B como controlador cognitivo y StyleTTS 2 como sintetizador, ambos con sus pesos base congelados. En el LLM inyecta tres clases de vectores, personalidad base, activación contextual y estilo lingüístico, en las capas 15 y 20. Esos vectores proceden de sparse autoencoders y de un corpus de 15.000 ejemplos alineado con 30 facetas Big Five descrito en otro preprint de los autores. El LLM genera la respuesta y una etiqueta emocional. En la parte acústica, el sistema construye direcciones para neutralidad, ira, alegría, tristeza, sorpresa, disgusto y miedo restando la representación media neutral a la emocional en StyleTTS 2. Cada salida parte además de una locución neutral de referencia del personaje; la dirección emocional se suma a su estilo, pasa por el predictor de difusión y se interpola por separado para timbre y prosodia. La idea de ingeniería es coherente: adaptar un personaje sin reajustar por completo un modelo audio-texto y hacer explícito el puente entre intención textual y emoción acústica. La evaluación tiene dos ramas. En SpeechRole selecciona 72 personajes ingleses de cine y televisión y declara 372 respuestas evaluadas. Gemini 2.5 Pro compara las salidas con referencias en ocho dimensiones: seguimiento de instrucciones, fluidez, coherencia, naturalidad, prosodia, emoción, personalidad y conocimiento. También mide latencia hasta el primer audio, similitud de locutor con WavLM, ejecución emocional con emotion2vec y WER. En OmniCharacter, seis expertos puntúan diez personajes de Genshin Impact en seis escalas de diez puntos. El resultado automatizado principal es favorable. DeSRPA obtiene una media de juez 0,8379, por encima de SpeechRole 0,7747, LLaMA-Omni 0,7452 y Qwen2.5-Omni 0,5504, ligeramente por encima del pipeline AliCloud 0,8356 y por debajo de GPT-4o Audio 0,8862. Logra la mayor Emotion Execution Accuracy de la tabla, 0,701, y similitud de hablante 0,886, con WER 2,63% y latencia 577 ms. Las ablaciones son direccionalmente informativas: quitar los vectores LLM reduce personalidad de 0,7615 a 0,7235 y conocimiento de 0,8116 a 0,7743; quitar los acústicos reduce prosodia de 0,7958 a 0,7186, emoción de 0,8160 a 0,7245 y EEA de 0,701 a 0,549. A cambio, el sistema completo no domina en todo: la versión sin vectores puntúa algo mejor en fluidez, coherencia y naturalidad; la latencia es peor que cinco sistemas y las tres ablaciones, y los vectores elevan ligeramente WER y reducen similitud frente a la base. En la evaluación humana, DeSRPA lidera fluidez 8,70, expresión emocional 7,41 y claridad 9,11, pero queda por debajo de OmniCharacter en consistencia 6,07 frente a 6,84, adecuación 5,54 frente a 5,63 e inmersión 7,44 frente a 8,52. La media simple no publicada de las seis dimensiones es 7,378 para DeSRPA y 7,178 para OmniCharacter, pero sin dispersión ni diseño de inferencia solo es descriptiva. Varias afirmaciones del abstract requieren recorte. “Training-free” significa aquí que no se reajustan los backbones por personaje, no que el sistema carezca de entrenamiento: los vectores cognitivos se entrenan con 15.000 ejemplos y los vectores acústicos se construyen a partir de ESD y CREMA-D. “Generalización a personajes no vistos” tampoco queda demostrada, porque no se documenta una partición visto/no visto ni se descarta solapamiento entre roles, perfiles, voces, corpus de vectores y anotación de coeficientes. La supuesta modality alignment tax de los modelos end-to-end es motivación, no resultado: no se aplica ningún benchmark de razonamiento antes y después del entrenamiento audio-texto. Además, DeSRPA combina Qwen3-4B y StyleTTS 2, mientras los baselines usan otras familias, tamaños, datos, soporte de clonación de voz, APIs y latencias. La comparación muestra desempeño de sistemas completos, pero no identifica el efecto causal de desacoplar. La validez de personalidad es especialmente limitada. Personalidad Consistency es una puntuación de Gemini 2.5 Pro frente a perfiles y referencias, no una medida psicométrica ni una evaluación humana independiente. El artículo no publica el prompt del juez, transformación de la puntuación, outputs, orden de pares, temperatura, snapshot, repeticiones o acuerdo con personas. Las 372 respuestas están anidadas en 72 personajes y conversaciones de varios turnos, pero se agregan sin intervalos ni ajuste por cluster. De hecho, el recuento no concuerda: 72 personajes con una media de diez turnos producirían unas 720 respuestas, no 372; 372 equivale a 5,17 por personaje. Tampoco hay tests, intervalos o bootstrap que respalden la palabra significantly. La tabla tiene errores aritméticos heredados. Las medias mostradas para los cinco sistemas centrales y DeSRPA sí son los promedios simples de ocho dimensiones, pero w/o LLM recalcula a 0,8132, no 0,8120; w/o Speech a 0,8155, no 0,8168; y GPT-4o Audio a 0,8855, no 0,8862. Corregirlas conserva el ranking principal, pero revela que algunas celdas resumen no se actualizaron al cambiar sus componentes. Faltan también detalles ejecutivos: PDB no se define, no se publican los coeficientes de inyección ni el routing contextual, eta carece de valor final y las elecciones de capa, rango y mezcla proceden de barridos preliminares no localizados en un conjunto separado. El estudio humano, con solo seis expertos y diez personajes, omite clips totales, reparto de tareas, cegado, aleatorización, perfil y reclutamiento de evaluadores, compensación, fiabilidad interjuez, incertidumbre, tests y declaración ética. El artefacto público permite escuchar muestras, pero no reproducir el estudio. El repositorio enlazado contiene dos HTML, diez avatares y 159 WAV; la interfaz usa 122 rutas y deja 37 audios sin referenciar. No hay código, perfiles, prompts, vectores, datos, splits, resultados, métricas, configuración, checkpoints, README, licencia, tests o CI. El demo compara versiones neutras y emocionales seleccionadas, no DeSRPA contra los baselines de las tablas. Algunos nombres de archivo sugieren intensidades 3,0, 3,5 y 4,0, por encima del máximo 2,5 descrito, aunque sin código no puede confirmarse qué significa ese parámetro. La contribución defendible es una arquitectura prometedora y modular con mejoras descriptivas consistentes en control emocional, similitud de voz y fidelidad de rol juzgada automáticamente. No es todavía una demostración reproducible, estadísticamente significativa o causal de control de personalidad training-free, razonamiento preservado y generalización a personajes inéditos.