ArcANE: Do Role-Playing Language Agents Stay in Character at the Right Time?

ArcANE asks whether a role-playing language agent adapts a fictional character's behavior to the correct point in the narrative rather than repeating a fixed persona. Its pipeline processes each novel through two LLM streams: one extracts psychologically consequential events and the other produces chapter-level character states. It then proposes intrapersonal or relational axes, reconciles the streams, and segments every axis into phases with chapter ranges, state descriptions, and supporting events. Three LLM critics filter the axes; for the evaluation set, three human annotators reassess validity and a two-of-three majority is required. Each arc generates one scenario and question shared across all phases, with a different reference action and thought for each phase. Probes are In-Scenario when anchored in a real passage, In-World when they invent a situation compatible with the work, and Out-of-World when they transpose the axis to another setting. The latter two references are LLM-authored counterfactual projections, not observed canonical facts. The reported corpus contains 17 novels, 80 characters, 544 arcs, and 4,601 probes: ten novels and 2,545 probes for training; five novels, 25 characters, 205 arcs, and 1,754 probes in the validated evaluation; and two low-popularity novels with seven characters, 31 arcs, and 302 probes without human validation. DeepSeek-V4-Flash/Pro, Qwen3-8B/32B, and ArcANE-8B/32B are compared under Vanilla, Summary, RAG, LifeChoice, TimeCHARA, and Arc context. Arc provides the axis and current phase that also structured the references. DeepSeek-V4-Flash assigns 1-to-100 scores for action fidelity, reasoning fidelity, reasoning-action entailment, and cross-phase trajectory. Arc has the highest Overall score for all six models and in 29 of 30 model-by-novel cells; its Overall values are 59.7 and 62.4 for DeepSeek, 43.1 and 50.1 for Qwen, and 56.9 and 60.4 for ArcANE. Against the strongest alternative context, Overall gains are roughly 2.2 to 8.4 points and grow mainly on scenarios absent from the source. MixedArc, which supplies another character's arc, can fall below Vanilla. ArcHint, containing only the axis label and phase index, remains within 2.6 points of full Arc for untrained models, indicating that much of the prompting effect comes from this compact privileged information. To create ArcANE-8B/32B, SFT uses 45,690 gpt-5.4-mini and claude-sonnet-4-6 responses from the ten training novels; DPO forms 14,671 pairs between an anchor-phase answer and an adjacent-phase answer. A critical inconsistency follows. The appendix says DPO spans 12 novels, 55 characters, and 2,838 probes: 12 and 55 exactly equal the ten-novel/48-character training split plus the two-novel/seven-character low-popularity split, while 2,838 is only nine below their combined 2,847 probes. It is therefore highly likely that The Underdogs and East Lynne enter DPO. For ArcANE-DPO models, this slice cannot serve as a held-out memorization test; it appears held out only from human annotation. The paper releases no DPO identities that could resolve this and also reports 113 DPO axes where the two combined table slices contain 339 arcs. Judge validation is narrower than a blind human comparison: three colleagues see the DeepSeek decision before rating it reasonable or correcting it. A majority approves 61 of 70 cells; on 50 anchored rescoring cells, correlation with the human average is .962 and MAD is 4.7. This checks calibration after exposure to the judge, not independent human agreement. Three additional LLM judges preserve ArcANE-32B-DPO/Arc's first place on 300 cells, but they share the same synthetic references and rubric. The effective generalization unit is only five novels; there are no novel-, character-, or arc-clustered intervals, significance tests, or repeated generations. Code, data, weights, splits, outputs, annotations, and scripts are also not public despite a promise to release them after publication. The defensible contribution is a useful representation of narrative trajectories and evidence that explicitly supplying axis and phase improves agreement with references constructed under the same framework. It does not establish a unique literary interpretation, human personality, internal psychological state, DPO-independent transfer to the low-popularity novels, multi-turn consistency, or safe impersonation.

ArcANE estudia si un agente que interpreta a un personaje literario ajusta su conducta al momento correcto de su evolución narrativa, en vez de repetir una persona fija. La canalización procesa cada novela mediante dos corrientes LLM: una extrae acontecimientos psicológicamente relevantes y otra describe estados del personaje por capítulo. Después propone ejes intrapersonales o relacionales, reconcilia ambas corrientes y divide cada eje en fases con rango de capítulos, estado y acontecimientos de apoyo. Tres críticos LLM filtran los ejes; en el conjunto de evaluación, tres anotadores humanos vuelven a juzgar su validez y se exige mayoría de dos. Cada arco genera una misma situación y pregunta para todas sus fases, con una acción y un pensamiento de referencia distintos por fase. Las sondas son In-Scenario, cuando parten de un pasaje real; In-World, cuando inventan una situación compatible con la obra; y Out-of-World, cuando trasladan el eje a otro contexto histórico. Estas dos últimas referencias son proyecciones contrafactuales redactadas por LLM, no hechos canónicos observados. El corpus declarado contiene 17 novelas, 80 personajes, 544 arcos y 4.601 sondas: 10 novelas y 2.545 sondas para entrenamiento; cinco novelas, 25 personajes, 205 arcos y 1.754 sondas en la evaluación validada; y dos novelas, siete personajes, 31 arcos y 302 sondas de baja popularidad sin validación humana. Se comparan DeepSeek-V4-Flash/Pro, Qwen3-8B/32B y ArcANE-8B/32B bajo seis contextos: Vanilla, resúmenes, RAG, LifeChoice, TimeCHARA y Arc. Arc entrega el eje y la fase que también estructuraron las referencias. DeepSeek-V4-Flash puntúa de 1 a 100 la fidelidad de acción, razonamiento, relación razonamiento-acción y trayectoria entre fases. Arc obtiene el mejor Overall en los seis modelos y en 29 de 30 celdas modelo-por-novela; sus Overall son 59,7 y 62,4 en DeepSeek, 43,1 y 50,1 en Qwen y 56,9 y 60,4 en ArcANE. Frente al mejor contexto alternativo, las ventajas Overall van aproximadamente de 2,2 a 8,4 puntos y crecen sobre todo en escenarios no presentes en la obra. MixedArc, que entrega el arco de otro personaje, puede caer por debajo de Vanilla. ArcHint, reducido a etiqueta de eje e índice de fase, queda a ±2,6 puntos de Arc completo en los modelos no entrenados, señal de que gran parte del efecto de prompting proviene de esa información privilegiada y compacta. Para crear ArcANE-8B/32B, el SFT usa 45.690 respuestas de gpt-5.4-mini y claude-sonnet-4-6 sobre las diez novelas de entrenamiento; DPO forma 14.671 pares entre una respuesta de fase correcta y otra adyacente. Aquí aparece una inconsistencia crítica. El apéndice dice que DPO abarca 12 novelas, 55 personajes y 2.838 sondas: 12 y 55 coinciden exactamente con sumar las diez novelas/48 personajes de entrenamiento y las dos novelas/siete personajes del supuesto control de baja popularidad; 2.838 queda solo nueve por debajo de sus 2.847 sondas combinadas. Es, por tanto, altamente probable que The Underdogs y East Lynne entren en DPO. Para los modelos ArcANE-DPO, ese bloque no puede presentarse como prueba held-out de memorización; parece estar excluido solo de anotación humana. El artículo no publica las identidades DPO para despejarlo y, además, informa 113 ejes DPO donde esos dos bloques combinados contienen 339 arcos. La validación del juez también es más limitada que el titular: tres colegas ven la decisión de DeepSeek antes de marcarla razonable o corregirla. La mayoría aprueba 61/70 casos; en 50 correcciones ancladas, la correlación con la media humana es 0,962 y el error absoluto medio 4,7. Eso comprueba calibración tras ver al juez, no acuerdo humano ciego. Tres jueces LLM adicionales preservan el primer puesto de ArcANE-32B-DPO/Arc en 300 celdas, pero usan las mismas referencias sintéticas y la misma rúbrica. La unidad efectiva de generalización son solo cinco novelas; no hay intervalos agrupados por novela, personaje o arco, pruebas de significación, ni repeticiones de generación. Tampoco están publicados código, datos, pesos, particiones, salidas, anotaciones o scripts, pese a que el texto promete liberarlos tras publicación. La aportación defendible es una representación útil de trayectorias narrativas y evidencia de que dar explícitamente eje y fase mejora la coincidencia con referencias construidas bajo ese mismo marco. No demuestra una interpretación literaria única, personalidad humana, estado psicológico interno, generalización independiente de DPO a las novelas de baja popularidad, consistencia multivuelta ni seguridad para impersonación.