Letting Tutor Personas Speak Up for LLMs: Learning Steering Vectors from Dialogue via Preference Optimization

El artículo investiga cómo trasladar al comportamiento de un LLM las diferencias implícitas entre tutores humanos sin describirlas mediante un prompt de persona. Usa Question-Anchored-Tutoring-Dialogues-2k, conversaciones reales de apoyo matemático de la plataforma Eedi, y selecciona 21 tutores. Primero adapta Llama-3.1-8B-Instruct mediante LoRA para generar la respuesta de un tutor medio. Para cada contexto, la intervención humana real se trata como respuesta preferida y una muestra del modelo SFT como respuesta rechazada. Un objetivo inspirado en BiPO aprende una dirección de activación compartida v en la última capa y un coeficiente positivo delta_i por tutor, normalizado para que la media sea uno. En inferencia se suma alpha * delta_i * v a todos los tokens. Por tanto, no se aprende un vector con dirección distinta para cada persona: los 21 tutores se ordenan por intensidad sobre un único eje, con coeficientes entre 0,83 y 1,21.

El split es 80/10/10 dentro de cada tutor. La parte denominada validación se usa para optimizar el vector y los coeficientes y también para seleccionar el checkpoint; el test contiene diálogos nuevos de los mismos tutores. La evaluación compara cada generación con la respuesta humana mediante ROUGE-L, BLEU, similitud coseno de SentenceBERT y preferencia de un juez Prometheus-Eval. En el tramo medio de 1.971 turnos, la similitud coseno sube de 0,385 a 0,426 y el juez prefiere la versión dirigida en 58,7% de comparaciones, mientras ROUGE-L baja de 0,165 a 0,157 y BLEU de 0,019 a 0,018. En el tramo inicial, las tres métricas de similitud empeoran, coseno 0,392 a 0,321, ROUGE-L 0,285 a 0,206 y BLEU 0,070 a 0,041, aunque el juez da 57,1% de victorias. Agregado sobre 2.623 turnos, alpha=0,5 obtiene los mejores ROUGE-L (0,187), BLEU (0,028) y coseno (0,407), pero solo 53,9% de preferencia; alpha=1 eleva esa preferencia a 58,2% a costa de menor solapamiento léxico.

La interpretación cualitativa propone un continuo desde apoyo afectivo y andamiaje, pasando por instrucción diagnóstica, hasta asistencia breve orientada a terminar la tarea. Esa lectura se basa en tres preguntas seleccionadas y varios ejemplos, sin etiquetas pedagógicas sistemáticas, anotadores ciegos ni correlaciones. Además, imitar a un tutor no equivale a enseñar mejor: el propio extremo de coeficiente alto incluye respuestas confusas y de baja inversión pedagógica. El objetivo no mide corrección, aprendizaje, engagement ni bienestar del estudiante. Los mismos tutores están en las tres particiones y el corte es por diálogo, no por pregunta; el resultado demuestra imitación dentro de identidades conocidas, no inducción zero-shot de nuevos tutores.

La auditoría de datos confirma 1.971 conversaciones, 68.717 mensajes y 25 tutores reales en los CSV públicos. Los 21 retenidos son exactamente los que tienen al menos 14 conversaciones; cuatro con 1, 2, 5 y 7 quedan fuera sin que el criterio se explicite. Hay 67 conversaciones con dos a cuatro IDs de tutor y el paper no publica cómo resuelve esos relevos. Tampoco publica el split experimental. El repositorio enlazado corresponde a otro artículo de estudiantes simulados: contiene el framework SFT reutilizado, pero no el código del vector, las métricas, el juez, checkpoints, semillas, outputs ni resultados de este trabajo. No se especifican los checkpoints exactos de SentenceBERT o Prometheus, no hay evaluación humana, intervalos, significación o ejecuciones repetidas. La contribución respalda que una intervención unidimensional puede desplazar modestamente el estilo de Llama-3.1-8B hacia tutores ya observados; no valida personalidad psicológica, calidad pedagógica, interpretabilidad causal ni generalización a tutores nuevos.

This paper investigates how implicit differences among human tutors can be transferred into LLM behavior without describing a persona in the prompt. It uses Question-Anchored-Tutoring-Dialogues-2k, real math-support conversations from the Eedi platform, and selects 21 tutors. Llama-3.1-8B-Instruct is first adapted with LoRA to produce an average-tutor response. For each context, the real human tutor utterance is preferred and a sampled SFT response is rejected. A BiPO-inspired objective learns one shared activation direction v at the final layer and one positive, mean-normalized coefficient delta_i per tutor. Inference adds alpha * delta_i * v at every token position. The method therefore does not learn a separately oriented vector for each persona: all 21 tutors are ordered by strength on a single axis, with coefficients from 0.83 to 1.21.

Data are split 80/10/10 within each tutor. The portion called validation is used both to optimize the vector and coefficients and to select their checkpoint; test contains new dialogues from the same known tutors. Evaluation compares each generation with the human utterance using ROUGE-L, BLEU, SentenceBERT cosine similarity, and a Prometheus-Eval preference judge. In the 1,971 middle-stage turns, cosine rises from 0.385 to 0.426 and the judge prefers steering in 58.7% of comparisons, while ROUGE-L falls from 0.165 to 0.157 and BLEU from 0.019 to 0.018. In the early stage, all three similarity metrics worsen, cosine 0.392 to 0.321, ROUGE-L 0.285 to 0.206, and BLEU 0.070 to 0.041, although the judge gives steering a 57.1% win rate. Aggregated over 2,623 turns, alpha=0.5 has the best ROUGE-L (0.187), BLEU (0.028), and cosine (0.407), but only 53.9% judge preference; alpha=1 raises preference to 58.2% at the cost of lexical overlap.

The qualitative interpretation proposes a continuum from affective support and scaffolding, through diagnostic instruction, to brief task-completion assistance. That reading rests on three selected questions and several examples, without systematic pedagogical labels, blinded annotators, or correlations. Resembling a tutor is also not equivalent to better teaching: the high-coefficient end itself includes confusing and low-investment responses. The objective does not assess correctness, learning, engagement, or student welfare. Because the same tutors appear in all three partitions and the split is by dialogue rather than question, the result demonstrates within-identity imitation, not zero-shot induction of unseen tutors.

The data audit confirms 1,971 conversations, 68,717 messages, and 25 actual tutors in the public CSVs. The retained 21 are exactly those with at least 14 conversations; four tutors with 1, 2, 5, and 7 are omitted without an explicit selection rule. Sixty-seven conversations contain two to four tutor IDs, and the paper does not publish how these hand-offs are resolved. It also releases no experimental split. The linked repository belongs to a different simulated-student paper: it contains the reused SFT framework but not this work's vector training, metrics, judge, checkpoints, seeds, outputs, or results. Exact SentenceBERT and Prometheus checkpoints are unspecified, and there is no human evaluation, uncertainty, significance testing, or repeated runs. The contribution supports a modest one-dimensional shift of Llama-3.1-8B style toward already observed tutors; it does not validate psychological personality, pedagogical quality, causal interpretability, or generalization to new tutors.