PTEI: Integrating Personality Traits to Enhance Emotional Intelligence in Large Language Models

PTEI is an arXiv v1 preprint asking whether inferred personality traits and retrieved examples help answer emotional-understanding questions. It does not measure human personality or show that an LLM has genuine emotions or emotional intelligence. The study evaluates all 200 English Emotional Understanding scenarios in EmoBench. Each scenario has one emotion question and one cause question; Overall counts an item only when both are correct. The system uses an unspecified GPT-4 version to generate a 500-scenario synthetic memory bank matched to the test taxonomy and category proportions. GPT-4o-mini infers one MBTI type and five discrete OCEAN levels, low, medium or high, from every text. all-mpnet-base-v2 is contrastively fine-tuned to retrieve examples sharing emotion and similar profiles; PTEI-Base adds these examples and labels to the prompt, while PTEI-CoT also requests step-by-step reasoning.

Personality here is a generated interpretation of the same emotional scenario that the final model must answer. The detection prompts even receive the EmoBench category name and explanation. There is no questionnaire, self-report, longitudinal behavior or independent psychometric ground truth. Improvements may therefore come from GPT-4o-mini encoding emotional clues, extra text and compute, or labeled demonstrations rather than personality knowledge specifically. Missing controls include shuffled or wrong traits, a neutral summary matched for length and cost, inference without category metadata and validation against independent human labels. OCEAN is also mapped to 0/0.5/1 vectors and compared by cosine: an all-Low profile is a zero vector with undefined cosine, and the paper does not describe its handling.

Results are mixed rather than consistently positive. Without CoT, PTEI raises Overall for all four models: Qwen-7B 22.50→23.25 (+0.75 points), Llama-3.1-8B 16.62→17.63 (+1.01), Qwen-14B 35.50→36.12 (+0.62), and GPT-4o 60.25→62.12 (+1.87). With CoT, Llama rises 12.25→14.13 (+1.88), Qwen-14B 30.12→34.38 (+4.26), and GPT-4o 58.88→63.62 (+4.74), but Qwen-7B falls 21.38→20.88 (-0.50) and declines in three of four categories plus both marginal accuracies. Even GPT-4o PTEI-Base loses 5.10 points on Complex Emotions and 2.23 on Perspective-Taking. The abstract's “additional 4%” is best read as roughly the 4.74 percentage-point gain in one GPT-4o comparison, not a universal effect.

The word “significantly” is unsupported: no item-level outputs, intervals, paired tests, seeds or run-to-run variation are published. Several Qwen Base/CoT rows are imported from EmoBench, which uses five generations for each of four option orders, whereas PTEI reports three; the table therefore mixes inference budgets. The ablation prose is also contradicted by its cells: RAG-only is below Base for Qwen-14B without CoT, while RAG-only and full PTEI are below CoT for Qwen-7B. No interaction or synergy test separates combined MBTI/OCEAN or traits/retrieval effects.

Memory-bank quality has another internal contradiction. Gemma2 and Claude filter scenarios and only 10% proceed to blinded human evaluation, yet the later equation requires a human score and unanimous human acceptance for every retained item, and the prose says all were human-validated. It does not explain how the unreviewed 90% meet that rule. The reported κ=0.92 omits the number of annotators and items, contingency table, mapping from four ordinal ratings to categorical decisions and uncertainty; it cannot by itself validate automated judging at scale. The human-level comparison is not direct either: PTEI has no human row, while the original EmoBench human study used 30-item subsets rather than the full 200-item results reported here.

Finally, no PTEI code or data is linked. The arXiv source package contains only TeX and figures; the 500-item memory bank, trait labels, ratings, checkpoint, outputs and scripts were not located on GitHub or Hugging Face. Retrieval k, exact model snapshots, full demonstrations, emotion list, validation split and failure rules are also omitted. Overall, the table supports small gains in the Base condition and larger CoT gains for two bigger models, alongside a Qwen-7B failure. It is evidence for an EmoBench-specific combination of prompting, retrieval and synthetic annotation, not validated psychological personality, statistical significance, causal attribution, generalization or reproducibility.

PTEI es un preprint arXiv v1 que estudia si añadir rasgos de personalidad inferidos y ejemplos recuperados ayuda a responder preguntas de comprensión emocional. No mide personalidad humana ni demuestra que un LLM tenga emociones o inteligencia emocional genuina. Evalúa los 200 escenarios en inglés de Emotional Understanding de EmoBench. Cada escenario contiene una pregunta sobre la emoción y otra sobre su causa; la métrica Overall solo cuenta un caso cuando ambas respuestas son correctas. El sistema genera con una versión no identificada de GPT-4 una memoria de 500 escenarios sintéticos ajustada a la taxonomía y proporciones del test. GPT-4o-mini infiere de cada texto un tipo MBTI y cinco valores OCEAN discretos, bajo, medio o alto. all-mpnet-base-v2 se afina por contraste para recuperar ejemplos que compartan emoción y perfiles similares; PTEI-Base añade esos ejemplos y etiquetas al prompt y PTEI-CoT solicita además razonamiento paso a paso.

La personalidad aquí es una interpretación generada a partir del mismo escenario emocional que después se debe resolver. Los prompts de detección reciben incluso el nombre y explicación de la categoría de EmoBench. No hay cuestionarios, autoinforme, conducta longitudinal ni etiquetas psicométricas independientes. Por ello, la mejora puede proceder de que GPT-4o-mini ya codifica pistas emocionales, del texto y cómputo adicionales o de los ejemplos etiquetados, no específicamente de conocimiento de personalidad. Faltan controles con rasgos barajados o erróneos, un resumen neutral de igual longitud y coste, inferencia sin metadatos de categoría y validación contra anotaciones humanas. Además, OCEAN se convierte en vectores 0/0,5/1 y se compara por coseno: un perfil con todos los rasgos bajos es el vector cero, cuyo coseno no está definido, y el artículo no explica cómo lo trata.

Los resultados son mixtos, no consistentemente positivos. Sin CoT, PTEI eleva Overall en los cuatro modelos: Qwen-7B 22,50→23,25 (+0,75 puntos), Llama-3.1-8B 16,62→17,63 (+1,01), Qwen-14B 35,50→36,12 (+0,62) y GPT-4o 60,25→62,12 (+1,87). Con CoT, Llama sube 12,25→14,13 (+1,88), Qwen-14B 30,12→34,38 (+4,26) y GPT-4o 58,88→63,62 (+4,74), pero Qwen-7B baja 21,38→20,88 (-0,50) y empeora en tres de cuatro categorías y en ambas exactitudes marginales. Incluso GPT-4o PTEI-Base pierde 5,10 puntos en Complex Emotions y 2,23 en Perspective-Taking. El “4% adicional” del abstract describe aproximadamente los 4,74 puntos porcentuales de una comparación GPT-4o concreta; no es un efecto universal.

Tampoco se sostiene la palabra “significativamente”: no se publican outputs por ítem, intervalos, pruebas pareadas, semillas ni variación entre ejecuciones. Varias filas Base/CoT de Qwen se importan de EmoBench, que usa cinco generaciones por cada uno de cuatro órdenes de opciones, mientras PTEI declara tres; se mezclan así presupuestos de inferencia. La ablación también contradice su prosa: RAG-only baja frente a Base para Qwen-14B sin CoT, y con CoT RAG-only y PTEI bajan para Qwen-7B. No se prueba una interacción o sinergia entre MBTI y OCEAN, ni entre rasgos y recuperación.

La calidad de la memoria presenta otra contradicción. Gemma2 y Claude filtran escenarios y solo el 10% pasa a evaluación humana ciega, pero después la ecuación exige puntuación y aceptación humana unánime para cada caso retenido y el texto afirma que todos fueron validados por humanos. No se explica cómo cumple el 90% no revisado. El κ=0,92 carece de número de anotadores e ítems, tabla de contingencia, regla para convertir cuatro escalas ordinales en categorías e intervalo; no permite validar por sí solo el juez automático. La comparación con nivel humano tampoco es directa: PTEI no incluye fila humana y el estudio humano original de EmoBench usó subconjuntos de 30 preguntas, no estos 200 resultados completos.

Finalmente, no hay código ni datos PTEI enlazados. El paquete fuente de arXiv solo contiene TeX y figuras; no se localizaron la memoria de 500 casos, etiquetas, ratings, checkpoint, outputs o scripts en GitHub o Hugging Face. Se omiten además k de recuperación, versiones exactas de modelos, demostraciones completas, lista de emociones, partición de validación y reglas de fallos. En conjunto, la tabla apoya mejoras pequeñas en la condición Base y mejoras mayores con CoT para dos modelos grandes, junto con un fallo en Qwen-7B. Es evidencia de una combinación de prompting, recuperación y anotación sintética específica de EmoBench; no valida personalidad psicológica, significación estadística, causalidad, generalización ni reproducibilidad.