Multi-Personality Generation of LLMs at Decoding-time

El artículo propone Multi-Personality Generation (MPG), una forma de combinar durante la decodificación varios modelos ajustados por separado para atributos de personalidad. Cada modelo de atributo es un adaptador LoRA-DPO sobre Llama-3-8B-Instruct. Speculative Chunk-level Rejection sampling (SCR) genera bloques de cuatro tokens con un modelo de referencia, calcula en paralelo para cada atributo la razón entre la probabilidad del modelo ajustado y la del modelo de referencia, suma esas razones con pesos alpha y acepta el bloque, alguno de sus prefijos o un token de respaldo mediante un umbral M estimado con los últimos veinte scores. La evaluación MBTI usa solo tres perfiles, ESTP, INFJ y ENTJ, sobre 148 registros QA, 93 MCQA y 60 ítems procedentes de 16Personalities. GPT-4o y DeepSeek-R1 puntúan estilo, pensamiento, conducta y naturalidad. El origen del reclamo de mejora del 16%-18% es concreto: el Overall de SCR con referencia DPO sube frente al modelo base de 3,084 a 3,626 con GPT-4o, un 17,57% relativo, y de 3,368 a 3,919 con DeepSeek-R1, un 16,36%. No es una mejora universal. Los autores ajustan alpha mirando la precisión del mismo MBTI-MCQA que después aparece en la tabla y en el Overall, por lo que la cifra afinada no es una estimación completamente held-out. En role-play evalúan 100 perfiles sintéticos adaptados de ALOE, con anotaciones de entrenamiento generadas por ChatGPT-4o. GPT-4o da 4,167 a SCR y 4,166 a MOD; DeepSeek-R1 favorece ligeramente a MOD, 4,241 frente a 4,230. No hay evaluación humana, intervalos, pruebas estadísticas, acuerdo entre jueces ni análisis de variación entre generaciones. En eficiencia, tres ejecuciones sobre 100 prompts y un máximo de 128 tokens dan a SCR 97 tokens/s y 1,20 s por secuencia, frente a 120 y 1,07 para Base, 60 y 2,13 para MOD, 11 y 11,64 para rechazo por secuencia y 30 y 4,27 para rechazo por token. No se identifica el hardware y solo se publican medias. La principal reserva es matemática. La ecuación 7 conserva la inversa del gradiente exigida por el óptimo regularizado, pero las ecuaciones 9-10 la eliminan por ser monótona y afirman que una suma ponderada de log(r_i)+1 es proporcional a una suma ponderada de r_i. No lo es: para reverse KL, aplicar la inversa conduce a una combinación exponencial o producto ponderado, no a la suma aritmética usada por SCR. Preservar el orden no preserva las probabilidades necesarias para rejection sampling. Además, el umbral M es un máximo observado en ventana, no una cota global; si aparece un score mayor, truncar la aceptación a uno sesga la distribución. El paper impone al principio alpha no negativo y de suma uno, y el algoritmo calcula log(alpha), pero luego usa pesos negativos y publica para INFJ [1,0,-9,-3]; el recorte posterior a cero define otra heurística y no la distribución derivada. Por tanto, las tablas pueden describir el rendimiento empírico de una heurística, pero no validan que SCR muestree exactamente del objetivo teórico. La publicación tampoco es reproducible de extremo a extremo. El repositorio oficial, auditado en el commit 57626f1, tiene 16 archivos: datos, README y dos ficheros de constantes de prompts. No contiene implementación MPG/SCR, entrenamiento, evaluación, adaptadores, outputs, juicios crudos, dependencias, tests, CI ni licencia. Los seis datasets públicos suman 21.917 pares y tampoco declaran licencia o procedencia detallada. Hay 426 pares chosen/rejected idénticos y 806 equivalentes tras quitar comillas o el prefijo User Message. En role-play, 2.933 de 7.000 respuestas rechazadas llevan ese prefijo y ninguna elegida lo lleva, un atajo de formato que permite aprender la etiqueta sin aprender personalidad. También existen 25 prompts repetidos entre train y test en los dos datasets de role-play y 70 prompts compartidos entre ambos. La conclusión fiel es estrecha: la implementación no publicada obtuvo mejores medias MBTI que el base bajo dos jueces LLM y un compromiso de velocidad favorable en el ensayo descrito. No queda demostrado el muestreo exacto, la validez psicométrica, la significación, la generalización ni la reproducibilidad.

The paper proposes Multi-Personality Generation (MPG), a decoding-time method for combining models separately aligned to individual personality attributes. Each attribute model is a LoRA-DPO adapter on Llama-3-8B-Instruct. Speculative Chunk-level Rejection sampling (SCR) proposes four-token chunks from a reference model, evaluates in parallel the probability ratio of every attribute model to that reference, adds those ratios with alpha weights, and accepts the chunk, one of its prefixes or a fallback token using a threshold M estimated from the most recent twenty scores. The MBTI evaluation covers only three target profiles, ESTP, INFJ and ENTJ, over 148 QA records, 93 MCQA items and 60 items taken from 16Personalities. GPT-4o and DeepSeek-R1 score style, thought, behavior and naturalness. The advertised 16%-18% gain has a specific source: versus Base, the Overall score of SCR with a DPO reference rises from 3.084 to 3.626 under GPT-4o, a 17.57% relative increase, and from 3.368 to 3.919 under DeepSeek-R1, a 16.36% increase. It is not a universal quality gain. The authors tune alpha using accuracy on the same MBTI-MCQA set that is later reported in the table and included in Overall, so the tuned figure is not a clean held-out estimate. The role-play study evaluates 100 synthetic ALOE-derived profiles with training annotations generated by ChatGPT-4o. GPT-4o gives SCR 4.167 and MOD 4.166; DeepSeek-R1 slightly favors MOD at 4.241 over SCR at 4.230. There is no human evaluation, uncertainty interval, statistical test, inter-judge agreement or analysis of generation variance. In the efficiency study, three runs over 100 prompts with at most 128 new tokens give SCR 97 tokens/s and 1.20 s per sequence, versus 120 and 1.07 for Base, 60 and 2.13 for MOD, 11 and 11.64 for sequence rejection sampling and 30 and 4.27 for token rejection sampling. Hardware is unspecified and only means are reported. The central reservation is mathematical. Equation 7 retains the inverse gradient required by the regularized optimum, but Equations 9-10 remove it because it is monotonic and state that a weighted sum of log(r_i)+1 is proportional to a weighted sum of r_i. It is not: under reverse KL, applying the inverse yields an exponential or weighted-product combination, not SCR's arithmetic sum. Preserving order does not preserve the probability magnitudes required by rejection sampling. In addition, M is an observed sliding-window maximum rather than a global envelope; if a larger score appears, clipping acceptance at one biases the sample. The paper initially requires nonnegative alpha values summing to one and the algorithm computes log(alpha), yet later allows negative weights and reports [1,0,-9,-3] for INFJ. Clipping the resulting score at zero defines a different heuristic, not the previously derived target. The tables may therefore describe the empirical behavior of a heuristic, but they do not validate the claim that SCR samples exactly from the theoretical target. The publication is also not reproducible end to end. The official repository at audited commit 57626f1 has 16 files: data, READMEs and two prompt-constant files. It contains no MPG/SCR implementation, training or evaluation code, adapters, outputs, raw judgments, dependency environment, tests, CI or license. The six public datasets contain 21,917 preference pairs and likewise declare no license or detailed provenance. There are 426 byte-identical chosen/rejected pairs and 806 equivalent pairs after stripping quotation or User Message wrappers. In role-play, 2,933 of 7,000 rejected answers carry that wrapper while no chosen answer does, giving the model a formatting shortcut unrelated to personality. The two role-play datasets also have 25 exact train/test prompt overlaps and share 70 prompts with one another. The faithful conclusion is narrow: the unreleased implementation obtains higher MBTI means than Base under two LLM judges and a favorable speed trade-off in the reported experiment. Exact sampling, psychometric validity, significance, generalization and reproducibility are not established.