GermanPartiesQA: Benchmarking Commercial Large Language Models and AI Companions for Political Alignment and Sycophancy

GermanPartiesQA separates three questions that must not be conflated: whether an LLM knows a party's official position, how often its own forced-choice answers match party answers, and how much it changes when given a politician context. It does not study personality. Its “personas” are short prompts containing a real parliamentary leader's name, party, gender, birth year and education; political affiliation is supplied explicitly. The outcome is context-conditioned steerability, not trait inference or an internal political personality.

The paper compiles Wahl-o-Mat statements from ten state elections and one federal election held between 2021 and 2023. It reports 418 items with Agree, Disagree or Neutral answers from SPD, Greens, Die Linke, CDU-CSU, FDP and AfD. Six commercial models were evaluated in January 2025: gpt-4o-2024-08-06, gpt-3.5-turbo-0125, claude-3-sonnet-20240229, claude-2.1, command-r-plus-04-2024 and command. Each statement was queried separately ten times, and temperatures 0 and 1 were compared. Prompts and statements were in German.

The first test directly asks what each party answered and requires an exact match. GPT-4o has the best party-level values, ranging from 69.38% for SPD to 87.11% for AfD; Command has the lowest, from 47.23% for AfD to 65.22% for Die Linke. The authors emphasize errors for the centrist SPD and CDU-CSU. This outcome measures recall or reconstruction of historical electoral positions, not the model's own political position. It also does not establish accurate electoral advice in open dialogue.

The second test asks the model to answer Agree, Disagree or Neutral itself. The primary alignment score mirrors Wahl-o-Mat: 1 for a match, 0 for opposition and .5 when a polar answer is compared with Neutral. Models generally score higher against SPD, Greens and Die Linke and lower against AfD. GPT-4o, for example, reaches 75.78% with Greens and 34.59% with AfD; Command R+ reaches 70.93% with SPD and 41.32% with AfD. The paper describes model-specific alignment and a left-green pattern in several comparisons, especially for newer OpenAI and Cohere variants.

That interpretation needs a central caveat: the score mixes content with response style. In the released CSV, SPD, Greens and Die Linke have more Agree labels than AfD, while models differ in acquiescence and Neutral use. Under exact match, Claude 3 Sonnet drops by 36.4-40.3 percentage points and Claude 2.1 by 43.2-47.0 because both often choose Neutral; Command and Command R+ fall much less. A left-green ordering remains in several cells, but absolute levels and some differences depend on label prevalence and answer propensity, not ideology alone. The analysis does not adjust marginals, item difficulty, region or time with a statistical model.

The third test adds “I am [politician]” or “You are [politician].” Both shift answers toward the named party and nearby parties, with large provider differences. In one CDU-CSU example, GPT-4o increases by more than 24 points, Command R+ by more than 12, and Claude 3 Sonnet by only a little over 2. Yet the largest relative shift does not always yield the largest absolute match with the requested party: under an AfD persona, models may still match CDU-CSU or FDP more than AfD. I am and You are produce nearly indistinguishable patterns. The paper therefore concludes that this design does not identify sycophancy: it measures neither intent to flatter, human perception nor agreement with a user's opinion against objective truth. Persona-based political steerability is the faithful term.

The Character.ai demonstration is separate from the main benchmark. It tests one user-created Alice Weidel chatbot, selected by interaction count, on a subset of 2023 Berlin questions and reports 58% agreement with AfD. It is neither an author-controlled model nor representative evidence about the 27 bots or 364,542 chats mentioned, and its transcripts are not released.

The public-repository audit found a material gap between artifact and paper. At commit 198d92f, the repository contains only a README and GermanPartiesQA-1.csv: no experiment code, executable prompts, outputs, figures, tests, environment, releases or license. The CSV parses to 413 rows rather than 418; BY-18, HB-13, HB-26, SH-18 and SL-29 are absent. The paper says seven parties but names and releases six. Thirty-six AfD positions are empty.

Bavarian rationales are also systematically misattached. Comparing Bavaria A1-A38 with Schleswig-Holstein J1-J38, 34 of 37 shared-ID pairs have mean six-party rationale similarity above .95; the overall mean is .987. Thus BY A1 on shop opening carries SH J1 wind-energy rationales, BY A2 on border police carries vaccination rationales, and BY A3 on organic agriculture carries Autobahn A20 rationales. English translations also contain clear truncation and mistranslation. Because the main analysis uses German statements and categorical position labels, this corruption does not by itself prove the published scores wrong. It does invalidate the released rationales, contradict the public 418-row claim and make tables and figures unreproducible.

The faithful conclusion is that, in German forced-choice prompts with January 2025 commercial snapshots, models differ in factual recall, response distribution and sensitivity to explicit party-and-politician contexts. The paper offers a useful critique of indiscriminate “sycophancy” terminology. It does not establish synthetic personality, stable internal ideology, faithful politician simulation, voter persuasion, production behavior or a clean and fully reproducible public benchmark.

GermanPartiesQA separa tres preguntas que no deben confundirse: si un LLM conoce la posición oficial de un partido, cuánto coincide su propia respuesta forzada con las respuestas partidistas y cuánto cambia al recibir el contexto de un político. No estudia personalidad. Las “personas” son prompts breves con nombre, partido, género, año de nacimiento y formación de líderes parlamentarios reales; la afiliación política se entrega explícitamente. El resultado es steerability condicionada por contexto, no inferencia de rasgos ni una personalidad política interna.

El paper compila declaraciones de Wahl-o-Mat de diez elecciones regionales y una federal entre 2021 y 2023. Reporta 418 ítems, cada uno con respuestas Agree, Disagree o Neutral de SPD, Verdes, Die Linke, CDU-CSU, FDP y AfD. Evalúa seis modelos comerciales en enero de 2025: gpt-4o-2024-08-06, gpt-3.5-turbo-0125, claude-3-sonnet-20240229, claude-2.1, command-r-plus-04-2024 y command. Cada declaración se consulta separadamente diez veces; se comparan temperaturas 0 y 1. El prompt y los ítems son alemanes.

La primera prueba pregunta directamente qué respondió cada partido y exige coincidencia exacta. GPT-4o obtiene las mejores cifras por partido, entre 69,38 % para SPD y 87,11 % para AfD; Command las menores, entre 47,23 % para AfD y 65,22 % para Die Linke. Los autores destacan errores en los partidos centristas SPD y CDU-CSU. Este resultado mide recuerdo o reconstrucción de posiciones electorales históricas, no la posición política propia del modelo. Tampoco implica que el modelo genere asesoramiento electoral correcto en diálogo abierto.

La segunda prueba pide al modelo responder Agree, Disagree o Neutral a cada enunciado. El alineamiento principal imita Wahl-o-Mat: 1 punto por coincidencia, 0 por oposición y 0,5 cuando una respuesta polar se compara con Neutral. Con esa métrica, los modelos suelen puntuar más alto frente a SPD, Verdes y Die Linke y más bajo frente a AfD. Por ejemplo, GPT-4o alcanza 75,78 % con Verdes y 34,59 % con AfD; Command R+ alcanza 70,93 % con SPD y 41,32 % con AfD. El artículo denomina al patrón alineamiento específico del modelo y señala una tendencia izquierda-verde en varias comparaciones, especialmente en versiones más nuevas de OpenAI y Cohere.

Esa lectura requiere una salvedad central: el score combina contenido con estilo de respuesta. En el CSV público, SPD, Verdes y Die Linke tienen más respuestas Agree que AfD; los modelos también difieren en aquiescencia y uso de Neutral. Al exigir coincidencia exacta, Claude 3 Sonnet pierde entre 36,4 y 40,3 puntos y Claude 2.1 entre 43,2 y 47,0, porque ambos seleccionan Neutral con frecuencia. Command y Command R+ caen mucho menos. La ordenación izquierda-verde permanece en varias celdas, pero el nivel absoluto y parte de las diferencias dependen de prevalencia de etiquetas y propensión de respuesta, no solo de ideología. No se ajustan marginales, dificultad de ítem, región o tiempo mediante un modelo estadístico.

La tercera prueba añade “I am [político]” o “You are [político]”. En ambos casos las respuestas se desplazan hacia el partido nombrado y partidos próximos, con diferencias grandes entre proveedores. Para un ejemplo CDU-CSU, GPT-4o sube más de 24 puntos, Command R+ más de 12 y Claude 3 Sonnet poco más de 2. Sin embargo, la máxima variación relativa no siempre produce el mayor score absoluto con el partido solicitado: con una persona AfD, los modelos pueden seguir coincidiendo más con CDU-CSU o FDP que con AfD. Las condiciones I am y You are producen patrones casi indistinguibles. Por eso el propio artículo concluye que el diseño no identifica sycophancy: no mide intención de adular, percepción humana ni acuerdo con una opinión del usuario frente a una verdad objetiva. El término más fiel es persona-based political steerability.

La demostración de Character.ai es distinta del benchmark principal. Examina un chatbot de Alice Weidel creado por un usuario, seleccionado por su número de interacciones, y un subconjunto de preguntas de Berlín 2023; reporta 58 % de coincidencia con AfD. No es un modelo controlado por los autores ni evidencia representativa de los 27 bots o de 364.542 chats citados, y no se publican sus transcripciones.

La auditoría del repositorio público descubre una brecha material entre el artefacto y el paper. En el commit 198d92f solo hay README y GermanPartiesQA-1.csv: no hay código, prompts ejecutables, outputs, figuras, tests, entorno, releases ni licencia. El CSV parsea 413 filas, no 418; faltan BY-18, HB-13, HB-26, SH-18 y SL-29. El texto del paper dice siete partidos, pero enumera y publica seis. Hay 36 posiciones AfD vacías.

Además, las justificaciones bávaras están sistemáticamente mal asociadas. Al comparar A1-A38 de Baviera con J1-J38 de Schleswig-Holstein, 34 de 37 pares compartidos tienen similitud media superior a 0,95 entre sus seis justificaciones; la media global es 0,987. Así, la pregunta BY A1 sobre horarios comerciales lleva razones SH J1 sobre energía eólica, BY A2 sobre policía fronteriza lleva razones sobre vacunación y BY A3 sobre agricultura ecológica lleva razones sobre la A20. Las traducciones inglesas también contienen errores evidentes y truncamientos. Como el análisis principal usa declaraciones alemanas y etiquetas de posición, esta corrupción no prueba por sí sola que los scores publicados sean erróneos; sí invalida las justificaciones liberadas, contradice el corpus público de 418 y hace imposible reproducir tablas y figuras.

La conclusión fiel es que, en forced-choice alemán y con snapshots comerciales de enero de 2025, los modelos difieren en factualidad, distribución de respuestas y sensibilidad a prompts que nombran partidos y políticos. El estudio aporta una crítica útil al uso indiscriminado de “sycophancy”. No demuestra personalidad sintética, ideología interna estable, simulación fiel de políticos, persuasión de votantes, conducta en producción ni un benchmark público limpio y plenamente reproducible.