Lokale Sprachmodelle im Benchmark

Sieben KI-Modelle — sechs frei verfügbare plus ein intern MTP-optimiertes Qwen3.5-27B —, vier Testklassen, ein Apple-M4-Pro-Rechner: alle Modelle laufen komplett lokal. Die Matrix zeigt, wo jedes Modell steht: Allround-Zuverlässigkeit, deutsche Sprachkompetenz, Klausur-Assistenz — und neu die agentische Lead-Recherche (N-Klasse) mit Anti-Halluzinations-Härtetest. Stand: 2026-08-09.

Kernaussagen

Testklassen
Test-Typ (DS)
Modus
Modelle
≥ 85 % — stark 65–84 % — solide 40–64 % — schwach < 40 % — unzureichend FAIL Kernprüfung gerissen DNF nicht abgeschlossen SIEGER N-Agent-Verdikt — qualitativ, kein Punktwert Spalten klickbar = sortieren · gepunktete Werte haben Hinweise (Hover/Fokus)

Glossar — was messen die Testklassen?

Allround-Suite (108 Einzelprüfungen)

27 Tests zu strukturierter Ausgabe (JSON), Instruktionstreue, Logik und mehrstufigen Aufgaben — misst die generelle Zuverlässigkeit eines Modells als Arbeitswerkzeug. Dazu: bestandene Tests (PASS von 27) und Decode-Tempo in Token pro Sekunde.

Das Feld liegt eng beisammen (95–105 von 108) — die Unterschiede zeigen sich erst in den Spezialklassen.

DS-Klasse — deutsche Sprachkompetenz

Sieben Disziplinen. Nur zwei trennen das Feld wirklich (D = diskriminierend), die übrigen bestehen alle Modelle (B = Boden-Test, Grundfähigkeit nachgewiesen):

  • DS1 Grammatik D — 11 eingebaute Fehler finden (Kasus, Tempus, Konjunktiv)
  • DS2 Register B — lockeren Text in förmliche Korrespondenz umschreiben
  • DS3 Idiomatik D — verdrehte Redewendungen erkennen, korrekte stehen lassen
  • DS4 Fachtext B — Vertragsklauseln verstehen, nichts dazuerfinden
  • DS5 Zusammenfassung B — faktentreu auf 120 Wörter verdichten
  • DS6 Orthographie B — Umlaute, ß/ss, Zusammenschreibung exakt
  • DS7 Übersetzung B — EN→DE mit Fachbegriffen, Zahlenformaten, falschen Freunden

K-Klasse — Klausur-Assistenz

Kann das Modell eine Schülerarbeit vorkorrigieren? Fachfehler erkennen, wörtlich belegen und das Ergebnis als maschinenlesbares JSON liefern — je 10 Prüfpunkte, zwei davon sind Kernprüfungen (Zitate wörtlich + JSON gültig).

  • K1 Deutsch — Gedichtinterpretation
  • K2 Englisch — B2-Essay mit typischen DE→EN-Fehlern
  • K3 Biologie — Fachfehler + Operator-Verfehlung („bewerten“ statt „beschreiben“)

Größte Hürde war gültiges JSON bei deutschen Anführungszeichen — gelöst durch erzwungene Ausgabegrammatik (constrained decoding). Verbleibende Ausfälle: gpt-oss (durchgängig) und thinkingcap in K1 (Über-Reasoning sprengt das Token-Budget).

N-Klasse — agentische Lead-Recherche

Kann das Modell als Agent (n8n-Workflow mit Websuche) eine Firma recherchieren, ihren Status korrekt beurteilen und das Ergebnis als Schema-JSON abliefern? Die Kernfälle sind Anti-Halluzinations-Köder: zwei real gelöschte Firmen (§ 394 FamFG) und eine findbare Firma mit berühmtem Namensvetter.

Bewertet wird qualitativ auf getrennten Achsen — Urteil, Schema-Treue, Aufwand — denn sauberes JSON allein verdeckt Halluzination: ein formal perfekter „aktiv“-Datensatz für eine gelöschte Firma ist das gefährlichste Ergebnis.

Modus: think / nothink

think = das Modell „denkt“ vor der Antwort sichtbar nach (Reasoning) — kostet deutlich Zeit und Tokens. nothink = direkte Antwort für hohen Durchsatz.

Auf der Allround-Suite bringt Thinking nur ±2 von 108. Bei deutscher Idiomatik dagegen +3 bis +4 von 8: das vorschnelle „Korrigieren“ gültiger Redewendungen verschwindet, wenn das Modell seine Einschätzung zweitprüft.

Die sieben Modelle in einem Satz