Benchmark-Serie · Lokale KI
Wie klein darf es sein?
Die Suche nach dem kleinsten KI-Modell, das noch liefert
Der übliche Reflex bei lokaler KI heißt: aufrüsten — mehr Euro, größere Grafikkarte, mehr VRAM. Wir gehen den umgekehrten Weg: nicht die Hardware vergrößern, sondern das Modell verkleinern, bis es auf die Karte passt, die ohnehin schon im Rechner steckt (8-GB-Klasse). Wie klein darf es werden, bevor es zerbricht?
VRAM-Budget einer günstigen Consumer-Grafikkarte
Der umgekehrte Weg zum üblichen Reflex: nicht aufrüsten, sondern das Modell so weit verkleinern, dass es auf die Karte passt, die ohnehin schon im Rechner steckt.
die kleinste Klasse, die den vollen Agenten noch trägt
Rund 5 GB im Speicher, passt knapp in 8 GB. Auf den beiden schwersten Testseiten acht von acht Feldern korrekt, null erfundene Werte.
hier bricht die Agenten-Fähigkeit — der Boden
Passt locker in 8 GB, liefert aber nicht mehr: Zwei Modelle aus verschiedenen Familien scheitern am mehrschrittigen Ablauf.
Das Ziel
Ein kompletter KI-Agent auf einer 8-GB-Grafikkarte
Wenn eine lokale KI nicht rund läuft, ist der erste Reflex fast immer derselbe: Hardware auf das Problem werfen. Eine größere Grafikkarte, mehr VRAM, ein dickerer Rechner. Dieser Artikel geht bewusst den entgegengesetzten Weg — höchstmögliche Effizienz statt Aufrüsten. Die Frage ist nicht „welche Grafikkarte muss ich kaufen, damit es läuft", sondern „wie klein darf das Modell sein, damit es auf der Hardware läuft, die schon da ist". Das ist kein Sparzwang, sondern eine Haltung: die clevere Lösung schlägt die Materialschlacht.
Bei Cloud-KI stellt niemand die Größenfrage — man mietet das große Modell und zahlt pro Anfrage. Sobald KI aber lokal laufen soll, weil vertrauliche Daten das Haus nicht verlassen dürfen, dreht sich die Rechnung um: Jetzt bestimmt die Modellgröße die Hardware, und die Hardware steht beim Kunden. Je kleiner das Modell, desto günstiger die Maschine, desto weniger Strom, desto niedriger die Investition.
Also haben wir uns ein konkretes, bewusst knappes Ziel gesetzt: einen vollständigen KI-Agenten auf einer günstigen 8-GB-Grafikkarte — die Sorte Karte, die in vielen normalen Büro-Rechnern ohnehin steckt, in der Preisklasse von ein paar hundert Euro. Kein Rechenzentrum, kein Serverraum. Die 8 Gigabyte sind der Arbeitsspeicher der Grafikkarte (VRAM), und in dieses Budget muss alles passen.
„Vollständiger Agent" heißt: Die KI liest nicht nur einen vorgelegten Text, sondern arbeitet selbstständig. Sie ruft eigenständig Webseiten ab, navigiert von der Startseite zum Impressum und liest dort vier feste Datenfelder heraus — Postleitzahl, Geschäftsführung, Handelsregisternummer, Umsatzsteuer-ID. Genau diese Selbstständigkeit ist die Hürde, an der kleine Modelle scheitern.
Die Frage ist damit nicht „geht lokal?", sondern: Wie klein darf das Modell werden, bevor die Qualität bricht? Die Antwort ist keine Glaubensfrage und kein Bauchgefühl. Sie ist messbar — und wir haben sie gemessen.
Der Rahmen in Stichworten
- Ziel-Hardware: eine 8-GB-Grafikkarte
- Aufgabe: selbstständige Stammdaten-Extraktion
- Vier Felder: PLZ, Geschäftsführung, Handelsregister, USt-ID
- Soll-Datensatz: 11 reale Firmen-Websites, 30 geprüfte Zellen
- Bewertung: dasselbe Skript für jedes Modell
- Ohne Cloud: alles bleibt auf der eigenen Maschine
Die Kandidaten
Wer tritt an — und wer passt überhaupt in 8 GB?
Bei quelloffenen Sprachmodellen führt in dieser Größenklasse derzeit kaum ein Weg an einer Familie vorbei: der Qwen-Reihe des chinesischen Anbieters Alibaba. Auch bei uns stellt sie — wenig überraschend — die meisten Anwärter. Alle Kandidaten laufen quantisiert: Die Zahlen im Modell werden mit weniger Genauigkeit gespeichert (hier 4-Bit), was den Speicherbedarf grob viertelt, ohne die Qualität nennenswert zu kosten.
Ein Wort zur ersten Zeile der Tabelle: Das 30-Milliarden-Modell ist ein Mixture-of-Experts-Modell — ein großes Modell, das pro Wort nur einen kleinen Teil seiner Bausteine aktiviert (hier rund 3 der 30 Milliarden). Es rechnet dadurch fast so schnell wie ein viel kleineres Modell, braucht aber trotzdem den Speicher des großen. Die anderen sind dichte Modelle: Jedes Wort nutzt das ganze Modell. Entscheidend fürs VRAM-Budget ist der belegte Speicher — und da fällt das 30-Milliarden-Modell aus dem 8-GB-Rahmen.
Kandidaten und ihr Speicherbedarf (4-Bit-Quantisierung)
| Modell-Klasse | Bauart | VRAM-Bedarf | Passt auf 8 GB? |
|---|---|---|---|
| 30-Milliarden-MoE | ~3 Mrd. aktiv je Wort · 4-Bit | über 8 GB | Nein — Budget gesprengt |
| 9-Milliarden, dicht | 9 Mrd. · 4-Bit | ~5 GB | Ja, knapp |
| 4-Milliarden, dicht | 4 Mrd. · 4-Bit | ~2,5 GB | Ja, komfortabel |
| 2-Milliarden, dicht | 2 Mrd. · 4-Bit | unter 2 GB | Ja, locker |
Damit ist das Feld sortiert. Drei Klassen passen ins Budget — 9, 4 und 2 Milliarden. Das 30-Milliarden-Modell nehmen wir als Vergleichspunkt mit, obwohl es die größere Maschine braucht: Es zeigt, was mit mehr Speicher möglich wäre. Die Frage für die 8-GB-Karte lautet nun: Welche der passenden Klassen liefert den vollen Agenten noch — und welche bricht?
Die Messlatte
Wie wir messen, ob ein Modell „noch liefert"
„Liefert noch" braucht eine harte Definition, sonst wird die ganze Übung Geschmackssache. Deshalb tritt jedes Modell gegen denselben Soll-Datensatz an — elf reale Firmen-Websites mit 30 von Hand geprüften Datenzellen — und wird vom selben Skript bewertet. Bevor wir absteigen, drei Begriffe, die die Messung erst belastbar machen.
Können ≠ Tun
Trennen, was das Modell kann, von dem, was der Betrieb zulässt
Wir messen getrennt: Was leistet das Modell, wenn wir ihm den Text direkt vorlegen — und was liefert es im vollen Ablauf, in dem es selbst navigiert und Seiten abruft? Scheitert der volle Ablauf, während die reine Extraktion gelingt, liegt das Problem im Betrieb, nicht in der Modellgröße. Diese Trennung verhindert das häufigste Fehlurteil.
Lücke ≠ Fehler
Ein leeres Feld ist etwas anderes als ein erfundenes
Ein Modell, das ein Feld leer lässt, ist fundamental anders als eines, das eine falsche Handelsregisternummer erfindet — eine sogenannte Halluzination, ein plausibel aussehender, aber falscher Wert. Lücken kann man mit einem zweiten Anlauf füllen; Halluzinationen vergiften den Datenbestand unbemerkt. Für den Produktionseinsatz zählt „null erfundene Werte" mehr als der letzte Prozentpunkt Vollständigkeit.
Und weil ein Agent mehr ist als reines Textverständnis, prüfen wir auf dem Weg nach unten drei konkrete Fähigkeiten. Genau an ihnen wird sich zeigen, wo es bricht:
Werkzeuge aufrufen
Kann das Modell überhaupt einen maschinenlesbaren Befehl absetzen, um eine Aktion auszulösen — etwa eine Webseite abzurufen? Ohne das geht gar nichts.
Mehrere Schritte durchhalten
Findet es von der Startseite selbstständig den Weg zum Impressum — also mehrere Aktionen hintereinander, mit Zwischenergebnissen? Das ist der eigentliche Agenten-Teil.
Sauber abliefern
Gibt es am Ende ein maschinenlesbares, strukturiertes Ergebnis aus — die vier Felder in verwertbarer Form? Ein leeres oder formloses Ergebnis ist wertlos.
Der Abstieg
Stufe für Stufe kleiner
Ergebnis je Stufe auf demselben Soll-Datensatz
| Stufe | Ergebnis | Was es bedeutet |
|---|---|---|
| Cloud-Referenz (Websuche + Claude Haiku) | 100 % | Externer Maßstab — läuft nicht lokal, dient nur als Zielmarke. |
| 30-Milliarden-MoE (über Budget) | 100 % | Beste Qualität und am schnellsten — braucht aber mehr als 8 GB. |
| 9-Milliarden, dicht (passt knapp) | 8 / 8 | Volle Trefferquote auf den beiden schwersten Seiten, null Halluzinationen. |
| 4-Milliarden, dicht (passt locker) | Bruchpunkt | Fällt am mehrschrittigen Agenten-Ablauf — die Bruchkante im Detail weiter unten. |
| 2-Milliarden, dicht (passt locker) | nicht gefahren | Der Boden lag bereits eine Stufe höher — die Klasse war nicht mehr nötig. |
Die oberste lokale Stufe, das 30-Milliarden-Modell, erreicht die volle Punktzahl — dieselbe wie die Cloud-Referenz. Beeindruckend, aber es sprengt das 8-GB-Budget. Für unsere günstige Karte ist die entscheidende Zeile die darunter.
Das dichte 9-Milliarden-Modell mit rund 5 Gigabyte passt knapp in die 8 GB — und trägt den vollen Agenten. Auf den beiden schwersten Seiten des Datensatzes holt es alle acht Pflichtfelder korrekt, ohne einen einzigen erfundenen Wert. Alle drei Fähigkeiten sitzen: Es ruft Werkzeuge auf, hält mehrere Schritte durch bis zum Impressum, und liefert am Ende ein sauberes Ergebnis. Auf einer Seite fand es sogar beide eingetragenen Registernummern, wo das große 30-Milliarden-Modell nur eine lieferte. (Die vollständige Wertung über alle elf Seiten auf identischem Nenner steht noch aus; wir haben bewusst zuerst die härtesten Fälle gefahren, weil ein kleines Modell genau dort zuerst bricht.)
Bis hierhin lautet die Antwort auf die Leitfrage also: Ja, ein kompletter Agent läuft auf einer 8-GB-Karte — mit der 9-Milliarden-Klasse. Bleibt die spannendste Stufe: Geht es noch kleiner?
Die Bruchkante
Wo die 4-Milliarden-Klasse zerbricht
Die 4-Milliarden-Klasse passt mit rund 2,5 Gigabyte locker in die 8 GB — Speicher ist hier reichlich da. Und trotzdem liegt genau hier der Boden. Das Überraschende ist wo es bricht. Die erste Fähigkeit — Werkzeuge aufrufen — ist intakt: In einer isolierten Probe setzt das Modell die Befehle korrekt ab. Im vollen Agenten-Ablauf trägt es trotzdem nicht mehr.
Der erste getestete Vertreter (aus der Qwen-Familie) scheitert doppelt. Er ruft genau eine Seite ab — die Startseite — und navigiert nie zum Impressum: Fähigkeit 2, das Durchhalten über mehrere Schritte, kollabiert. Und in drei von vier Läufen bricht seine finale Ausgabe leer ab, null Zeichen, wo das Ergebnis stehen sollte: auch Fähigkeit 3 fällt. Der beste Lauf erreicht eine von vier Zellen.
War das nur die Schwäche dieses einen Modells? Um das auszuschließen, trat ein zweiter, unabhängiger 4-Milliarden-Vertreter an — aus einer ganz anderen Modellfamilie, ein ausgereiftes Textmodell mit sauberem Befehls-Verständnis. Auch er brach, in allen vier Läufen gleich. Dieses Modell erkannte sogar die richtige Impressum-Adresse — nur formulierte es den zweiten Werkzeug-Aufruf als gewöhnlichen Fließtext statt als maschinenlesbaren Befehl. Der Agent verstand ihn nicht, und der Ablauf endete nach der ersten Seite. Zwei verschiedene Familien, zwei verschiedene Bruchstellen, derselbe Boden: Keines der beiden Modelle erreichte je das Impressum.
Jede naheliegende Ausrede haben wir gemessen, nicht vermutet. Liegt es nur an diesem einen Modell? Zwei Familien brechen. Liegt es an der Speicher-Sparsamkeit? Ein Trick, der den Zwischenspeicher noch stärker komprimiert (und den größeren Modellen nichts anhaben kann), verschlechterte die 4-Milliarden-Klasse zusätzlich — jetzt brach schon der erste Werkzeug-Aufruf, und zum ersten Mal tauchten erfundene Webadressen auf. Liegt es am deutschen Text? Ein komplett englisches Testgerüst, bis hin zum englischen Werkzeugnamen, führte zu exakt demselben Bruch. Der Boden ist sprach-unabhängig. Das ist keine Marotte eines Modells, sondern eine Grenze der Größenklasse am mehrschrittigen Ablauf.
Und was viele zuerst vermuten würden — dass dem kleinen Modell auf knapper Hardware der Speicher ausgeht — trat gerade nicht ein. Der Speicherdruck fiel während der Läufe sogar; die 4-Milliarden-Klasse hatte im 8-GB-Budget reichlich Luft. Auch die reine Erkennungsqualität blieb intakt: Wo das Modell hinsah, sah es richtig. Es sah nur nicht weit genug, und es hielt die Form nicht durch. Der Bruch kam nicht über den Speicher und nicht über die Intelligenz beim Lesen — sondern über die Ausdauer beim Navigieren und die Disziplin beim Formatieren.
Das Fazit
Was auf 8 GB wirklich läuft
Die Antwort auf die Leitfrage ist klar: Ein kompletter, DSGVO-konformer KI-Agent läuft auf einer günstigen 8-GB-Grafikkarte — mit einem dichten 9-Milliarden-Modell. Es passt knapp ins Budget, trägt alle drei Agenten-Fähigkeiten und liefert auf den härtesten Fällen fehlerfrei, ohne einen erfundenen Wert.
Eine Stufe kleiner ist der Boden. Die 4-Milliarden-Klasse passt zwar mühelos in die 8 GB, bricht aber am mehrschrittigen Ablauf — bestätigt durch zwei Modelle aus verschiedenen Familien, mit und ohne stärkere Speicher-Kompression, auf Deutsch wie auf Englisch. Und sie bricht nicht dort, wo die Theorie es erwartet: nicht am Speicher, nicht an der Werkzeug-Fähigkeit, nicht an der Erkennung — sondern an Ausdauer und Formdisziplin.
Und hier schließt sich der Kreis zur Ausgangsthese. Der übliche Reflex hätte zur größeren Karte gegriffen — das 30-Milliarden-Modell liefert schließlich die Bestnote. Der Effizienz-Weg ging anders herum: von 30 auf 9 Milliarden Parameter heruntergestiegen, rund ein Drittel der Größe — und auf den härtesten Fällen dieselbe volle Trefferquote behalten. Gleiches Ergebnis, ein Drittel des Modells, auf der Grafikkarte, die ohnehin schon im Rechner steckt.
Statt einer Kaufempfehlung steht am Ende also eine Effizienz-Rechnung: kein Euro für Hardware-Aufrüstung, kein Serverraum, keine größere Karte — die schon vorhandene 8-GB-Klasse genügt. Das ist die clevere Lösung statt der Materialschlacht. Und die eigentliche Botschaft ist keine Zahl, sondern eine Methode.
Lohnt sich eine eigene Größen-Messung?
JA, die Messung zahlt sich aus
- Lokale KI ist wegen Datenschutz gesetzt — die Hardware bestimmt das Budget
- Der Workflow läuft in hoher Stückzahl — jede kleinere Modellklasse zahlt sich vielfach aus
- Es gibt einen überprüfbaren Soll-Datensatz — oder man kann einen bauen
- Die Aufgabe ist eng umrissen und wiederkehrend
NEIN, der Aufwand lohnt nicht
- Einmalige oder seltene Auswertung — der Messaufwand lohnt nicht
- Kein sauberer Vergleichsmaßstab vorhanden und keiner in Sicht
- Cloud ist ohnehin erlaubt und die Kosten sind vernachlässigbar
- Die Aufgabe wechselt ständig — jede Messung wäre sofort veraltet
Produktionsqualität ist keine Frage von Rechenzentren, sondern — richtig gemessen — von Hardware, die auf einen Schreibtisch passt. Die kleinste tragfähige Modellgröße steht in keiner Preisliste und keinem Benchmark-Ranking. Sie steht in Ihren Daten.
Weiterlesen
Werkzeuge und Serie
Welches Modell braucht Ihr Workflow?
Bevor Sie in KI-Hardware investieren
wulffIT steht für KI, Automatisierung und individuelle Lösungen, gerade bei den Grenzfällen, an denen Standardrezepte scheitern. Wir vermessen Ihren Anwendungsfall mit einem Soll-Datensatz und sauberem Scoring, bestimmen die kleinste tragfähige Modellklasse — und damit die günstigste Hardware, auf der Ihre KI DSGVO-konform im Haus läuft.