kurz erklärt

LLM in a Pocket

Sprachmodelle ziehen vom Rechenzentrum auf das persönliche Endgerät — sie rechnen in der Tasche, offline und ohne dass Daten es verlassen.

KI zieht um. Was bisher in Rechenzentren lief, wandert auf Telefone, Tablets und Notebooks — in der Fachsprache On-Device-KI. Möglich wurde das durch Hardware, die längst verbaut ist: Apple Silicon seit 2020, ARM-Prozessoren mit Neural Engine, die Chips aktueller Mobiltelefone. Dazu kommen Modelle wie Llama, Gemma, Qwen, Mistral oder Gemini Nano, das Google seit Anfang 2026 mit rund vier Gigabyte in Chrome ausliefert. Frameworks wie WebLLM führen Modelle sogar direkt im Browser aus, ohne Server und ohne API-Schlüssel.

Die eigentliche Nachricht ist nicht die Technik, sondern der Preis. 2025 brauchte es für brauchbare Inferenz auf eigener Hardware noch fünfstellige Beträge. Ein Jahr später genügt ein Apple-Silicon-Rechner im niedrigen vierstelligen Bereich.

Lokal ist dabei das ungenauere Wort. Ein Modell im deutschen Rechenzentrum läuft auch lokal — es sagt etwas darüber, wem die Infrastruktur gehört, nicht darüber, wo gerechnet wird. Der Unterschied ist das Endgerät: Vertrauliche Daten bleiben dort, weil sie nirgendwo hingehen. Es fallen keine Kosten pro Anfrage an, die Nutzung skaliert also nicht mit dem Erfolg. Und die Werkzeuge funktionieren ohne Netz — im Werk, im Flugzeug, beim Kunden.

Der Haken sitzt eine Ebene tiefer. Auf dem Gerät heißt nicht souverän. Das Betriebssystem entscheidet, welche Modelle überhaupt laufen dürfen, und Langzeitgedächtnis wie Kontext wandern oft doch wieder zum Anbieter. Wer das Modell kontrolliert, entscheidet am Ende, ob persönlich und lokal wirklich persönlich und lokal bedeutet — oder nur eine neue Form von Plattformabhängigkeit ist. Offene Modelle und offene Formate sind deshalb kein ideologischer Zusatz, sondern die Bedingung dafür, dass die Rechnung aufgeht.