kurz erklärt

Model Drift

Modelle haben Tagesform: Dasselbe Modell, dieselbe Anfrage — eine andere Antwort, je nach Auslastung und stiller Nachbesserung beim Anbieter.

Der Begriff kommt aus dem Machine Learning und meinte dort etwas Eindeutiges: Ein trainiertes Modell wird schlechter, weil die Welt sich weiterdreht. Betrugsmuster ändern sich, Märkte kippen, die Trainingsdaten altern. Die Covid-Pandemie ließ nahezu alle Nachfrage- und Betrugserkennungsmodelle gleichzeitig driften, und wer nicht maß, merkte es erst an den Geschäftszahlen. Das Gegenmittel war bekannt und langweilig: überwachen, nachtrainieren.

Wer heute ein Foundation Model mietet, erlebt etwas anderes. Das Modell altert nicht — es bewegt sich. Am eigenen Code ändert sich nichts, an den eigenen Daten nichts, und trotzdem fällt die Antwort anders aus als vergangene Woche. Anbieter justieren laufend: Gewichte, Sicherheitsfilter, Rechengenauigkeit. Angekündigt wird davon das Wenigste.

Im Tagesverlauf zeigt sich das am deutlichsten. Vormittags europäischer Zeit arbeitet es sich ruhig — Asien hängt an eigenen Modellen, die USA schlafen. Ab Mittag wird es zäh, am Nachmittag sinken Antwortzeit und Ergebnisqualität spürbar. Die naheliegende Erklärung: Unter Last verteilen Anbieter Kapazität um und nehmen die Denktiefe zurück, was bei nachdenkender KI unmittelbar auf die Qualität durchschlägt. Bestätigt hat das kein Anbieter, dokumentiert ist es nirgends. Täglich beobachten lässt es sich trotzdem — weshalb zu jedem ernsthaften Modellvergleich die Uhrzeit gehört.

Der vermeintliche Ausweg, sich auf eine Modellversion festzulegen, ist keiner: Anbieter streichen Versionen, wann es ihnen passt. Es gibt Zusicherungen für Verfügbarkeit, keine für Verhalten.

Für Innovationsprozesse heißt das: Wer KI in Analyse oder Entscheidungsvorbereitung einbaut, mietet keine Konstante. Das System meldet keinen Fehler, es gewichtet nur anders als gestern — und genau deshalb fällt es niemandem auf, bis die Ergebnisse nicht mehr stimmen. Eigene Regressionstests und mehr als ein Anbieter sind keine Vorsichtsmaßnahme, sondern die Betriebsbedingung. Wer das dem Anbieter überlässt, hat die Kontrolle über sein Ergebnis bereits abgegeben.