kurz erklärt
Verbalized Sampling
Verbalized Sampling zwingt LLMs zur Vielfalt: statt einer Standardantwort generiert das Modell mehrere Optionen mit Wahrscheinlichkeiten — gegen Mode Collapse.
Nach dem RLHF-Training tendieren Large Language Models zu Mode Collapse: Sie geben immer dieselbe sichere, typische Antwort — weil menschliche Bewerter vertraute Antworten bevorzugen und das Modell auf Konformität konditioniert wird. Verbalized Sampling durchbricht diesen Kreislauf mit einem einfachen Trick: Statt nach einer Antwort zu fragen, wird das Modell gebeten, mehrere Optionen mit zugehörigen Wahrscheinlichkeiten zu generieren — und aus dieser selbst erstellten Verteilung zu samplen.
Die Technik braucht kein Nachtraining — sie funktioniert heute mit ChatGPT, Claude, Gemini oder Llama, modell-agnostisch und ohne Code oder Feintuning. Statt „Schreib 5 Ideen für ein Workshop-Format“ besser: „Generiere 10 Workshop-Ideen und vergib jeder eine Wahrscheinlichkeit, wie oft du sie generieren würdest.“ Ergebnis laut CHATS Lab (2025): 1,6–2,1-fache Diversitätssteigerung bei gleichbleibender Qualität — besonders wirksam bei Ideengenerierung, kreativem Schreiben und synthetischen Datensätzen.
Innovationsarbeit braucht Vielfalt — divergente Perspektiven, unerwartete Kombinationen, unfertige Ideen. Standard-LLM-Outputs tendieren zum Gegenteil: sicherer Mainstream, mittlere Erwartung erfüllt. Verbalized Sampling ist deshalb ein unterschätztes Werkzeug für Kreativmethoden: ob Ideation, Personas oder Szenarioentwicklung — wer die Verteilungsintelligenz des Modells anzapft statt nur den Modus, bekommt echte Ausreißer.
Verbalized Sampling ist das technische Gegenstück zu KI-Sycophancy: Sycophancy tritt auf, weil Modelle auf den wahrscheinlichsten Gefallen konditioniert sind — Verbalized Sampling holt bewusst die weniger wahrscheinlichen, aber validen Antworten zurück. Direkte Verbindungen gibt es auch zu Synthetic Data und Reinforcement Learning: diverse Trainingsdaten reduzieren zukünftigen Mode Collapse — ein selbstverstärkender Kreislauf in beide Richtungen.
Die Diversität steckt noch immer in den Pre-Training-Gewichten der Modelle — RLHF unterdrückt sie nur. Verbalized Sampling macht diese latente Vielfalt zugänglich, ohne Modelle neu zu trainieren. Mit zunehmender Verbreitung von Agentic AI und Multi-Agenten-Systemen wird Diversitätskontrolle auf Ausgabe-Ebene noch wichtiger — damit autonome KI-Pipelines nicht in monolithischen Antwortmustern erstarren.
Agentic AI · KI-Sycophancy (Human Pleasing) · Large Language Model (LLM) · Prompt Engineering · Synthetic Data