Temperatur & Sampling-Visualizer
Sieh, wie die Temperatur die Wahrscheinlichkeitsverteilung der nächsten Token formt — von deterministisch (T=0) bis chaotisch (T=2).
1. Text eingeben
2. Temperatur einstellen
3. Token-Wahrscheinlichkeiten
Wahrscheinlichkeiten werden geladen…
Live-Anpassung im Browser — Slider bewegen, Werte ändern sich sofort ohne neuen API-Aufruf.
| Token | Rohes Logit | Skaliert (÷T) | Softmax-W. |
|---|
Bei T ≈ 0 wird durch eine sehr kleine Zahl geteilt — die skalierten Logits sind dann extrem groß; nur der größte überlebt das Softmax-„Aufblähen“.
4. Text generieren
LLM generiert Text…
Mathematik & Intuition
Softmax mit Temperatur
P(tokeni) = exp(logiti / T) / Σj exp(logitj / T)
Aus rohen Logits werden Wahrscheinlichkeiten: jedes Logit wird durch T geteilt, anschließend exponentiert und normiert.
Intuition
Bei T = 0 wählt das Modell immer den wahrscheinlichsten Token — greedy, immer dieselbe Antwort. Bei T = 1 ist es das „rohe“ Modell. Bei T = 2 wird die Verteilung flacher — auch unwahrscheinlichere Tokens bekommen eine reale Chance, die Ausgabe wird kreativer aber auch unsinniger.