Температура
Одной фразой: температура задаёт, насколько смелый выбор. Низкая почти всегда берёт самый вероятный токен, высокая даёт неожиданные слова и больше ошибок.
Что происходит внутри
Заголовок раздела «Что происходит внутри»На каждом шаге модель ставит каждому из 4096 известных ей токенов оценку, логит. Чтобы превратить оценки в шансы, студия делит каждую оценку на температуру и применяет softmax.
- Маленькая температура (0,2): разрывы между оценками растут, и фаворит забирает ещё больше.
- Большая температура (1,2): разрывы сглаживаются, шансы выравниваются, и редкие токены получают реальный шанс.
Потом один токен вытягивается случайно, с учётом этих шансов. Температура не меняет то, что модель знает. Она меняет только то, как взвешен жребий.
Настоящий шаг
Заголовок раздела «Настоящий шаг»История к этому моменту: «Once upon a time there was a little girl named Lily. She loved to play with her toys and». Это одни и те же оценки модели при трёх температурах, top-k 40:
| Температура | her | run | read | sing |
|---|---|---|---|---|
| 0,2 | 43% | 31% | 25% | 0,7% |
| 0,6 (по умолчанию) | 29% | 26% | 24% | 7% |
| 1,2 | 15% | 14% | 14% | 8% |
При 0,6 модель на самом деле вытянула read, третий вариант, и история продолжилась словами «read books». При 0,2 «sing» почти исчезает. При 1,2 первые три почти равны, а токены за пределами первой пятёрки вместе забирают 43% шансов, и в текст начинают пробираться странные слова.
Где это в студии
Заголовок раздела «Где это в студии»
Ползунок температуры первый в карточке «Сэмплинг», и в Гайде, и в Лабе. Он идёт от 0,05 до 1,5, по умолчанию 0,6. Кандидаты, которые он перекраивает, в панели «Логиты», под строкой «Модель выбирала между».
Ползунок сразу пересчитывает историю с тем же seed, поэтому всё, что меняется, меняет именно температура. Учтите: как только меняется один ранний токен, всё после него становится другой историей.
Попробуйте
Заголовок раздела «Попробуйте»Потом двигайте ползунок температуры и смотрите, как столбики под «Модель выбирала между» заостряются и выравниваются.
В micro-qwen3
Заголовок раздела «В micro-qwen3»Мы выбрали 0,6, измерив 200 заказов историй из трёх слов:
| Температура | Все три слова на месте | Повторы фраз из 4 слов | История заканчивается сама |
|---|---|---|---|
| 0,5 | 99,5% | 7,2% | 87,5% |
| 0,6 | 100% | 4,5% | 87,0% |
| 0,7 | 98,0% | 4,0% | 82,0% |
| 0,8 | 99,5% | 2,0% | 82,5% |
| 1,0 | 99,0% | 0,7% | 81,5% |
От 0,5 к 0,6 повторы падают больше чем на треть, а истории так же часто заканчиваются сами. Выше 0,7 модель начинает выдумывать слова и реже доводит историю до конца.
Связанные термины
Заголовок раздела «Связанные термины»- Top-k решает, сколько кандидатов вообще получают шанс; температура потом распределяет шансы между ними.
- Seed фиксирует случайный жребий: тот же seed и те же настройки дают ту же историю.
- Логиты: сырые оценки, которые температура делит.