Перейти к содержимому

Температура

Одной фразой: температура задаёт, насколько смелый выбор. Низкая почти всегда берёт самый вероятный токен, высокая даёт неожиданные слова и больше ошибок.

На каждом шаге модель ставит каждому из 4096 известных ей токенов оценку, логит. Чтобы превратить оценки в шансы, студия делит каждую оценку на температуру и применяет softmax.

  • Маленькая температура (0,2): разрывы между оценками растут, и фаворит забирает ещё больше.
  • Большая температура (1,2): разрывы сглаживаются, шансы выравниваются, и редкие токены получают реальный шанс.

Потом один токен вытягивается случайно, с учётом этих шансов. Температура не меняет то, что модель знает. Она меняет только то, как взвешен жребий.

История к этому моменту: «Once upon a time there was a little girl named Lily. She loved to play with her toys and». Это одни и те же оценки модели при трёх температурах, top-k 40:

Температура her run read sing
0,2 43% 31% 25% 0,7%
0,6 (по умолчанию) 29% 26% 24% 7%
1,2 15% 14% 14% 8%

При 0,6 модель на самом деле вытянула read, третий вариант, и история продолжилась словами «read books». При 0,2 «sing» почти исчезает. При 1,2 первые три почти равны, а токены за пределами первой пятёрки вместе забирают 43% шансов, и в текст начинают пробираться странные слова.

Ползунок температуры в карточке «Сэмплинг» и кандидаты, которые он перекраивает, в панели «Логиты»

Ползунок температуры первый в карточке «Сэмплинг», и в Гайде, и в Лабе. Он идёт от 0,05 до 1,5, по умолчанию 0,6. Кандидаты, которые он перекраивает, в панели «Логиты», под строкой «Модель выбирала между».

Ползунок сразу пересчитывает историю с тем же seed, поэтому всё, что меняется, меняет именно температура. Учтите: как только меняется один ранний токен, всё после него становится другой историей.

Открыть этот шаг в студии

Потом двигайте ползунок температуры и смотрите, как столбики под «Модель выбирала между» заостряются и выравниваются.

Мы выбрали 0,6, измерив 200 заказов историй из трёх слов:

Температура Все три слова на месте Повторы фраз из 4 слов История заканчивается сама
0,5 99,5% 7,2% 87,5%
0,6 100% 4,5% 87,0%
0,7 98,0% 4,0% 82,0%
0,8 99,5% 2,0% 82,5%
1,0 99,0% 0,7% 81,5%

От 0,5 к 0,6 повторы падают больше чем на треть, а истории так же часто заканчиваются сами. Выше 0,7 модель начинает выдумывать слова и реже доводит историю до конца.

  • Top-k решает, сколько кандидатов вообще получают шанс; температура потом распределяет шансы между ними.
  • Seed фиксирует случайный жребий: тот же seed и те же настройки дают ту же историю.
  • Логиты: сырые оценки, которые температура делит.