Лупа для нейросетей
TensorLupa запускает настоящую языковую модель прямо в браузере и показывает каждый шаг её работы: какие слова она взвешивала, какое выбрала и куда при этом смотрела.
Бесплатно, открытый код. Работает в браузере, ничего не нужно устанавливать.
Студии нужен большой экран. Откройте эту страницу на компьютере, вот ссылка:
tensorlupa.com
Наведите на любой токен и увидите, из чего она выбирала.
В студии: нажмите «Сгенерировать» и смотрите, как появляется история, потом подвиньте температуру, и та же история перепишется.
Что можно увидеть
История по токенам
Текст появляется по кусочку. Вернитесь к любому и посмотрите на этот момент.
Выбор
На каждом шаге модель оценивает все 4096 токенов, которые знает. Видно фаворитов, их шансы и какой выпал.
Внимание
На какие прежние слова модель смотрела перед выбором, по слоям и по головам.
Она выполняет инструкции, а не просто продолжает текст
Модели такого размера обычно умеют только продолжать начатый текст. micro‑qwen3 дообучена на инструкциях в формате чата: попросите историю со словами dragon, cookie и school, и она её напишет. Вдобавок придуманное мной правило декодирования подталкивает ещё не использованные слова, и толчок растёт, пока слово ждёт. Студия показывает его на каждом шаге.
Сколько заказанных слов попадает в историю (тестовые заказы из трёх слов):
- 5,7%модель до обучения инструкциям
- 64%после обучения инструкциям
- 100%с растущим толчком к неиспользованным словам
Один проект: от обучения до микроконтроллера
Внутри TensorLupa модель micro‑qwen3. Каждое звено цепочки я сделал сам:
- 1 056 656 параметров
Обучил
с нуля на детских историях, на ноутбуке, потом научил следовать инструкциям
- 0,68 МБ
Сжал
каждый вес в 4 бита
- один файл кода
Движок на C
простой C без зависимостей запускает модель
- ~60 токенов в секунду
Микроконтроллер
тот же код на ESP32-S3
- движок 64 КБ
Ваш браузер
тот же код в WebAssembly, записывает каждое число
Чего ждать
micro‑qwen3 крошечная: примерно в 560 раз меньше самой маленькой Qwen3. Она пишет короткие детские истории на английском, иногда неуклюжие. Но устроена так же, как большие модели: токены, внимание, слои, сэмплинг с температурой. И достаточно мала, чтобы увидеть всё сразу.