Как измерить скорость LLM: команды и протокол

Два теста вместо одного tok/s

pp512 измеряет обработку входа из 512 токенов, tg128 — генерацию 128 токенов. Prefill лучше использует параллельные вычисления; decode одной последовательности часто ограничен чтением весов. Для RAG отдельно важно время до первого токена: длинный документ нужно обработать до начала ответа.

llama-bench: явные параметры

llama-bench -m model.gguf -p 512 -n 128 -r 5 -ngl 99 -fa 1

Замените model.gguf на путь к файлу. -p 512, -n 128 и -r 5 совпадают с текущими умолчаниями llama-bench, но записаны явно для протокола. -ngl 99 задаёт число слоёв, -fa 1 включает Flash Attention. Тест выполняет прогрев, если не указан --no-warmup. Вывод показывает среднее и разброс; сохраняйте весь вывод вместе со строкой build.

llama-bench работает с синтетическими токенами и отдельно запускает pp и tg: это не измерение полного ответа на реальный документ и не тест заполненного окна 32K. Команды сервера с --fit и параметры llama-bench имеют разные умолчания.

Ollama: скорость реального ответа

ollama run qwen3.5:4b --verbose

После ответа сохраните load duration, prompt eval count/prompt eval rate, eval count/eval rate. Первый запуск с чтением весов оцените отдельно. Повторите одинаковый запрос несколько раз на загруженной модели; для пользовательского сценария сообщайте медиану и разброс.

Что записывать в протокол

• GPU, объём памяти, лимит мощности, температура и фактическое потребление.
• ОС, драйвер, версия/коммит движка и бэкенд.
• Автор и ревизия модели, имя файла, квант весов, шаблон чата.
• Окно контекста, длины входа/выхода, KV-формат, FA, batch/ubatch и число слотов.
• Распределение CPU/GPU, offload экспертов, состояние прогрева.

В обзорах приводим спецификации, расчёты памяти и подписанные сторонние замеры сообщества. Собственных стендовых tok/s у редакции нет. Сравнивать такие записи как единый лабораторный рейтинг нельзя.