Контекст 4K, 16K, 32K: куда исчезает видеопамять

Что входит в окно

Инструкции, история, документы, результаты инструментов, рассуждение и ответ делят одно окно. Число токенов определяет токенизатор; 500 слов и 500 токенов — разные длины. Если приложению не хватает окна, оно может исключать ранние сообщения или заменять их резюме.

Формула и стоимость токена

Обычный KV: 2 × attention-слои × KV-головы × размер головы × токены × байты. У Qwen3 32B FP16 получается 256 КиБ/токен, у Qwen3.8 27B — 64 КиБ/токен. В гибриде формула применяется только к full-attention слоям, состояния DeltaNet добавляются отдельно.

Как задать окно

Ollama выбирает исходное окно по VRAM: менее 24 ГиБ — 4K, от 24 до менее 48 ГиБ — 32K, от 48 ГиБ — 256K. Проверьте столбцы CONTEXT и PROCESSOR командой ollama ps. Задать своё окно можно ползунком в настройках приложения, через OLLAMA_CONTEXT_LENGTH у сервера или /set parameter num_ctx 8192 внутри чата CLI.

llama-server -m model.gguf -c 8192

Переменная OLLAMA_CONTEXT_LENGTH относится к серверу; настройка для Windows и systemd дана в первом запуске. У llama.cpp -c задаёт размер контекста. Проверьте выделенные буферы в журнале после загрузки.

Параллельность и квантование

Два независимых слота Qwen3 8B по 8K требуют 2,25 ГиБ обычного KV вместо 1,13 ГиБ для одного. В Ollama бюджет контекста растёт с OLLAMA_NUM_PARALLEL. У гибридов отдельно копируются состояния последовательностей.

Квантование кэша — отдельная настройка от Q4 весов. Для 32K Qwen3 32B расчёт FP16 даёт 8,0 ГиБ, Q8 — 4,25 ГиБ. Учтена блочная надбавка; это не ровно половина. Команды и условия Flash Attention.

Что изменить для документов

1. Оставьте место под ответ и thinking.
2. Передавайте найденные фрагменты с названием файла и страницей.
3. Уберите неиспользуемые инструменты и повторяющиеся инструкции.
4. Сравните время обработки входа и пиковую память при целевой длине документа.

Как устроить RAG · Рассчитать своё окно. Таблица — бюджет хранения, без vision/MTP и пика prefill.