Сколько VRAM нужно локальной модели?

Начните с модели и контекста

Размер загрузки — это место на диске. При запуске добавляются KV-кэш, состояния гибридных слоёв и рабочие буферы. Для выбора GPU сначала задайте модель, квантование и длину окна: короткий чат и анализ документов требуют разного бюджета.

Сценарии по объёму VRAM

Оценки калькулятора для одной текстовой последовательности, все языковые веса на GPU; vision, MTP и пик prefill исключены. Это не гарантия запуска. У малых моделей конкретный GGUF может заметно превышать усреднённую оценку весов.

Сравнить все модели · Изменить квант и резерв

Когда 24 ГБ оказывается мало

Qwen3.8 27B при 32K требует 19,05 ГиБ, а Qwen3 32B при тех же условиях — 28,21 ГиБ. Разницу создают и веса, и архитектура внимания. У MoE в VRAM нужно разместить всех экспертов, даже когда на токен используется малая часть.

Если модель не помещается, рассмотрите системы с общей памятью: Mac, Strix Halo и DGX Spark.

Параллельный запрос требует отдельного бюджета кэша; вычисления для одного пользователя нельзя автоматически переносить на сервер с несколькими одновременными диалогами.

Что уменьшать при нехватке памяти

1. Посмотрите фактический CONTEXT и PROCESSOR в ollama ps.
2. Уменьшите окно, затем выберите меньшую модель или квант весов.
3. Проверьте возможность квантованного KV по плану диагностики.
4. Если нужен offload, измерьте скорость обработки длинного запроса до покупки.