RTX PRO 6000 Blackwell 96 ГБ: когда важнее вместимость одной карты

Вердикт: брать или искать альтернативу

Брать, если нужна 70B на одной CUDA-карте; Q8 укладывается до 64K; Llama 3.1 70B Instruct Q4 — до 128K по таблице. 96 ГБ, 1792 ГБ/с и 600 Вт (Макс. потребление).
Не брать, если цель — Llama 3.1 70B Q8 с окном 128K.
Вместо этого посмотрите для той же модели Q4: GeForce RTX 5090: не помещается на 4K, 1792 ГБ/с, 575 Вт (TGP).

Что помещается в память

Ориентир скорости (сторонний замер)

Автор: Tom94. Дата прогона не указана. ngl 99 (CUDA) / 100 (Vulkan); ОС, драйвер, batch и питание в строке не указаны. Запись и условия ↗

По tg ≈281,1 — между GeForce RTX 4090 (tg ≈189,0) и GeForce RTX 5090 (tg ≈300,4) в той же сводке.

Сторонние прогоны на разных сборках; позиция в сводке не заменяет тест вашей модели.

Первый запуск на GPU

Для GGUF используйте CUDA-бэкенд Ollama, LM Studio или llama.cpp. Для Blackwell нужна поддерживающая архитектуру сборка; текущая инструкция ComfyUI рекомендует PyTorch cu130.

Ollama по VRAM выбирает 256K по умолчанию. 256K может занимать больше памяти, чем нужно для короткого запроса; уменьшить его можно, например, до 8K: /set parameter num_ctx 8192. Для Llama 3.1 70B Instruct Q4 расчётный максимум из таблицы — 128K: /set parameter num_ctx 131072 в чате CLI; у сервера — OLLAMA_CONTEXT_LENGTH=131072 перед запуском. Задавайте окно не больше этого максимума. Проверьте PROCESSOR и CONTEXT через ollama ps. Как задать переменную в своей ОС.

Питание и подключение

70B в цифрах

Llama 3.1 70B Q4 при 128K: 81,77 ГиБ; Q8 при 64K: 91,36 ГиБ. Q8 при 128K: 111,36 ГиБ, поэтому эта строка уже превышает 96 ГБ. Все числа включают KV FP16 и резерв калькулятора.

А gpt-oss-120b?

В официальном руководстве OpenAI для Ollama указано «от 60 ГБ VRAM или общей памяти», а страница модели описывает размещение на одной H100. Это подтверждает возможность однокарточного сценария с упакованными весами; конкретное окно и пик памяти на RTX PRO 6000 здесь не измерены. Для 120b добавлен native-пресет из официального индекса весов, масштабировать 20b по имени нельзя.

Workstation и Max-Q

Здесь рассматривается Workstation Edition с максимумом 600 Вт. RTX PRO 6000 Blackwell Max-Q — отдельное исполнение на 300 Вт с теми же 96 ГБ; это другая мощность, а не режим питания Workstation.

Условия расчёта и сравнение

Максимум — из ряда 4K–256K, все языковые веса на GPU, KV FP16, резерв 1,5 ГиБ; vision, MTP и пик prefill исключены. Если не помещается, итог дан для 4K; для gpt-oss — native и sliding-кэш окна. Это оценка, не замер и не гарантия запуска. Мощность — паспортная; подключение относится к исполнению в подписи таблицы. Общая методика и команды. Сравнить со всеми картами.