RTX 3090 с пробегом: много памяти, больше проверок

Вердикт: брать или искать альтернативу

Брать, если нужны 27B через CUDA и готовы проверить б/у экземпляр; Qwen3.8 27B Q4 — до 64K по таблице. 24 ГБ, 936 ГБ/с и 350 Вт (TGP).
Не брать, если цель — Llama 3.1 70B Q4 целиком в VRAM.
Вместо этого посмотрите для той же модели Q4: GeForce RTX 4090: 64K, 1008 ГБ/с, 450 Вт (TGP); Radeon RX 7900 XTX: 64K, 960 ГБ/с, 355 Вт (TBP).

Что помещается в память

Ориентир скорости (сторонний замер)

Автор: m18coppola. Дата прогона не указана. ngl 99 (CUDA) / 100 (Vulkan); ОС, драйвер, batch и питание в строке не указаны. Запись и условия ↗

По tg ≈161,9 — между GeForce RTX 5090 Laptop GPU (tg ≈158,1) и GeForce RTX 5070 Ti (tg ≈182,4) в той же сводке.

Сторонние прогоны на разных сборках; позиция в сводке не заменяет тест вашей модели.

Первый запуск на GPU

Для GGUF используйте CUDA-бэкенд Ollama, LM Studio или llama.cpp.

Ollama по VRAM выбирает 32K по умолчанию. 32K может занимать больше памяти, чем нужно для короткого запроса; уменьшить его можно, например, до 8K: /set parameter num_ctx 8192. Для Qwen2.5 32B Instruct Q4 расчётный максимум из таблицы — 8K: /set parameter num_ctx 8192 в чате CLI; у сервера — OLLAMA_CONTEXT_LENGTH=8192 перед запуском. Задавайте окно не больше этого максимума. Проверьте PROCESSOR и CONTEXT через ollama ps. Как задать переменную в своей ОС.

Питание и подключение

Проверка б/у экземпляра

1. Запустите memtest_vulkan на штатных частотах, выберите нужный GPU. Сохраните результат и отсутствие ошибок; автор инструмента рекомендует как минимум 5–6 минут для прогрева.
2. Под продолжительной нагрузкой запишите GPU Memory Junction в HWiNFO при наличии этого датчика, температуру GPU, частоты и признаки ограничения по температуре. Hot Spot и температура памяти — разные датчики; универсальный порог исправности по одному числу здесь не задаём.
3. У RTX 3090 есть NVLink; проверьте разъём и совместимый мост, если покупаете пару. Наличие моста не объединяет две карты в прозрачную VRAM одной карты: распределение модели должен поддержать движок.

FP8 в ComfyUI

У Ampere нет аппаратной арифметики FP8 Tensor Core. ComfyUI различает формат хранения и вычисления: компактный FP8-файл может потребовать преобразования для операций. Сравнивайте расход памяти и время полного workflow; флаг хранения FP8 не добавляет карте новые Tensor-ядра.

Условия расчёта и сравнение

Максимум — из ряда 4K–256K, все языковые веса на GPU, KV FP16, резерв 1,5 ГиБ; vision, MTP и пик prefill исключены. Если не помещается, итог дан для 4K; для gpt-oss — native и sliding-кэш окна. Это оценка, не замер и не гарантия запуска. Мощность — паспортная; подключение относится к исполнению в подписи таблицы. Общая методика и команды. Сравнить со всеми картами.