RTX 3060 12 ГБ: локальные модели и проверка б/у карты

Вердикт: брать или искать альтернативу

Брать, если нужны 12 ГБ для CUDA и готовы проверить состояние б/у карты; Qwen3 14B Q4 — до 8K по таблице. 12 ГБ, 360 ГБ/с и 170 Вт (TGP).
Не брать, если цель — Qwen3 14B с окном больше 8K.
Вместо этого посмотрите для той же модели Q4: GeForce RTX 5060 Ti 16 ГБ: 32K, 448 ГБ/с, 180 Вт (TGP); Intel Arc B580 12 ГБ: 8K, 456 ГБ/с, 190 Вт (TBP).

Что помещается в память

Ориентир скорости (сторонний замер)

Автор: QuantiusBenignus. Дата прогона не указана. ngl 99 (CUDA) / 100 (Vulkan); ОС, драйвер, batch и питание в строке не указаны. Запись и условия ↗

По tg ≈76,9 — между GeForce RTX 4060 Ti 8 ГБ (tg ≈64,0) и GeForce RTX 5060 Ti 16 ГБ (tg ≈93,5) в той же сводке.

Сторонние прогоны на разных сборках; позиция в сводке не заменяет тест вашей модели.

Первый запуск на GPU

Для GGUF используйте CUDA-бэкенд Ollama, LM Studio или llama.cpp.

Ollama по VRAM выбирает 4K по умолчанию. Для длинного диалога 4K может быть мало. Для Qwen3 14B Q4 расчётный максимум из таблицы — 8K: /set parameter num_ctx 8192 в чате CLI; у сервера — OLLAMA_CONTEXT_LENGTH=8192 перед запуском. Задавайте окно не больше этого максимума. Проверьте PROCESSOR и CONTEXT через ollama ps. Как задать переменную в своей ОС.

Питание и подключение

Проверка б/у экземпляра

1. Запустите memtest_vulkan на штатных частотах, выберите нужный GPU. Сохраните результат и отсутствие ошибок; автор инструмента рекомендует как минимум 5–6 минут для прогрева.
2. Под продолжительной нагрузкой запишите GPU Memory Junction в HWiNFO при наличии этого датчика, температуру GPU, частоты и признаки ограничения по температуре. Hot Spot и температура памяти — разные датчики; универсальный порог исправности по одному числу здесь не задаём.
3. При выключенном питании осмотрите разъём, вентиляторы и плату на следы перегрева/ремонта. Сверьте точный артикул и 12 ГБ / 192 бит; версия 8 ГБ имеет другую шину. Повторите целевой GGUF-прогон и проверьте загрузку GPU. Отсутствие ошибок за короткий тест не гарантирует ресурс карты.

Условия расчёта и сравнение

Максимум — из ряда 4K–256K, все языковые веса на GPU, KV FP16, резерв 1,5 ГиБ; vision, MTP и пик prefill исключены. Если не помещается, итог дан для 4K; для gpt-oss — native и sliding-кэш окна. Это оценка, не замер и не гарантия запуска. Мощность — паспортная; подключение относится к исполнению в подписи таблицы. Общая методика и команды. Сравнить со всеми картами.

Если все эксперты MoE не помещаются, часть можно оставить в RAM: --cpu-moe или --n-cpu-moe N; таблица относится к полному размещению.

Если модель не помещается, рассмотрите систему с общей памятью: Mac, Strix Halo или DGX Spark.