RTX 5060 Ti 16 ГБ: начать с памяти, а не с флагмана

Вердикт: брать или искать альтернативу

Брать, если нужны 14B и CUDA с TGP 180 Вт; Qwen3 14B Q4 — до 32K по таблице. 16 ГБ, 448 ГБ/с и 180 Вт (TGP).
Не брать, если цель — Qwen3.8 27B целиком в VRAM.
Вместо этого посмотрите для той же модели Q4: GeForce RTX 5060 Ti 8 ГБ: не помещается на 4K, 448 ГБ/с, 180 Вт (TGP); GeForce RTX 5070 Ti: 32K, 896 ГБ/с, 300 Вт (TGP).

Что помещается в память

Ориентир скорости (сторонний замер)

Автор: mike-llamacpp. Дата прогона не указана. ngl 99 (CUDA) / 100 (Vulkan); ОС, драйвер, batch и питание в строке не указаны. Запись и условия ↗

По tg ≈93,5 — между GeForce RTX 3060 12 ГБ (tg ≈76,9) и GeForce RTX 5060 8 ГБ (tg ≈100,6) в той же сводке.

Сторонние прогоны на разных сборках; позиция в сводке не заменяет тест вашей модели.

Первый запуск на GPU

Для GGUF используйте CUDA-бэкенд Ollama, LM Studio или llama.cpp. Для Blackwell нужна поддерживающая архитектуру сборка; текущая инструкция ComfyUI рекомендует PyTorch cu130.

Ollama по VRAM выбирает 4K по умолчанию. Для длинного диалога 4K может быть мало. Для Qwen3 14B Q4 расчётный максимум из таблицы — 32K: /set parameter num_ctx 32768 в чате CLI; у сервера — OLLAMA_CONTEXT_LENGTH=32768 перед запуском. Задавайте окно не больше этого максимума. Проверьте PROCESSOR и CONTEXT через ollama ps. Как задать переменную в своей ОС.

Питание и подключение

PCIe x8 и старые платы

5060 Ti использует восемь линий PCIe 5.0 при физическом разъёме x16. Полоса локальной памяти — 448 ГБ/с: 28 Гбит/с × 128 бит / 8.

PCIe 4.0 x8 — около 16 ГБ/с, PCIe 5.0 x8 — около 32 ГБ/с в одну сторону: теоретический поток до накладных расходов протокола. При выгрузке слоёв или экспертов в RAM эта полоса может ограничить инференс. Когда веса и кэш целиком в VRAM, она не заменяет полосу локальной памяти; первичная загрузка модели также идёт по PCIe.

Условия расчёта и сравнение

Максимум — из ряда 4K–256K, все языковые веса на GPU, KV FP16, резерв 1,5 ГиБ; vision, MTP и пик prefill исключены. Если не помещается, итог дан для 4K; для gpt-oss — native и sliding-кэш окна. Это оценка, не замер и не гарантия запуска. Мощность — паспортная; подключение относится к исполнению в подписи таблицы. Общая методика и команды. Сравнить со всеми картами.

Если все эксперты MoE не помещаются, часть можно оставить в RAM: --cpu-moe или --n-cpu-moe N; таблица относится к полному размещению.

Если модель не помещается, рассмотрите систему с общей памятью: Mac, Strix Halo или DGX Spark.