Radeon AI PRO R9700 32 ГБ: большая память без CUDA

Вердикт: брать или искать альтернативу

Брать, если нужны 32 ГБ для Vulkan/HIP при мощности до 300 Вт; Qwen3.8 27B Q4 — до 128K по таблице. 32 ГБ, 640 ГБ/с и 300 Вт (TBP).
Не брать, если цель — Llama 3.1 70B Q4 целиком в VRAM или workflow требует CUDA.
Вместо этого посмотрите для той же модели Q4: Radeon RX 9070 16 ГБ: не помещается на 4K, 640 ГБ/с, 220 Вт (TBP); GeForce RTX 5090: 128K, 1792 ГБ/с, 575 Вт (TGP).

Что помещается в память

Ориентир скорости (сторонний замер)

Сводка netrunnereve; автор прогона не указан. Дата прогона не указана. ngl 99 (CUDA) / 100 (Vulkan); ОС, драйвер, batch и питание в строке не указаны. Запись и условия ↗

По tg ≈152,7 — между Radeon RX 9070 XT (tg ≈131,5) и Radeon RX 7900 XTX (tg ≈190,9) в той же сводке.

Сторонние прогоны на разных сборках; позиция в сводке не заменяет тест вашей модели.

Совместимость по приложениям и ОС

Radeon AI PRO R9700 (gfx1201) присутствует в матрице ROCm 10.1.0; для Windows указана Windows 11 25H2. Vulkan в Ollama включён при установленном бэкенде и драйвере. Версию HIP внутри приложения проверяйте отдельно от SDK: таблица приложений и диагностика.

Ollama по VRAM выбирает 32K по умолчанию. 32K может занимать больше памяти, чем нужно для короткого запроса; уменьшить его можно, например, до 8K: /set parameter num_ctx 8192. Для Qwen2.5 32B Instruct Q4 расчётный максимум из таблицы — 32K: /set parameter num_ctx 32768 в чате CLI; у сервера — OLLAMA_CONTEXT_LENGTH=32768 перед запуском. Задавайте окно не больше этого максимума. Проверьте PROCESSOR и CONTEXT через ollama ps. Как задать переменную в своей ОС.

Питание и подключение

32 ГБ — бюджет одной карты

R9700 входит в список Linux ROCm Ollama; в отдельном Windows-списке Ollama её нет. Поддержка AMD ROCm 10.1.0 и Windows PyTorch проверяется независимо по матрице AMD. В спецификации AMD поддержка ECC отмечена только для Linux. Большая память позволяет увеличить модель или контекст, но не превращает карту в CUDA-устройство. Несколько R9700 требуют распределения модели движком и не складываются в прозрачные 64/128 ГБ.

Условия расчёта и сравнение

Максимум — из ряда 4K–256K, все языковые веса на GPU, KV FP16, резерв 1,5 ГиБ; vision, MTP и пик prefill исключены. Если не помещается, итог дан для 4K; для gpt-oss — native и sliding-кэш окна. Это оценка, не замер и не гарантия запуска. Мощность — паспортная; подключение относится к исполнению в подписи таблицы. Общая методика и команды. Сравнить со всеми картами.