Intel Arc B580 12 ГБ: GGUF через Vulkan и SYCL

Вердикт: брать или искать альтернативу

Брать, если нужен 12-ГБ GGUF-профиль и готовы проверить Vulkan/SYCL; Qwen3 14B Q4 — до 8K по таблице. 12 ГБ, 456 ГБ/с и 190 Вт (TBP).
Не брать, если цель — Qwen3 14B с окном больше 8K или workflow требует CUDA.
Вместо этого посмотрите для той же модели Q4: Intel Arc Pro B60 24 ГБ: 32K, 456 ГБ/с, 120–200 Вт (TBP); GeForce RTX 3060 12 ГБ: 8K, 360 ГБ/с, 170 Вт (TGP).

Что помещается в память

Ориентир скорости (сторонний замер)

Сводка netrunnereve; автор прогона не указан. Дата прогона не указана. ngl 99 (CUDA) / 100 (Vulkan); ОС, драйвер, batch и питание в строке не указаны. Запись и условия ↗

По tg ≈72,0 — между Intel Arc Pro B60 24 ГБ (tg ≈70,5) и Radeon RX 9060 XT 16 ГБ (tg ≈74,0) в той же сводке.

В этих сводках pp через Vulkan у Intel Arc B580 12 ГБ — ≈419, у RTX 3060 через CUDA — ≈2 408 токенов/с: разница ≈5,7 раза. Для длинных входов проверьте SYCL-сборку на своей задаче.

Сторонние прогоны на разных сборках; позиция в сводке не заменяет тест вашей модели.

Первый запуск на Intel: Vulkan и SYCL

B580 прямо указан среди проверенных устройств SYCL upstream. Сначала установите драйвер Intel для своей ОС. При наличии iGPU и dGPU параметр GGML_VK_VISIBLE_DEVICES задаётся у сервера по индексу из его журнала.

Ollama по VRAM выбирает 4K по умолчанию. Для длинного диалога 4K может быть мало. Для Qwen3 14B Q4 расчётный максимум из таблицы — 8K: /set parameter num_ctx 8192 в чате CLI; у сервера — OLLAMA_CONTEXT_LENGTH=8192 перед запуском. Задавайте окно не больше этого максимума. Проверьте PROCESSOR и CONTEXT через ollama ps. Как задать переменную в своей ОС.

Для ручного GGUF-запуска скачайте SYCL-пакет llama.cpp со страницы релизов и выполните из его каталога:

llama-cli --list-devices
llama-cli -m MODEL.gguf -ngl 99 -c 4096 -p "Explain VRAM in five sentences."
llama-bench -m MODEL.gguf -ngl 99 -p 512 -n 128

Вместо MODEL.gguf укажите свой файл. На Linux используйте ./llama-cli и ./llama-bench; расположение исполняемых файлов зависит от пакета. Сохраните версию драйвера, сборку, имя устройства, число выгруженных слоёв и pp/tg. Vulkan и SYCL — разные бэкенды: результат одного не предсказывает другой. Протокол измерения.

Питание и подключение

Условия расчёта и сравнение

Максимум — из ряда 4K–256K, все языковые веса на GPU, KV FP16, резерв 1,5 ГиБ; vision, MTP и пик prefill исключены. Если не помещается, итог дан для 4K; для gpt-oss — native и sliding-кэш окна. Это оценка, не замер и не гарантия запуска. Мощность — паспортная; подключение относится к исполнению в подписи таблицы. Общая методика и команды. Сравнить со всеми картами.

Если все эксперты MoE не помещаются, часть можно оставить в RAM: --cpu-moe или --n-cpu-moe N; таблица относится к полному размещению.

Если модель не помещается, рассмотрите систему с общей памятью: Mac, Strix Halo или DGX Spark.