Видеокарта или общая память: Mac, Strix Halo, DGX Spark

Сначала модель и задача, затем тип памяти

Когда веса с кэшем выходят за 24–32 ГБ, большой общий пул позволяет держать модель без разделения между дискретной VRAM и RAM. Если модель уже помещается на карте, выбирать систему стоит по времени ответа и поддержке приложений.

Здесь официальные характеристики и расчёты, собственных замеров нет. Таблица: одна текстовая последовательность, все языковые веса, KV FP16, резерв 8 ГиБ на ОС и буферы; vision, MTP, обучение и пик prefill исключены. Резерв и объём RAM не гарантируют доступный GPU-бюджет. Потолок dense decode предполагает чтение всех весов один раз на токен при полной паспортной полосе, без трафика KV, распаковки, вычислений и ОС; он не является универсальной границей при кэшировании, batching или speculative decoding.

Что означает общая память

CPU и GPU этих SoC используют одну физическую память. Выделенные 96 ГБ графике на 128-ГБ Strix Halo берутся из того же пула: 128 + 96 складывать нельзя. ОС, приложения, веса и кэш делят общий бюджет. «Общая память GPU» у дискретной GeForce в Windows означает другой путь доступа к системной RAM.

В спецификациях — ГБ и ГБ/с производителей; расчёты хранения — в ГиБ, где 1 ГиБ = 2³⁰ байт.

Официальные конфигурации: не смешивайте варианты

Для AMD пик вычислен как 256 бит × 8000 МТ/с / 8 = 256 ГБ/с; AMD указывает такую же полосу у Ryzen AI Halo RAH-001. Профиль Spark здесь — 128 ГБ; OEM-конфигурация 64 ГБ рассматривается отдельно.

Сколько памяти действительно выделяется GPU

AMD VGM позволяет выделить до 96 ГБ GPU из 128 ГБ. В отдельном Linux-примере AMD на Framework Desktop, Ubuntu 24.04.3, TTM/GTT настроены до 120 ГБ на узел.

Ryzen AI Max+ 395 / Radeon 8060S (gfx1151) присутствует в матрице ROCm 10.1.0; для Windows указана Windows 11 25H2. Исправление HIP OOM при переходе в общий пул нужно проверять в конкретном приложении: версия HIP и путь Vulkan на Windows.

На Mac смотрите recommendedMaxWorkingSetSize в журнале запуска llama.cpp с Metal: движок печатает значение в MB. Это рекомендованный Metal размер рабочего набора для устройства, а не вся установленная RAM и не жёсткий предел всех выделений. Учтите текущую нагрузку и план размещения движка. На Spark также проверяйте фактически свободный пул после запуска системы.

Что помещается в 64, 96 и 128 ГиБ

Колонки — условные доступные бюджеты в ГиБ; 96 ГиБ не обозначают комплектацию MacBook Pro. Ссылки открывают те же параметры в калькуляторе.

Выберите колонку по реально доступному бюджету GPU. У Qwen3.8 KV растёт только на full-attention слоях; состояния DeltaNet учитываются отдельно. Для MoE нужны веса всех экспертов. Архитектуры и память.

Почему вместимость не равна скорости

Для dense decode одного потока упрощённая оценка: токенов/с ≤ байт/с памяти / байты весов.

В примере dense Llama 3.1 70B Q4_K_M оценка весов — 40,27 ГиБ, то есть 43,24 десятичных ГБ. KV и резерв входят в таблицу вместимости, но не в знаменатель этой упрощённой формулы:

Для Strix Halo и Spark это около 6 токенов/с по трафику весов dense 70B Q4. Дополнительные затраты перечислены в начале. Prefill обрабатывает вход иначе: проверяйте pp и время первого токена отдельно.

Большая MoE: расчёт gpt-oss-120b

OpenAI описывает размещение gpt-oss-120b на одной GPU с 80 ГБ. В официальной model card — 116,83B параметров всего и около 5,1B активных на токен (5,13B с unembedding). Упаковка экспертов MXFP4 помогает вместить весь набор; активные параметры определяют лишь часть работы каждого шага.

Поэтому большая MoE — естественный кандидат для системы на 128 ГБ с полосой 256–273 ГБ/с: хранить нужно всех экспертов, а за токен читается выбранная часть. Для MoE деление на все веса некорректно описывает скорость; потолок dense 70B из предыдущего раздела к ней не переносится. Это редакционный вывод из архитектуры, без обещания tok/s на Mac, Strix Halo или Spark. Таблица выше показывает gpt-oss-120b при 8K, 32K и 128K: исходные упакованные веса из официального индекса и sliding-кэш окна 128. Это основной MoE-сценарий для пулов 96/128 ГиБ. Ссылки открывают пресет калькулятора; окно и поддержку MXFP4 проверяйте в движке. Распаковка весов может увеличить расход.

Программный стек: GGUF, CUDA и ComfyUI

Mac: Metal в llama.cpp/Ollama или отдельный MLX-путь; ComfyUI поддерживает Apple Silicon.

Strix Halo: Vulkan в Ollama/llama.cpp либо HIP с согласованным ROCm. Max+ 395 есть в Linux-списке ROCm Ollama; на Windows начните с Vulkan.

DGX Spark: CUDA на Blackwell и Arm CPU, поэтому нужны соответствующие пакеты. NVIDIA публикует ComfyUI playbook для Spark. Проверьте используемые custom nodes на выбранной платформе.

Как сравнить перед покупкой

1. Запишите модель, формат весов, окно, число диалогов и доступный GPU-бюджет; задайте их в калькуляторе.
2. На одинаковой модели сравните загрузку, pp, время первого токена и tg после заполнения окна по методике.
3. Для ComfyUI проверьте полный workflow и пик памяти; для агента — реальную длину входа и параллельность.
4. Сопоставьте с дискретными картами и сводкой обзоров. Общая память означает выбор компьютера целиком.