Руководство3 мин чтения
Первая локальная модель с Ollama: от установки до диалога
Установка, первая Qwen3.5, настройка окна и проверка GPU. Команды для повседневной работы.
ЗНАНИЯ, КОТОРЫЕ РАБОТАЮТ
Статьи и руководства
Установка Ollama и LM Studio, расчёт памяти, исправление OOM и выбор программного стека. Сначала — инструкции для первого запуска.
Начинаете с нуля? Пройдите маршрут новичка или откройте пошаговые инструкции ниже.
Руководство2 мин чтения
Локальный чат без терминала: первый запуск в LM Studio
Где выбрать runtime и GPU Offload, как скачать Qwen3.5 4B и проверить загрузку. Команды lms для повторяемого запуска.
Разбор2 мин чтения
Сколько VRAM нужно локальной модели?
Конкретные сценарии для 8, 16, 24 и 32 ГБ: веса, KV-кэш и резерв считаем отдельно.
Руководство3 мин чтения
Не хватает VRAM или всё ушло на CPU: план диагностики
Проверяем окно контекста, размещение слоёв, fallback драйвера и журналы. Конкретные настройки Ollama и llama.cpp.
Руководство3 мин чтения
Одна видеокарта — разная память? Как читать название GPU перед покупкой
RTX 5060 Ti 8/16 ГБ, настольная RTX 5090 и Laptop GPU, профессиональные карты и исполнения партнёров: что именно сравнивать для локального ИИ.
Практика4 мин чтения
Clef в Ollama: локальная классификация вместо длинного ответа
Три вопроса к обращению через /v1/systemone: отдел, возврат и срочность. Запуск Clef и Clef-Flash, память и вероятности для workflow.
Практика5 мин чтения
Splash 1.4 на Mac: Flash-Next и выгрузка памяти на SSD
Что изменил релиз 20 октября: поддержка Qwen3.8-Flash-Next, потоковая загрузка экспертов и кэш на SSD. Команды запуска и границы расчёта памяти.
Руководство4 мин чтения
ROCm 10.1: исправление OOM на Strix Halo и проверка стека
Какие изменения октябрьского SDK полезны владельцу Radeon и Ryzen AI. Проверяем ОС, фактический HIP в приложении и доступную память.
Разбор7 мин чтения
Видеокарта или общая память: Mac, Strix Halo, DGX Spark
Mac, Strix Halo и DGX Spark: варианты памяти, бюджет GPU и расчёт 64–128 ГиБ. Когда большая MoE полезнее dense 70B и как проверить лимит Metal.
Принципы работы2 мин чтения
Как языковая модель превращает вопрос в ответ
Токенизация, prefill, decode и KV-кэш на примере Qwen3 8B. Где GPU ускоряет вычисления и где заканчивается расчётный потолок.
Принципы работы2 мин чтения
Модель, агент и харнесс: кто за что отвечает
Разбираем запрос инструмента, журнал цикла и память параллельного агента на локальном сервере.
Принципы работы2 мин чтения
Контекст, память, RAG и навыки: откуда модель берёт сведения
Почему агент теряет детали, сколько кэша добавляют найденные фрагменты и как вынести embeddings на CPU.
Разбор3 мин чтения
Qwen3.8-27B для локального ИИ: память, контекст и гибридная архитектура
Какое окно помещается на 16, 24, 32 и 96 ГБ; почему короткий контекст ограничивает thinking и как считать гибридный кэш.
Практика2 мин чтения
Dense, MoE и гибридные модели: почему размер в B не определяет VRAM
MoE 35B-A3B занимает больше памяти весов, чем dense 27B. Сравниваем конкретные бюджеты и offload экспертов.
Разбор2 мин чтения
Контекст 4K, 16K, 32K: куда исчезает видеопамять
Сколько кэша стоит один токен у обычной и гибридной Qwen. Настройки окна и цена параллельных слотов.
База знаний2 мин чтения
Q4, Q5, Q8: как выбрать конкретный файл модели
K-кванты, IQ, imatrix, QAT и аппаратные FP8/FP4: что означает название и сколько занимает файл.
Разбор3 мин чтения
CUDA, ROCm и Vulkan: какой стек выбрать для локального ИИ
Матрица для Radeon в Windows и Linux, runtime LM Studio и текущие требования ComfyUI.
Практика2 мин чтения
Как измерить скорость LLM: команды и протокол
Разделяем обработку промпта, генерацию и загрузку модели. Готовые команды llama-bench и Ollama.
Руководство3 мин чтения
Видеокарта для ComfyUI: модели, память и настройки
SDXL, FLUX и Wan: размеры компонентов, режимы VRAM и команды для диагностики.