Локальный чат без терминала: первый запуск в LM Studio

Проверьте требования

На Windows x64 требуется AVX2; рекомендованы 16 ГБ RAM и хотя бы 4 ГБ выделенной VRAM. Это требования приложения, а не вместимость любой модели. Windows ARM поддерживается отдельно. На Mac нужны Apple Silicon и macOS 14+, рекомендованы 16 ГБ общей памяти; Intel Mac не поддерживается. Linux поставляется как AppImage: документация указывает Ubuntu 20.04+ и AVX2-сборку для x64.

1. Скачайте модель

Установите приложение с сайта LM Studio. В Discover найдите Qwen3.5-4B-GGUF, например поставку Unsloth. Выберите Q4_K_M — отдельный языковой файл 2,74 десятичных ГБ. Для картинок нужен соответствующий mmproj; текстовый калькулятор его не учитывает.

В Chat откройте верхний выбор модели и выберите скачанный GGUF. Настройки загрузки меняют до Load: укажите окно 8192 и найдите GPU Offload. Ползунок задаёт число слоёв на GPU; при нехватке памяти часть остаётся на CPU.

2. Выберите движок и проверьте размещение

Ctrl+Shift+R на Windows/Linux или Cmd+Shift+R на Mac открывает управление LM Runtimes. Для NVIDIA используйте CUDA, для Radeon можно выбрать Vulkan или доступный ROCm-runtime; Apple Silicon — Metal/MLX. Выбор MLX отличается от загрузки GGUF через llama.cpp.

Для воспроизводимого запуска есть CLI. Сначала lms ls покажет ключ скачанной модели; подставьте его вместо MODEL_KEY:

lms load MODEL_KEY --context-length 8192 --gpu max
lms ps
lms server start
lms log stream

--gpu max запрашивает полное размещение слоёв. Предварительная оценка: lms load MODEL_KEY --context-length 8192 --estimate-only. Если CLI ещё недоступен в PATH, следуйте разделу установки lms в документации.

3. Проверьте первый диалог

Спросите: «Объясни разницу между VRAM и RAM в пяти предложениях». Повторите запрос без выгрузки модели и сравните время появления ответа. Сохраните имя runtime, квант, контекст и параметры загрузки. Если модель не загрузилась или работает на CPU, переходите к диагностике.

В обычном чате веса модели не меняются. После скачивания локальная генерация может работать без сети; поиск моделей, обновления и внешние инструменты используют подключение.

Для Qwen на Mac M3+ появился специализированный Splash. LM Studio описывает его установку в Bionic через Settings → Runtime → Experimental backends. Это отдельный путь со своими требованиями и управляемым приложением runtime. Разбор Splash 1.4 и различий с отдельным CLI.