Разберитесь в памяти
VRAM — на видеокарте, RAM — в компьютере, GGUF — файл модели на диске. Сначала оцените то, что у вас уже есть.
Как считать память ↗ПЕРВЫЙ ШАГ — БЕЗ ЛИШНЕЙ СЛОЖНОСТИ
Локальный ИИ начинается здесь
Не обязательно сразу покупать флагман. Разберитесь с основами, запустите небольшую модель и узнайте, что действительно нужно вашей задаче.
ДЛЯ НОВИЧКОВОт «что такое GGUF?»
От «что такое GGUF?»
до первого диалога.
Четыре шага, понятные термины и короткие инструкции. Проходите в своём темпе.
Выбрать первый шаг ↗ Уже знакомы с терминалом? ↗
ВАШ МАРШРУТ
Сначала понять. Затем настроить.
Выберите удобную программу
LM Studio подходит для знакомства через графический интерфейс. Ollama предлагает приложение с чатом, команды и подключение других программ.
Запуск без терминала ↗Начните с небольшой модели
Для знакомства попробуйте модель 1–4B. Для многих задач полезны 7–8B, но больший размер требует больше памяти.
Посчитать Qwen3.5 4B ↗Проверьте первый ответ
Задайте знакомый вопрос, посмотрите расход памяти и размещение на GPU. Если всё медленно, сначала найдите причину.
План диагностики ↗ДВА УДОБНЫХ ПУТИ
LM StudioПоиск модели, скачивание и чат в одном графическом интерфейсе.Пошаговая инструкция ↗OllamaПриложение с чатом, команды и API для интеграций.Первый запуск ↗Кнопки или команды?
Обе программы могут запускать локальные модели. Выберите привычный интерфейс, а не «единственно правильный» инструмент.
Ollama выбирает исходное окно по VRAM: менее 24 ГиБ — 4K, от 24 до менее 48 — 32K, от 48 — 256K. Проверьте CONTEXT в ollama ps и задайте окно явно. Как настроить · Документация Ollama.
ПРОВЕРИТЬ СЕБЯ
Готовы к первому запуску?
Отметки сохраняются только в этом браузере.
Выполнено: 0 из 5
МИНИ-СЛОВАРЬ
Модель, агент и харнесс — со схемами ↗12 терминов без тумана
- LLM
- Языковая модель, которая предсказывает и генерирует текст. Может ошибаться даже при уверенном ответе.
- Параметры / B
- Числовые веса модели. 8B — примерно восемь миллиардов параметров, а не восемь гигабайт памяти.
- VRAM / RAM
- Видеопамять GPU и оперативная память системы. Это разные ресурсы с разной пропускной способностью.
- GGUF
- Формат файла модели, используемый llama.cpp и совместимыми приложениями. Сам по себе не обозначает качество или размер.
- Квантование
- Представление весов с меньшей точностью: меньше памяти, возможные изменения качества. Q4 и Q8 — разные классы квантования.
- Токен
- Фрагмент текста, с которым работает модель. Это может быть часть слова, знак или другое сочетание символов.
- Контекст
- Общий бюджет токенов для инструкций, истории, входных данных и ответа. Это не вечная память модели.
- KV-кэш
- Рабочая память attention для уже обработанных токенов. Растёт с длиной контекста и зависит от архитектуры.
- Offload
- Перенос вычислений и данных между CPU и GPU. Слои в RAM могут позволить запуск, но изменить скорость.
- Inference / инференс
- Выполнение уже обученной модели. Обучение и дообучение требуют другого расчёта памяти.
- Prefill / decode
- Обработка входного текста и последовательная генерация ответа. Их скорость измеряют отдельно.
- Dense / MoE
- У dense-модели используется плотная сеть. В MoE выбираются эксперты; малое число активных параметров не равно размеру всех весов.
Частые вопросы
Обязательно ли покупать новую видеокарту?
Нет. Сначала попробуйте небольшую модель на имеющемся оборудовании. Некоторые приложения допускают CPU-инференс; его скорость будет зависеть от процессора и памяти.
Если модель помещается, она будет быстрой?
Не обязательно. Вместимость, скорость и качество ответов — три разных свойства. Скорость зависит от GPU, движка, квантования и длины запроса.
Модель учится на моём диалоге?
Обычный чат не меняет веса модели. История используется как контекст. Обучение и дообучение — отдельные процессы.
Можно ли доверять ответам без проверки?
Модель может выдумывать факты, ссылки и детали. Проверяйте значимые утверждения по источникам, а код — тестами.
Интернет будет нужен постоянно?
Для загрузки модели и обновлений нужна сеть. Инференс скачанной локальной модели может выполняться без неё. Внешние инструменты и облачные функции работают по другим правилам.