Первая локальная модель с Ollama: от установки до диалога

Установите Ollama

Скачайте приложение для Windows с официальной страницы: в нём есть окно чата, выбор модели и настройки. Установщик — удобный первый путь. В Linux официальный способ установки:

curl -fsSL https://ollama.com/install.sh | sh

Для NVIDIA документация Ollama требует compute capability 5.0+ и драйвер 550+; для capability 5.0–6.2 — 570+. Для новой карты ставьте драйвер, поддерживающий именно её. На AMD доступен Vulkan, включённый по умолчанию при установленном бэкенде; поддержка по ОС и приложениям.

Выберите первую модель

Это мультимодальные поставки. Страница содержит и safetensors/MLX, и GGUF-компоненты: размеры GGUF-комплектов на ней отдельно составляют 3,3 / 6,6 / 6,6 ГБ соответственно. Размер скачивания не равен занятой VRAM. Gemma E4B не следует выбирать для 8 ГБ по одному суффиксу «4B»; пресета её памяти на сайте нет. Калькулятор Qwen считает текст без загруженного vision-модуля.

Запустите и явно задайте контекст

ollama run qwen3.5:4b
/set parameter num_ctx 8192

Вторая строка вводится внутри чата Ollama. Задайте короткий вопрос, например «Объясни разницу между RAM и VRAM». Пока модель загружена, в другом терминале выполните ollama ps. Полное размещение обозначено 100% GPU.

Ollama выбирает исходное окно по VRAM: менее 24 ГиБ — 4K, от 24 до менее 48 ГиБ — 32K, от 48 ГиБ — 256K. Проверьте столбцы CONTEXT и PROCESSOR командой ollama ps. Задать своё окно можно ползунком в настройках приложения, через OLLAMA_CONTEXT_LENGTH у сервера или /set parameter num_ctx 8192 внутри чата CLI.

На 16-ГБ карте исходных 4K мало для длинной истории агента: приложение вынуждено обрезать или сокращать её. На 24-ГБ карте исходные 32K, наоборот, могут занять память, которой хватало при коротком окне.

Команды, которые понадобятся

prompt eval rate — обработка входа, eval rate — генерация. По FAQ модель остаётся загруженной после запроса 5 минут; это регулируется OLLAMA_KEEP_ALIVE или keep_alive запроса. Не путайте выгрузку из VRAM с удалением файла.

Где модели и как изменить общие настройки

Стандартные каталоги: Windows — C:\Users\%username%\.ollama\models, macOS — ~/.ollama/models, Linux — /usr/share/ollama/.ollama/models. Для другого диска задайте OLLAMA_MODELS пользователю, запускающему сервер. В Windows завершите Ollama через значок в трее, измените переменную среды учётной записи и запустите приложение заново.

Пример ручного запуска сервера в PowerShell после завершения приложения:

$env:OLLAMA_CONTEXT_LENGTH="8192"
ollama serve

Linux-службе переменную задают в systemctl edit ollama.service, секция [Service], строка Environment="OLLAMA_CONTEXT_LENGTH=8192", затем systemctl daemon-reload и systemctl restart ollama. Переменная клиентского терминала не меняет уже работающий сервер.

API по умолчанию слушает 127.0.0.1:11434. Для первого локального запуска этот адрес менять не требуется. При ошибке — диагностика памяти и журналы.