Перейти к содержимому

УСТРОЙСТВО ЛОКАЛЬНОГО ИИ

Что происходит
за окном ИИ-чата?

Модель, агент, харнесс и инструменты — разные роли в одной системе. Разберём их на схемах, затем пройдём один запрос по шагам.

Принципы работы · обновлено 24.10.2026 · оригинальные схемы редакции

Расчёт шага 6: Q4_K_M, текст без vision/MTP и пика prefill. Параметры · Контекст Ollama по VRAM · Архитектура модели.

ИНТЕРАКТИВНАЯ СХЕМА

Как работает ИИ-агент — по шагам

GPU, MCP и инструменты в трёх сценариях.

Открыть интерактивную схему

ОСНОВНАЯ КАРТА

Как разделены роли модели и программы

01 / MODEL

Модель

Обученная нейросеть с весами. Обрабатывает предоставленный вход и формирует текст или запрос на действие.

ПримерQwen, Llama, gpt-oss

02 / AGENT

Агент

Система, которая использует модель для выбора шагов к цели и учитывает результаты действий.

Пример задачиНайти сведения, проверить, составить ответ

03 / HARNESS

Харнесс

Управляющая программная обвязка: готовит контекст, вызывает модель и инструменты, хранит состояние, ограничивает цикл.

Внутри приложенияRunner, история, обработчики инструментов

Агентная система: харнесс организует взаимодействие контекста, модели и инструментов — Агент — вся работающая система, а харнесс — её программная организация. Границы названий могут отличаться между продуктами. Открыть схему крупнее ↗

Как харнесс вызывает модель и инструменты.

УЧЕБНЫЙ ПРИМЕР

Проследим один запрос

2 вызова модели · 1 инструмент

Сценарий записан заранее. Кнопки переключают объяснения: на этой странице модель, поиск и доступ к вашим файлам не запускаются. Это схема обмена данными, а не внутренние рассуждения нейросети.

ШАГ 1 · Пользователь

Сформулировать цель

Пользователь просит найти конфигурацию своего компьютера в заметках и подсказать, с чего начать. Модель ещё не получила содержимое файлов.

Что важно: Задача задаёт желаемый результат. Для чтения заметок понадобится предоставленный приложением инструмент.

НАБЛЮДАЕМЫЕ ДАННЫЕ · УСЛОВНЫЙ ПРИМЕР

«Найди в моих заметках объём RAM и VRAM моего ПК. Объясни, с какой локальной модели начать».

ШАГ 2 · Харнесс

Подготовить вход для модели

Приложение собирает инструкции, вопрос и описание функции поиска. Файлы не передаются целиком: модель сначала узнаёт, какой инструмент доступен.

Что важно: Модель видит подготовленный вход, а не весь диск или всю память компьютера.

НАБЛЮДАЕМЫЕ ДАННЫЕ · УСЛОВНЫЙ ПРИМЕР

Инструкции: отвечать по найденным данным, отмечать неизвестное.
Вопрос: найти характеристики ПК.
Инструмент: search_notes(query) — поиск по заметкам пользователя.

ШАГ 3 · Модель

Запросить поиск по заметкам

В этом записанном сценарии модель выбирает поиск и формирует запрос с именем инструмента и аргументами. Это предложение действия, а не выполненное чтение.

Что важно: Формат здесь условный. В реальном приложении он зависит от API, шаблона чата и поддержки tool calling.

НАБЛЮДАЕМЫЕ ДАННЫЕ · УСЛОВНЫЙ ПРИМЕР

{
  "name": "search_notes",
  "arguments": {"query": "конфигурация моего ПК RAM VRAM"}
}

ШАГ 4 · Харнесс + инструмент

Выполнить операцию и получить данные

Харнесс сопоставляет имя с функцией, проверяет аргументы и доступ к заметкам. Инструмент выполняет поиск и возвращает фрагмент с источником. На этой странице вместо запуска показан заранее записанный результат.

Что важно: Файлы читает программный инструмент. Если операция завершается ошибкой, в следующем шаге нужно учитывать ошибку, а не выдумывать результат.

НАБЛЮДАЕМЫЕ ДАННЫЕ · УСЛОВНЫЙ ПРИМЕР

Источник: notes/pc.txt
RAM: 32 ГБ
Видеокарта: 16 ГБ выделенной VRAM
Точная модель GPU в заметке не указана.

ШАГ 5 · Харнесс → модель

Вернуть наблюдение в контекст

Приложение добавляет запрос инструмента и его результат к истории и снова вызывает модель. Теперь во входе есть числа из заметки, а не только описание функции поиска.

Что важно: Так возникает обратная связь. Следующим выходом может быть ещё один запрос инструмента, уточнение пользователю или ответ.

НАБЛЮДАЕМЫЕ ДАННЫЕ · УСЛОВНЫЙ ПРИМЕР

Контекст следующего вызова:
1. Инструкции и исходный вопрос
2. Запрос search_notes(...)
3. Результат из notes/pc.txt

Веса модели остаются теми же.

ШАГ 6 · Модель + харнесс

Сформировать ответ и завершить цикл

В нашем примере модель формирует ответ по полученным данным, а харнесс завершает выполнение. Здесь было два вызова модели и один условный вызов инструмента — в других задачах число шагов отличается.

Что важно: Ответ опирается на наблюдение и сохраняет неопределённость там, где данных не было.

НАБЛЮДАЕМЫЕ ДАННЫЕ · УСЛОВНЫЙ ПРИМЕР

«В notes/pc.txt указаны 32 ГБ RAM и 16 ГБ VRAM. Qwen3 14B Q4_K_M с окном 8192, KV FP16 и резервом 1,5 ГиБ требует по калькулятору 11,19 ГиБ. В Ollama задайте /set parameter num_ctx 8192 и проверьте CONTEXT в ollama ps: по умолчанию на 16 ГиБ окно 4K. Точная модель GPU не указана, совместимость приложения проверьте по ней».

Посмотрите, кто выполняет каждый шаг

Три интерактивных сценария: подбор GPU, поиск по договорам с субагентом и исправление теста. На карте видны MCP, встроенные инструменты, диск, сеть и память модели.

Открыть интерактивную схему ↗

Посмотреть общую схему агентного цикла

Модель может ответить или запросить инструмент; наблюдение возвращается в контекст следующего вызова — Число итераций зависит от задачи. Приложение также может остановиться по лимиту, ошибке или запросу пользователя. Открыть схему крупнее ↗

ОТ ПРОГРАММЫ К ЖЕЛЕЗУ

Где в этой системе работает видеокарта?

01

Приложение

Чат, файлы и настройки. В агентном сценарии здесь или в связанном сервисе работает харнесс.

02

Движок инференса

Загружает веса, выполняет вычисления, ведёт кэш. Примеры — llama.cpp и реализации моделей в Transformers.

03

GPU, CPU и память

Исполняют операции и хранят данные. Размещение зависит от движка, доступной VRAM и настроек.

Быстрая модель ≠ быстрый весь процесс

Как найти задержку между вызовами: смотрите длительность каждого этапа журнала.

Память параллельных слотов — в цифрах.

Что происходит внутри вызова модели ↗

ЧЕТЫРЕ РАЗНЫХ МЕХАНИЗМА

Что именно «помнит» система?

ОБУЧЕНИЕ

Веса

Изученные закономерности. При обычном инференсе не переписываются после каждого ответа.

ТЕКУЩИЙ ВЫЗОВ

Контекст

Инструкции, история, вопрос и подставленные данные. Имеет ограниченный размер.

ВЫЧИСЛЕНИЯ

KV-кэш

Промежуточные данные attention для повторного использования. Как хранить историю.

ПРИЛОЖЕНИЕ

Внешняя память

Файлы, заметки и базы. Их нужно прочитать и включить нужные сведения в контекст.

Документы попадают в поисковый индекс; найденные фрагменты передаются модели вместе с вопросом — RAG добавляет найденные материалы во вход. Загрузка документа в чат обычно не является обучением модели. Открыть схему крупнее ↗

Контекст, память и RAG подробнее ↗

СОБИРАЕМ СЛОВАРЬ

Ещё восемь понятий на своих местах

Инструмент / tool: Программная функция, выполняющая действие. Подробнее
Tool calling: Запрос инструмента с аргументами. Подробнее
MCP: Протокол подключения инструментов и ресурсов. Подробнее
Skill / навык: Пакет инструкций и материалов для задачи. Подробнее
RAG: Поиск фрагментов и добавление их в контекст. Подробнее
Embedding: Векторное представление данных для поиска. Подробнее
Workflow: Маршрут обработки, заданный программой. Подробнее
API и фреймворк: Интерфейс обмена и набор компонентов разработки. Подробнее

ТРИ ПОДРОБНЫХ РАЗБОРА

Продолжить со схемами и примерами

Принципы работы2 мин чтения

Как языковая модель превращает вопрос в ответ

Токенизация, prefill, decode и KV-кэш на примере Qwen3 8B. Где GPU ускоряет вычисления и где заканчивается расчётный потолок.

Принципы

Принципы работы2 мин чтения

Модель, агент и харнесс: кто за что отвечает

Разбираем запрос инструмента, журнал цикла и память параллельного агента на локальном сервере.

Принципы

Принципы работы2 мин чтения

Контекст, память, RAG и навыки: откуда модель берёт сведения

Почему агент теряет детали, сколько кэша добавляют найденные фрагменты и как вынести embeddings на CPU.

Принципы

Вопросы, которые помогают не запутаться

Агент — это обязательно несколько моделей?

Нет. Агентный цикл может использовать одну модель многократно. Разные роли и разные инструкции не обязательно означают разные наборы весов.

Модель умеет tool calling. Значит, она уже видит мои файлы?

Нет. Приложение должно предоставить подходящий инструмент, получить запрос на его вызов и выполнить операцию с имеющимися правами. Описание инструмента не равно содержимому файлов.

Если LLM запущена локально, всё приложение работает без сети?

Не обязательно. Сама генерация может выполняться локально, а инструменты поиска, внешние API или другие функции приложения — обращаться к сети. Это проверяется для конкретной конфигурации.

Можно ли решить все проблемы заменой видеокарты?

Большая VRAM помогает разместить модель и кэш, а подходящий GPU может ускорить вычисления. Качество модели, подбор контекста, логика харнесса и работа инструментов требуют отдельной проверки.

ПЕРВОИСТОЧНИКИ

На чём основаны объяснения

Самостоятельные учебные материалы редакции. Схемы упрощают устройство системы; детали зависят от архитектуры модели и реализации приложения.