Модель, агент и харнесс: кто за что отвечает

Начните с карты ролей

Модель, агент и харнесс — роли, границы которых зависят от приложения. Харнессу не нужна отдельная нейросеть: это код подготовки входа, исполнения инструментов и остановки цикла. Здесь разберём его поведение на одном запросе.

Tool call ещё не прочитал файл

{"name":"search_notes","arguments":{"query":"RAM и VRAM моего ПК"}}

Это условный формат запроса. Приложение сопоставляет имя с функцией, проверяет аргументы, вызывает поиск и добавляет результат с источником к истории. После этого идёт следующий вызов модели. При ошибке инструмента модель должна получить ошибку, а не придуманные данные.

Проследить три сценария на интерактивной схеме.

Что хранить в журнале

• Какой вход и описания инструментов получил вызов.
• Имя и аргументы выбранного инструмента.
• Источник, результат или ошибку выполнения.
• Что добавилось в следующий контекст.
• Причину остановки: ответ, лимит, ошибка или ожидание пользователя.

В workflow маршрут обычно задаёт код. В агентном цикле часть следующих действий выбирает модель по наблюдениям. Эти подходы можно сочетать в одном приложении.

Одна копия весов, несколько слотов

Несколько агентов могут обращаться к одной загруженной модели. Для Qwen3 8B Q4_K_M это 4,68 ГиБ весов. При окне 8192 один слот FP16 KV требует 1,13 ГиБ; второй добавляет ещё столько же. С резервом 1,5 ГиБ один слот даёт 7,3 ГиБ, два — 8,43 ГиБ. Именно такой фиксированный бюджет показан в RAG-сценарии схемы.

Это учебная оценка хранения: буферы параллельного prefill отдельно не измерены. Если каждый процесс загружает собственную модель, дублируются уже веса. В Ollama на 16-ГБ карте исходное окно — 4K, на 24-ГБ — 32K; задайте нужный num_ctx явно. Настройка и проверка CONTEXT.

Разделяйте узкие места

GPU ускоряет операции модели, но не время сетевого ожидания и файлового поиска. Смотрите длительности этапов журнала: плохой поиск исправляют индексом и запросом, не увеличением VRAM. Если нужные сведения исключены из входа, модель их не восстановит из полного чата на экране. Как передавать и сохранять факты.