Clef в Ollama: локальная классификация вместо длинного ответа

Что появилось и для какой задачи

19 октября Ollama объявила доступность Clef ↗ локально и в облаке. Саму модель Cloudflare представила 1 октября: это 27B на основе Qwen3.8-27B; у Clef-Flash основа Qwen3.5-9B. Обе выпущены под Apache 2.0. Они оценивают варианты ответа за один проход и возвращают вероятности. Свободного текстового ответа у этого интерфейса нет.

Практический пример — разобрать входящее обращение: выбрать отдел, проверить просьбу о возврате денег, оценить срочность. Категории задаёт ваше приложение. Модель принимает решение внутри этих категорий; дальнейшее действие выполняет код workflow. Для сочинения письма или объяснения ошибки по-прежнему нужен генеративный чат.

Выберите поставку и бюджет памяти

Диапазоны относятся к вариантам поставки для разных движков, а не к измеренному расходу VRAM. Проверьте выбранный вариант в карточке Clef ↗ и Clef-Flash ↗, затем размер скачанного экземпляра в ollama list. Файл Flash 11–12 ГБ больше 8 ГБ VRAM: полностью держать его там не получится. Ориентиры по памяти выше — редакционный выбор по размеру поставки, а длинный вход и изображения требуют дополнительного бюджета. В локальных тегах указаны окно 256K и вход Text, Image; в Highlights тех же карточек — 64K. Это расхождение источника: окно конкретной поставки проверяйте через ollama show и журнал, начиная с короткого текста.

Расчёт обычной Qwen3.8 не является расчётом Clef: кроме backbone и vision у неё отдельная joint schema head. В joint_head_config.json Clef указаны ширина 1024, 2 routing-слоя и 4 следующих слоя. Формула нашего калькулятора не описывает их рабочие буферы. В калькулятор добавлены отдельные текстовые профили: Clef 27B и Clef-Flash 9B. Они добавляют точный объём исходных тензоров головки к оценке backbone; её рабочие буферы по-прежнему исключены.

Первый локальный запрос

По документации Clef требует Ollama 0.35.1 или новее. Примеры ниже рассчитаны на проверенный релиз 0.40.11; сервер Ollama должен быть запущен. В PowerShell:

ollama --version
ollama pull clef
ollama list
ollama run clef "I was charged twice. Please refund the duplicate payment." --ask "Is a refund requested?" --format json
ollama ps

Для меньшей модели замените clef на clef-flash в загрузке и запросе. В ollama ps проверьте PROCESSOR: если нужна полная загрузка на GPU, ищите 100% GPU. Смешанное размещение — другой режим измерения. При OOM переходите к проверке памяти и журналов.

Три решения одним HTTP-запросом

Для повторяемой интеграции отправьте структуру state + questions в локальный /v1/systemone. Здесь английский контрольный пример из нашей редакции; затем проверьте свои русские обращения. PowerShell:

$body = @'
{
  "model": "clef",
  "state": "I was charged twice. Please refund the duplicate payment.",
  "questions": {
    "team": {
      "type": "choice",
      "instructions": "Which team should handle this request?",
      "criteria": {
        "billing": "Payments and refunds",
        "technical": "Software errors and configuration",
        "other": "Anything else"
      }
    },
    "refund": {
      "type": "noul",
      "instructions": "Does the customer request a refund?"
    },
    "urgency": {
      "type": "score",
      "instructions": "How urgently does this ticket need a response?",
      "criteria": [
        "Routine: no time pressure",
        "Soon: the customer is inconvenienced",
        "Immediate: a critical service is unavailable"
      ]
    }
  }
}
'@
Invoke-RestMethod -Method Post -Uri 'http://localhost:11434/v1/systemone' -ContentType 'application/json; charset=utf-8' -Body ([System.Text.Encoding]::UTF8.GetBytes($body)) | ConvertTo-Json -Depth 12

В ответе проверьте answers.team.choice, распределение probabilities и answers.refund.noul. Последнее — вероятность true от 0 до 1. answers.urgency.score — средневзвешенный уровень от 0 до 2: 0 × P(Routine) + 1 × P(Soon) + 2 × P(Immediate); критерии перечислены от низкой срочности к высокой. Локальный запрос не требует API-ключа. Тег clef:cloud выбирает удалённое выполнение; для этого примера оставьте clef.

Как проверить результат перед автоматизацией

Соберите небольшой размеченный набор: платежи, технические сбои, другие вопросы и двусмысленные обращения. Сначала прогоните его без действий над настоящими заявками. Добавьте класс other, опишите границы категорий и проверьте случаи, где модель уверенно ошибается. Порог передачи оператору подберите по этому набору.

confidence показывает выраженность выбора и не гарантирует правильность. Для сравнения Clef и Flash измеряйте долю верных маршрутов, полное время запроса и пик памяти при одинаковых входах. Tok/s чата плохо описывает такой ответ: здесь оценивается готовое решение. Собственных аппаратных замеров Clef у редакции нет; размеры загрузки не гарантируют вместимость, а вероятности не заменяют проверку на ваших данных.