Настройка

Ключи и модели

Локальные модели, провайдеры по ключу, GPU-сервер, роли моделей, контур команды и модели команды — в порядке настройки.

Агенту нужна модель. Она берётся из трёх мест: скачанная на сервер (GGUF), по ключу провайдера (Claude, OpenAI, Gemini, Grok) или с GPU-сервера. Какой агент получит какую модель, определяют роли моделей и «Модели команды».

1. Что нужно как минимум

  • одна чат-модель — она же классификатор риска: колыбель берёт qwen3-4b-q4, если она установлена, иначе модель с ролью classifier, иначе самую маленькую чат-модель;
  • для баз знаний — модель с ролью embedding (Базы знаний);
  • для голосовых сообщений — модель с ролью stt.

Как проверить.

cradle models list

Таблица со столбцами REF, PROVIDER, ROLE, EXTERNAL-ID, CTX, SIZE. Пустая таблица — «no models installed or registered».

Если нет. Без чат-модели сообщение не теряется, но агент ничего не отвечает: тикет ждёт оператора с причиной «Агент не сформировал черновик ответа.» (Ждут решения).

2. Скачайте локальную модель

В консоли: Колыбели → карточка колыбели → Ключи и модели → ссылка + Добавить модель. Откроется каталог GGUF с вердиктом по железу сервера; у нужной модели — кнопка Скачать.

То же командами:

cradle models list --catalog
cradle models check qwen3-4b-q4
cradle models pull qwen3-4b-q4
cradle models pull qwen3-embedding-0.6b-q8

list --catalog показывает каталог с вердиктом по железу (fits, tight, won't run), check — вердикт для одной модели. qwen3-4b-q4 — чат-модель и классификатор, ~2,5 ГБ, нужно ~6 ГБ RAM; qwen3-embedding-0.6b-q8 — embedding-модель, ~0,7 ГБ.

Файлы лежат в <каталог данных>/models. Вместо qwen3-embedding-0.6b-q8 подойдёт bge-m3-q4.

Консоль показывает каталог GGUF только у колыбели, которую считает локальной. Колыбель, у которой API слушает не на 127.0.0.1 (установка под root с 0.0.0.0 по умолчанию), консоль считает GPU-сервером и каталог не показывает: скачивайте командой cradle models pull. Тип колыбели можно задать явно переменной окружения службы CRADLE_KIND=local.

Как проверить. cradle models list показывает модель с PROVIDER llama-cpp, в карточке колыбели она появляется в списке «МОДЕЛИ».

Если нет. Вердикт won't run — модели не хватает памяти, выберите меньшую. При ошибке скачивания cradle models pull печатает причину в строке прогресса.

3. Подключите ключи провайдеров

В консоли: Колыбели → карточка колыбели → Ключи и модели → блок «КЛЮЧИ ПРОВАЙДЕРОВ». Раскройте провайдера (OpenAI, Anthropic, Gemini, Grok (xAI), Remote GPU (llama.cpp/vLLM)), в блоке «Add API key» введите Label и ключ, нажмите Save & verify. Затем Load models, отметьте нужные модели и нажмите Add N to catalog — они появятся в списке «МОДЕЛИ» этой колыбели.

Блок есть у колыбели типа «локальная» и «облачная». У GPU-сервера (и у колыбели, которую консоль считает GPU-сервером, см. выше) вместо него — «Сервисы моделей на сервере»; чтобы получить блок ключей, задайте службе CRADLE_KIND=local.

Ключи хранятся зашифрованными: ключ шифрования — CRADLE_SECRET_KEY или файл secret.key в каталоге данных (он создаётся сам; копируйте его в резервную копию). Если консоль пишет «Encrypted credential storage unavailable», задайте ключи переменными окружения службы: OPENAI_API_KEY, ANTHROPIC_API_KEY, GEMINI_API_KEY, XAI_API_KEY — сервер подхватит их при запуске.

Amazon Bedrock ключа не требует: колыбель ходит под AWS-ролью своего хоста, и в консоли он виден только оператору (admin:*).

Модель можно зарегистрировать и командой, без консоли:

cradle models add claude-sonnet-5-5:cloud --provider anthropic --external-id claude-sonnet-5-5 --role general

--role по умолчанию coding; задавайте его явно.

Как проверить. Рядом с провайдером — отметка «✓ verified», в списке «МОДЕЛИ» карточки — добавленные модели; cradle models list показывает их с PROVIDER anthropic (или другим).

Если нет. Рядом с ключом — отметка «error», при наведении видна причина; сообщение «Verify failed: …» — провайдер отверг ключ.

Контур команды

У команды есть контур: closed (внешние провайдеры недоступны) или cloud. Команда на локальной колыбели создаётся в closed, на облачной — в cloud. Агент команды в закрытом контуре не получит облачную модель: запрос к ней завершается ошибкой «Команда «…» — закрытый контур: провайдер «…» недоступен…», а посадка модели сообщает «Модель «…» внешняя, а команда в закрытом контуре.» В консоли переключателя нет, контур меняет оператор:

cradle teams update <slug> --contour cloud

При создании: cradle teams create <slug> --contour cloud.

4. Подключите GPU-сервер

Подробности и скриншоты — на странице GPU-сервер. Коротко, по шагам:

На GPU-сервере поставьте Cradle (сервер слушает только 127.0.0.1), войдите в CLI (apiKey — из ~/.local/share/cradle/data/client-credentials.json) и подключите модели, которые уже запущены (vLLM, Ollama, llama.cpp, TGI):

curl -fsSL https://download.opencradle.ai/cradle-cli/latest/cradle-cli-install.sh | CRADLE_BIND=127.0.0.1 sh
cradle login --url http://127.0.0.1:31416 --key <apiKey>
cradle models discover --connect gpu

Команда опрашивает порты Docker и порты 127.0.0.1 из списка 8000, 8001, 8080, 8081, 11434, 1234, 5000, 30000 (свой список — переменная CRADLE_INFERENCE_PORTS) по /v1/models и ничего не скачивает. Ключ закрытого контейнера (VLLM_API_KEY, API_KEY, --api-key) колыбель читает из docker inspect сама. Сервер на другой машине: cradle models discover --base-url http://host:8000 --key <ключ> --connect <имя>. Whisper и Parakeet получают роль stt, bge, e5, nomic и gte — embedding.

На своём компьютере откройте туннель и не закрывайте его, пока работаете в консоли:

ssh -N -L 31420:127.0.0.1:31416 user@gpu-host

В консоли: Колыбели → карточка GPU-сервер → Подключить. Вход тем же аккаунтом, что на сайте; первый вошедший через туннель становится владельцем (Вход, люди и ключи).

Как проверить. Карточка пишет «туннель открыт», а в блоке «СЕРВИСЫ МОДЕЛЕЙ НА СЕРВЕРЕ» сервисы со статусом «Доступен»; на сервере cradle models list показывает строки с PROVIDER remote-gpu. Занятую видеопамять показывает cradle gpu who --totals (нужен nvidia-smi).

Если нет.

  • No model servers found … — на сервере не отвечает ни один порт: запустите модель или задайте адрес через --base-url.
  • Статус «Нужен ключ» — повторите подключение с --key (или введите ключ в диалоге Подключить).
  • «туннель закрыт» — завершилась команда ssh; запустите её снова.
  • error: No server configured на сервере — не выполнен cradle login.

5. Роли моделей

У каждой модели есть роль: classifier, general, coding, reasoning, embedding, stt, stt-stream. Роль задаёт каталог (GGUF), автоопределение при models discover, каталог провайдера или флаг --role команды cradle models add. Роль stt-stream — потоковое распознавание речи по WebSocket.

Требование агента или команды подбирает модели по ролям:

Требование (как в консоли)Подходящие роли
«Общая (general)»general, coding, reasoning, classifier
«Код (coding)»coding
«Рассуждение (reasoning)»reasoning или модель, помеченная как reasoning
«Эмбеддинги (embedding)»embedding
«Распознавание речи (stt)»stt

6. Модели команды

Откройте страницу команды (вкладка Команда, вид «Канвас»): пока ни один агент не выбран, справа виден блок «Модели команды» — по селекту на каждое требование; по умолчанию «Любая подходящая». В форме агента поле «Требование» («Общая», «Код», «Рассуждение») и поле Model: значение «По требованию команды» оставляет выбор карте.

Порядок подбора для агента: модель, указанная у самого агента → карта «Модели команды» → первая подходящая установленная модель колыбели (недавно использованные первыми). Явный выбор, не подходящий по роли, не запрещается, а сопровождается предупреждением.

Как проверить. На странице команды у агента нет предупреждения про модель.

Если нет. Предупреждение у агента называет причину: «Нет модели для требования general на этой колыбели — установите чат-модель или задайте модель агенту.» — установите модель (шаги 2–4); «Модель … внешняя, а команда в закрытом контуре.» — переключите контур (шаг 3).