Ключи и модели
Локальные модели, провайдеры по ключу, GPU-сервер, роли моделей, контур команды и модели команды — в порядке настройки.
Агенту нужна модель. Она берётся из трёх мест: скачанная на сервер (GGUF), по ключу провайдера (Claude, OpenAI, Gemini, Grok) или с GPU-сервера. Какой агент получит какую модель, определяют роли моделей и «Модели команды».
1. Что нужно как минимум
- одна чат-модель — она же классификатор риска: колыбель берёт
qwen3-4b-q4, если она установлена, иначе модель с рольюclassifier, иначе самую маленькую чат-модель; - для баз знаний — модель с ролью
embedding(Базы знаний); - для голосовых сообщений — модель с ролью
stt.
Как проверить.
cradle models listТаблица со столбцами REF, PROVIDER, ROLE, EXTERNAL-ID, CTX, SIZE.
Пустая таблица — «no models installed or registered».
Если нет. Без чат-модели сообщение не теряется, но агент ничего не отвечает: тикет ждёт оператора с причиной «Агент не сформировал черновик ответа.» (Ждут решения).
2. Скачайте локальную модель
В консоли: Колыбели → карточка колыбели → Ключи и модели → ссылка + Добавить модель. Откроется каталог GGUF с вердиктом по железу сервера; у нужной модели — кнопка Скачать.
То же командами:
cradle models list --catalog
cradle models check qwen3-4b-q4
cradle models pull qwen3-4b-q4
cradle models pull qwen3-embedding-0.6b-q8list --catalog показывает каталог с вердиктом по железу (fits, tight,
won't run), check — вердикт для одной модели. qwen3-4b-q4 — чат-модель и
классификатор, ~2,5 ГБ, нужно ~6 ГБ RAM; qwen3-embedding-0.6b-q8 —
embedding-модель, ~0,7 ГБ.
Файлы лежат в <каталог данных>/models. Вместо qwen3-embedding-0.6b-q8
подойдёт bge-m3-q4.
Консоль показывает каталог GGUF только у колыбели, которую считает локальной.
Колыбель, у которой API слушает не на 127.0.0.1 (установка под root с
0.0.0.0 по умолчанию), консоль считает GPU-сервером и каталог не показывает:
скачивайте командой cradle models pull. Тип колыбели можно задать явно
переменной окружения службы CRADLE_KIND=local.
Как проверить. cradle models list показывает модель с PROVIDER
llama-cpp, в карточке колыбели она появляется в списке «МОДЕЛИ».
Если нет. Вердикт won't run — модели не хватает памяти, выберите меньшую.
При ошибке скачивания cradle models pull печатает причину в строке прогресса.
3. Подключите ключи провайдеров
В консоли: Колыбели → карточка колыбели → Ключи и модели → блок «КЛЮЧИ ПРОВАЙДЕРОВ». Раскройте провайдера (OpenAI, Anthropic, Gemini, Grok (xAI), Remote GPU (llama.cpp/vLLM)), в блоке «Add API key» введите Label и ключ, нажмите Save & verify. Затем Load models, отметьте нужные модели и нажмите Add N to catalog — они появятся в списке «МОДЕЛИ» этой колыбели.
Блок есть у колыбели типа «локальная» и «облачная». У GPU-сервера (и у колыбели,
которую консоль считает GPU-сервером, см. выше) вместо него — «Сервисы моделей
на сервере»; чтобы получить блок ключей, задайте службе CRADLE_KIND=local.
Ключи хранятся зашифрованными: ключ шифрования — CRADLE_SECRET_KEY или файл
secret.key в каталоге данных (он создаётся сам; копируйте его в резервную
копию). Если консоль пишет «Encrypted credential storage unavailable», задайте
ключи переменными окружения службы: OPENAI_API_KEY, ANTHROPIC_API_KEY,
GEMINI_API_KEY, XAI_API_KEY — сервер подхватит их при запуске.
Amazon Bedrock ключа не требует: колыбель ходит под AWS-ролью своего хоста, и в
консоли он виден только оператору (admin:*).
Модель можно зарегистрировать и командой, без консоли:
cradle models add claude-sonnet-5-5:cloud --provider anthropic --external-id claude-sonnet-5-5 --role general--role по умолчанию coding; задавайте его явно.
Как проверить. Рядом с провайдером — отметка «✓ verified», в списке «МОДЕЛИ»
карточки — добавленные модели; cradle models list показывает их с
PROVIDER anthropic (или другим).
Если нет. Рядом с ключом — отметка «error», при наведении видна причина; сообщение «Verify failed: …» — провайдер отверг ключ.
Контур команды
У команды есть контур: closed (внешние провайдеры недоступны) или cloud.
Команда на локальной колыбели создаётся в closed, на облачной — в cloud.
Агент команды в закрытом контуре не получит облачную модель: запрос к ней
завершается ошибкой «Команда «…» — закрытый контур: провайдер «…» недоступен…»,
а посадка модели сообщает «Модель «…» внешняя, а команда в закрытом контуре.»
В консоли переключателя нет, контур меняет оператор:
cradle teams update <slug> --contour cloudПри создании: cradle teams create <slug> --contour cloud.
4. Подключите GPU-сервер
Подробности и скриншоты — на странице GPU-сервер. Коротко, по шагам:
На GPU-сервере поставьте Cradle (сервер слушает только 127.0.0.1), войдите в
CLI (apiKey — из ~/.local/share/cradle/data/client-credentials.json) и
подключите модели, которые уже запущены (vLLM, Ollama, llama.cpp, TGI):
curl -fsSL https://download.opencradle.ai/cradle-cli/latest/cradle-cli-install.sh | CRADLE_BIND=127.0.0.1 sh
cradle login --url http://127.0.0.1:31416 --key <apiKey>
cradle models discover --connect gpuКоманда опрашивает порты Docker и порты 127.0.0.1 из списка
8000, 8001, 8080, 8081, 11434, 1234, 5000, 30000 (свой список — переменная
CRADLE_INFERENCE_PORTS) по /v1/models и ничего не скачивает. Ключ закрытого
контейнера (VLLM_API_KEY, API_KEY, --api-key) колыбель читает из
docker inspect сама. Сервер на другой машине:
cradle models discover --base-url http://host:8000 --key <ключ> --connect <имя>.
Whisper и Parakeet получают роль stt, bge, e5, nomic и gte — embedding.
На своём компьютере откройте туннель и не закрывайте его, пока работаете в консоли:
ssh -N -L 31420:127.0.0.1:31416 user@gpu-hostВ консоли: Колыбели → карточка GPU-сервер → Подключить. Вход тем же аккаунтом, что на сайте; первый вошедший через туннель становится владельцем (Вход, люди и ключи).
Как проверить. Карточка пишет «туннель открыт», а в блоке «СЕРВИСЫ МОДЕЛЕЙ
НА СЕРВЕРЕ» сервисы со статусом «Доступен»; на сервере cradle models list
показывает строки с PROVIDER remote-gpu. Занятую видеопамять показывает
cradle gpu who --totals (нужен nvidia-smi).
Если нет.
No model servers found …— на сервере не отвечает ни один порт: запустите модель или задайте адрес через--base-url.- Статус «Нужен ключ» — повторите подключение с
--key(или введите ключ в диалоге Подключить). - «туннель закрыт» — завершилась команда
ssh; запустите её снова. error: No server configuredна сервере — не выполненcradle login.
5. Роли моделей
У каждой модели есть роль: classifier, general, coding, reasoning,
embedding, stt, stt-stream. Роль задаёт каталог (GGUF), автоопределение
при models discover, каталог провайдера или флаг --role команды
cradle models add. Роль stt-stream — потоковое распознавание речи по
WebSocket.
Требование агента или команды подбирает модели по ролям:
| Требование (как в консоли) | Подходящие роли |
|---|---|
| «Общая (general)» | general, coding, reasoning, classifier |
| «Код (coding)» | coding |
| «Рассуждение (reasoning)» | reasoning или модель, помеченная как reasoning |
| «Эмбеддинги (embedding)» | embedding |
| «Распознавание речи (stt)» | stt |
6. Модели команды
Откройте страницу команды (вкладка Команда, вид «Канвас»): пока ни один агент не выбран, справа виден блок «Модели команды» — по селекту на каждое требование; по умолчанию «Любая подходящая». В форме агента поле «Требование» («Общая», «Код», «Рассуждение») и поле Model: значение «По требованию команды» оставляет выбор карте.
Порядок подбора для агента: модель, указанная у самого агента → карта «Модели команды» → первая подходящая установленная модель колыбели (недавно использованные первыми). Явный выбор, не подходящий по роли, не запрещается, а сопровождается предупреждением.
Как проверить. На странице команды у агента нет предупреждения про модель.
Если нет. Предупреждение у агента называет причину: «Нет модели для требования general на этой колыбели — установите чат-модель или задайте модель агенту.» — установите модель (шаги 2–4); «Модель … внешняя, а команда в закрытом контуре.» — переключите контур (шаг 3).