Все посты

Что такое Harness System

Большинство платформ строят AI-агентов. Harness — это среда, в которой агенты работают: слой, который определяет, что агенту разрешено делать, с какими данными, по каким правилам и что обязан подтвердить человек.

автор Команда Open Cradle8 мин чтениясерияharnessархитектурауправление

Большинство платформ строят AI-агентов. Мы строим среду, в которой они работают.

Различие звучит тонко, но таковым не является. Это разница между поставкой двигателя и поставкой машины с тормозами, приборной панелью и водительским местом.

Откуда слово

В инженерии harness — это испытательный стенд. Обвязка, которая позволяет запускать компонент в контролируемых условиях: подаёт входные данные, наблюдает выход, удерживает пределы и снимает питание, когда что-то выходит за диапазон. Программистам термин знаком по test harness — коду вокруг тестируемого кода.

Ключевое свойство: harness — это не испытуемая система. Ему не нужно быть умнее того, что он содержит. Ему нужно быть надёжным в том смысле, в каком содержимое надёжным не является.

Именно такое отношение уместно с языковой моделью. Модель мощная, универсальная и статистически ненадёжная так, что убрать это полностью невозможно. Слой вокруг неё может быть узким, явным и проверяемым. Пытаться сделать саму модель достаточно доверенной, чтобы действовать без надзора, — сложный путь. Обернуть её в то, что решает, во что её выводу позволено превратиться, — путь достижимый.

Из каких слоёв он состоит

Harness соединяет шесть вещей, которые в большинстве стеков разбросаны по проекту.

Языковая модель понимает естественный язык, извлекает структуру из грязного входа, предлагает действия и разговаривает с людьми. В этом она действительно превосходна.

Инструменты выполняют действия: запрос к базе, вызов внутреннего API, запись, отправка документа. Это единственный путь от рассуждения к эффекту — поэтому именно они естественная точка контроля.

Модель предметной области — онтологии, классификаторы, справочники — описывает, что существует в этом бизнесе и как связано. Именно её, как утверждала предыдущая статья серии, RAG не заменяет.

Политики определяют, что разрешено: какой агент может вызвать какой инструмент, к каким данным, от чьего имени, до какого порога, в какой юрисдикции.

Валидация проверяет результат прежде, чем он станет действием: удовлетворяет ли предложение ограничениям области, существуют ли процитированные источники и говорят ли они то, что им приписано, корректен ли формат для системы-получателя.

Человек решает там, где у решения должен быть владелец. Не проверяя всё подряд — это убивает экономику, — а в тех точках, которые политика помечает как значимые, а валидация как неопределённые.

Harness — это то, что превращает их в одну систему исполнения, а не в шесть интеграционных проектов.

Что harness знает

Конкретно — он хранит ответы на вопросы, которые сегодня живут в строках промптов и в головах команды:

  • какой агент может выполнять какое действие и на каком основании;
  • какие данные разрешено использовать в этой задаче, а какие он не должен видеть никогда;
  • какие результаты необходимо проверить перед выпуском и относительно чего;
  • какие правила имеют приоритет, когда применимы сразу два;
  • когда обработка обязана остановиться и дождаться человека;
  • и как объяснить готовое решение потом — цепочкой свидетельств, проверок и согласований, которая его породила.

Заметьте: ничто из этого не является свойством модели. Нельзя дообучением добиться того, что «этот агент не имеет доступа к зарплатным данным». Это архитектурное свойство, и живёт оно в слое, который существует независимо от того, ведёт ли себя модель хорошо.

Почему это задача формы «операционная система»

Операционная система не делает полезную работу. Она арбитр: решает, какой процесс получит процессор, к какой памяти он может обратиться, какие системные вызовы ему доступны, и изолирует отказ одного процесса от остальных. Ценность — в приложениях; ОС — причина, по которой машина продолжает жить, когда приложение неправо.

Агенты идут туда же. Организация с тремя агентами управляет ими вручную. Организация с тремястами — написанными разными командами, вызывающими инструменты друг друга, работающими с пересекающимися данными, часть от вендоров, часть собрана бизнес-подразделением в прошлом квартале, — так уже не может. Ей нужно место, где идентичность, разрешения, валидация и аудит существуют один раз, для всех.

Это место и есть harness.

Где мы на самом деле

Честное примечание — серия про архитектуру, и её легко прочитать как описание готового продукта.

Cradle сегодня реализует ту часть, которая ближе всего к исполнению: оркестрацию локальных моделей, маршрутизацию агентов, заземление на ваших документах, двухуровневый контроль риска для ответов и подтверждение человеком до того, как что-либо покинет периметр, — всё это на вашем оборудовании. Это работающий harness в узком смысле.

Полная картина, описанная здесь, — полноценный движок политик, среда валидации, доменные пакеты и онтологии как поставляемые компоненты — это целевая архитектура, а не текущий релиз. Мы описываем её публично, потому что предпочитаем, чтобы нас оценивали по заявленному дизайну, а не продавать готовую систему, которой не существует. В документе об архитектуре две колонки разделены явно.


Далее: Нейросимволическая среда исполнения — как нейронная и символьная половины переплетаются во время работы.