Что такое Harness System
Большинство платформ строят AI-агентов. Harness — это среда, в которой агенты работают: слой, который определяет, что агенту разрешено делать, с какими данными, по каким правилам и что обязан подтвердить человек.
Большинство платформ строят AI-агентов. Мы строим среду, в которой они работают.
Различие звучит тонко, но таковым не является. Это разница между поставкой двигателя и поставкой машины с тормозами, приборной панелью и водительским местом.
Откуда слово
В инженерии harness — это испытательный стенд. Обвязка, которая позволяет запускать компонент в контролируемых условиях: подаёт входные данные, наблюдает выход, удерживает пределы и снимает питание, когда что-то выходит за диапазон. Программистам термин знаком по test harness — коду вокруг тестируемого кода.
Ключевое свойство: harness — это не испытуемая система. Ему не нужно быть умнее того, что он содержит. Ему нужно быть надёжным в том смысле, в каком содержимое надёжным не является.
Именно такое отношение уместно с языковой моделью. Модель мощная, универсальная и статистически ненадёжная так, что убрать это полностью невозможно. Слой вокруг неё может быть узким, явным и проверяемым. Пытаться сделать саму модель достаточно доверенной, чтобы действовать без надзора, — сложный путь. Обернуть её в то, что решает, во что её выводу позволено превратиться, — путь достижимый.
Из каких слоёв он состоит
Harness соединяет шесть вещей, которые в большинстве стеков разбросаны по проекту.
Языковая модель понимает естественный язык, извлекает структуру из грязного входа, предлагает действия и разговаривает с людьми. В этом она действительно превосходна.
Инструменты выполняют действия: запрос к базе, вызов внутреннего API, запись, отправка документа. Это единственный путь от рассуждения к эффекту — поэтому именно они естественная точка контроля.
Модель предметной области — онтологии, классификаторы, справочники — описывает, что существует в этом бизнесе и как связано. Именно её, как утверждала предыдущая статья серии, RAG не заменяет.
Политики определяют, что разрешено: какой агент может вызвать какой инструмент, к каким данным, от чьего имени, до какого порога, в какой юрисдикции.
Валидация проверяет результат прежде, чем он станет действием: удовлетворяет ли предложение ограничениям области, существуют ли процитированные источники и говорят ли они то, что им приписано, корректен ли формат для системы-получателя.
Человек решает там, где у решения должен быть владелец. Не проверяя всё подряд — это убивает экономику, — а в тех точках, которые политика помечает как значимые, а валидация как неопределённые.
Harness — это то, что превращает их в одну систему исполнения, а не в шесть интеграционных проектов.
Что harness знает
Конкретно — он хранит ответы на вопросы, которые сегодня живут в строках промптов и в головах команды:
- какой агент может выполнять какое действие и на каком основании;
- какие данные разрешено использовать в этой задаче, а какие он не должен видеть никогда;
- какие результаты необходимо проверить перед выпуском и относительно чего;
- какие правила имеют приоритет, когда применимы сразу два;
- когда обработка обязана остановиться и дождаться человека;
- и как объяснить готовое решение потом — цепочкой свидетельств, проверок и согласований, которая его породила.
Заметьте: ничто из этого не является свойством модели. Нельзя дообучением добиться того, что «этот агент не имеет доступа к зарплатным данным». Это архитектурное свойство, и живёт оно в слое, который существует независимо от того, ведёт ли себя модель хорошо.
Почему это задача формы «операционная система»
Операционная система не делает полезную работу. Она арбитр: решает, какой процесс получит процессор, к какой памяти он может обратиться, какие системные вызовы ему доступны, и изолирует отказ одного процесса от остальных. Ценность — в приложениях; ОС — причина, по которой машина продолжает жить, когда приложение неправо.
Агенты идут туда же. Организация с тремя агентами управляет ими вручную. Организация с тремястами — написанными разными командами, вызывающими инструменты друг друга, работающими с пересекающимися данными, часть от вендоров, часть собрана бизнес-подразделением в прошлом квартале, — так уже не может. Ей нужно место, где идентичность, разрешения, валидация и аудит существуют один раз, для всех.
Это место и есть harness.
Где мы на самом деле
Честное примечание — серия про архитектуру, и её легко прочитать как описание готового продукта.
Cradle сегодня реализует ту часть, которая ближе всего к исполнению: оркестрацию локальных моделей, маршрутизацию агентов, заземление на ваших документах, двухуровневый контроль риска для ответов и подтверждение человеком до того, как что-либо покинет периметр, — всё это на вашем оборудовании. Это работающий harness в узком смысле.
Полная картина, описанная здесь, — полноценный движок политик, среда валидации, доменные пакеты и онтологии как поставляемые компоненты — это целевая архитектура, а не текущий релиз. Мы описываем её публично, потому что предпочитаем, чтобы нас оценивали по заявленному дизайну, а не продавать готовую систему, которой не существует. В документе об архитектуре две колонки разделены явно.
Далее: Нейросимволическая среда исполнения — как нейронная и символьная половины переплетаются во время работы.