Сколько автономности должно быть у ИИ‑агента

Автономность ИИ-агентов, как правило, заканчивается после обнаружения очередной уязвимости. Даже если максимально дотошно спроектировать пайплайн работы, риски незапланированных косяков иишки, увы, сохраняются. Поэтому думается, что автономность в принципе доступима в достаточно ограниченном круге задач. Не "неважных", а таких, где позволительно взять на себя риски.

Тоже занимался этой проблемой - как запустить агента в корпоративный контур, чтобы он ничего не натворил. Я пришел к идее дать ему отдельный аккаунт и включить в процесс как сотрудника.

Все риски это не снимает, но должно помочь как-то разрулить ситуацию.
Появляется и прозрачность, прослеживаемость.
И в целом становится более наглядно.
Вдруг будет интересно: https://habr.com/ru/articles/1037746/

Ваш тезис про верхний предел автономности хорошо ложится на генерацию изображений, где «неверное понимание» выглядит особенно коварно.

У нас был такой случай. В API модели есть параметр разрешения, и мы решили включить его для всех задач — на демо-примерах он давал заметно лучший результат. Оказалось, что это не настройка вывода, а переключатель режима: получив его, модель перестаёт править исходник и начинает собирать кадр заново. На одиночном портрете это дало выигрыш, а на групповом снимке из кадра пропал один из двух человек.

Самое неприятное здесь именно то, о чём вы пишете. Задача завершилась со статусом success, файл валиден, разрешение соответствует запрошенному, лицо в кадре есть, картинка красивая. Ни один автоматический проверяющий на нашей стороне не имел шанса это поймать — oracle был человеческим, и то случайно: мы заметили, потому что гоняли A/B и смотрели пары глазами.

Из этого мы вынесли две вещи. Первая — для правки изображений напрашивается очень дешёвый oracle: посчитать лица на входе и на выходе и сравнить. Детектор лиц у нас и так был для других целей, а закрыл бы он именно тот класс ошибок, который дороже всего. Вторая — градиент автономности, кажется, стоит строить не только по оси «время и накопленное доверие», но и по типу входа. У нас один и тот же параметр на одиночном портрете был безопасен, а на групповом снимке — нет, и глобальная настройка «включить всем» тут была заведомо неправильной постановкой вопроса.