Глава 28. Автономный режим: что он реально делает

У большинства инструментов есть режим, в котором ты задаёшь цель, а агент работает до её достижения. Мифов вокруг него навалено больше всего, поэтому разберём, что там внутри на самом деле.

Что происходит на самом деле Разочаровывающий, но полезный ответ, полученный при разборе: по сути это проверяющий завершения.

Работает так. Ты формулируешь цель. Агент работает обычным образом. После каждого крупного шага отдельная проверка спрашивает: цель достигнута? Нет, работа продолжается. Да, режим завершается.

Никакой особой магии, никакого специального планировщика, никакой отдельной архитектуры. Цикл плюс проверка завершения, и всё, приехали.

ГЛАВНОЕ ПРО АВТОНОМНЫЙ РЕЖИМ Качество автономного режима это качество проверки завершения, а не качество агента. Отсюда все его беды. Проверка нестрогая, значит агент объявит цель достигнутой, когда выдохнется. Проверка формальная, значит он подгонит под неё результат. Критерий сформулирован размыто, значит получишь чёрт знает что.

Это же объясняет самую частую жалобу. Практики описывали её так: у агента постоянно обманывается проверка завершения, потому что задачу он недоделал, но подал свой ответ так, будто уже всё идеально, а что не идеально, то и недостижимо. И проверка это радостно проглатывает.

Формулировка цели решает всё Из устройства следует практика: цель формулируется как проверяемое состояние, а не как пожелание.

ЦЕЛЬ, КОТОРАЯ НЕ РАБОТАЕТ

Улучши обработку ошибок в модуле оплаты.

Проверка завершения не сможет ответить да или нет. Агент закроет режим, когда сочтёт нужным.

ЦЕЛЬ, КОТОРАЯ РАБОТАЕТ

Все внешние вызовы в модуле оплаты обёрнуты повтором с ограничением, каждая ветка ошибки покрыта тестом, тесты проходят, в журнале появляются записи с кодом ошибки.

Каждое условие проверяемо. Проверка завершения работает как настоящий шлюз.

Сколько реально работает Замеры, которые называли практики, чтобы представление было честным.

Один прогон шёл несколько суток, вставал колом при исчерпании лимита и продолжался после сброса. Итог: результат был, но объём переделок после оказался громадным, и радость быстро кончилась.

Другой, на переносе проекта, шёл двенадцать часов и закончился рабочим результатом с недельным хвостом отлова ошибок.

Заявленный рабочий предел без заметного дрейфа, о котором говорили в главе про дрейф: около десяти-пятнадцати часов при наличии критериев на каждом пункте.

Есть и обратный пример. Один из практиков, экспериментировавших с полностью автономным режимом на больших задачах, сказал прямо, без реверансов: забил на него для больших задач, быстрее и дешевле декомпозировать самому.

АВТОНОМНЫЙ РЕЖИМ НА БОЛЬШИХ ЗАДАЧАХ За. Он работает, пока ты спишь, и суммарное время до результата меньше, даже с учётом переделок. Против. Декомпозировать самому быстрее и дешевле. Автономия окупается только на задачах, которые ты не можешь или не хочешь разбивать. Практический критерий. Можешь разбить за полчаса? Разбей. Не можешь, потому что неясно, из чего задача состоит? Тогда автономный проход как разведка, а не как исполнение.

Шесть отказов, которые обвязка обязана поймать Список, собранный из практики. Это то, что должно вылавливаться автоматически, потому что человека рядом нет.

Ложная готовность. Как выглядит: доклад о завершении при незакрытых критериях. Ловится проверкой критериев, а не доклада.

Тихое упрощение. Как выглядит: задача решена не так, как требовалось. Ловится проверкой на запрещённые приёмы.

Хождение по кругу. Как выглядит: одно и то же действие повторяется. Ловится счётчиком повторов одинаковых вызовов.

Расползание задачи. Как выглядит: агент делает соседнюю работу. Ловится сверкой изменений с областью задачи.

Молчаливая ошибка. Как выглядит: сбой перехвачен и не показан. Ловится проверкой на пустые перехваты.

Исчерпание бюджета. Как выглядит: расход растёт, прогресс нет. Ловится потолком на задачу и сравнением с прогрессом.

Последняя строка спасает больше денег, чем все остальные вместе взятые, и это не преувеличение.

Две ленты Полезно представлять автономный прогон как две параллельные ленты.

ЧТО ВИДИТ ЧЕЛОВЕК

Задача поставлена Тишина Отчёт утром

одна фраза несколько часов текст о готовности

ЧТО ПРОИСХОДИТ ВНУТРИ

Планирование Пункты по одному Сжатия контекста Блокировки Решения без тебя

своё понимание с проверками или без несколько за ночь пропуски или ступор десятки

Вся инженерия автономного режима сводится к тому, чтобы вторая лента оставляла следы, читаемые утром. Файл прогресса, чекпоинты, журнал решений. Иначе утром не разберёшь, что там было.

Проверка на самообман Отдельный приём для тех, кто уже обжёгся.

Утром, прежде чем читать отчёт, задай агенту в чистой сессии три вопроса, не показывая ему его собственный отчёт.

УТРЕННЯЯ ПРОВЕРКА 1. Возьми спецификацию и текущее состояние кода. Перечисли пункты, критерии которых сейчас не выполняются. 2. Перечисли места, где реализация отличается от того, что описано в спецификации. 3. Найди решения, принятые без явного указания в спецификации, и перечисли их.

Чистая сессия здесь принципиальна: агент, который писал отчёт, будет его защищать до последнего патрона, потому что помнит, почему так сделал, и считает себя правым.

Что запомнить Автономный режим это цикл плюс проверка завершения. Магии нет ни грамма.

Качество режима это качество проверки завершения.

Цель формулируй как проверяемое состояние, а не как пожелание.

Рабочий предел без дрейфа порядка десяти-пятнадцати часов, и только при критериях на каждом пункте.

Задачу можно разбить самому за полчаса, разбей. Автономия для того, что ты разбить не можешь.

Шесть отказов должны ловиться автоматически, потому что человека рядом нет.

И утром проверяй не отчёт агента, а состояние системы, в чистой сессии.

← Дрейф намерения · оглавление · Постоянно работающий агент →

Спросить книгу может любой, кто вошёл в Neuraldeep Hub: агент ищет ответ по тексту и приводит цитату со ссылкой на главу.