а у вас было такое, что агенты упарываются и творят херню? 🙂

а у вас было такое, что агенты упарываются и творят херню?

(нет, это не начало моего нового стендапа) короче, иногда, выбрав определённое направление решения задачи (особенно в исследованиях и экспериментах) агент закапывается очень глубоко, и ему не хватает какой-то рефлексии типа "ох, чета мы кажется уже упоролись и делаем дичь. вернусь на пару шагов назад и подумаю, нет ли здесь другого решения".

скажем, у меня пару дней назад агент тестил десктопное приложение, эмуляцией кликов мыши (по CDP). и стал жаловаться, мол, кнопка не кликается - click-евент не ловится. он полчаса копался в драйвере CDP, решил что это баг драйвера, и стал переписывать всё моё приложение, чтобы кнопки умели реагировать не только на click, но и на pointerup. поймал упыря за руку в последний момент. сказал "дурень, дичь не неси, CDP перепроверь" - и вот чудо, оказывается он забыл передать какой-то аргумент, и всё итак нормально бы работало.

я долго думал - че с этим делать, как сделать так, чтобы агент иногда себя одёргивал и рефлексировал. и придумал!

неделю назад сделал себе комбо из двух хуков для codex: 1. один хук на начало turn (начало turn - это момент когда вы агенту дали задачу), который запоминает текущее время. 2. второй хук после каждого tool call, который проверяет, сколько прошло времени с начала turn, и с последнего "напоминания порефлексировать". если прошло больше 5 минут - то он говорит агенту "бро, долго работаешь. точно двигаешься ровно? давай helicopter view рефлексию, если всё четко - продолжай, если чувствуешь что дичькуешь - сделай пару шагов назад"

и мне оч нравится как оно работает - уже раза 3 ловил момент, когда хуки выводили агента на путь истинный.

сегодня причесал и залил на гитхаб, можете потыкать:

✨ https://github.com/ElKornacio/agent-plugins ✨ (добавьте marketplace в Codex, и установите плагин "Smoke Break")

P.S. вообще мне очень нравятся игры с "ощущением времени" для агентов. сам факт того, что он делает что-то долго, и принуждение его порефлексировать на тему "насколько затрачиваемое время соответствует тому, что ты делаешь" - это большое и интересное направление, в том числе для само-оптимизаций. иногда, когда агент e2e тесты гоняет часами, кажется, что если дать ему совсем маленькую подсказку типа "ты 1.5 часа гоняешь тесты" он и сам поймёт, что что-то не то, и оптимизации нужны