AI‑агент не использует поиск: как исправить

я не писал пост про MLGym - мне показалось узкопрофильно, про него очень хорошо написала одна из авторов здесь (на русском)

но очень хочется написать про цитату из поста: "почти все агенты очень мало используют поиск, хотя могли бы".

2/3 запросов на консалтинг, которые мне прилетают, это "у нас ИИ-агент почему-то не изучает файлы/не использует поиск/не запрашивает данные". ещё туда же попадают "мы заменили RAG на отдельный тул для агента, через который он может запросить какую-то инфу, и он вообще почти его не использует".

мне кажется, что в последние 3 месяца, на каждом созвоне с AI-стартапами, я повторяю как мантру "ИИ не знает, когда он чего-то не знает". "ИИ не знает, когда он чего-то не знает".

ещё раз, all together: "ИИ не знает, когда он чего-то не знает".

он не понимает, что у него нет данных, с которыми предстоит работать - он их просто нагаллюцинирует. он не понимает, что ему не хватает "знаний", он не воспользуется поиском, чтобы эти "знания" докинуть в контекст. он (с оговорками) не понимает, насколько он "уверен", в своём ответе (да, бывают хитрые policy, но сейчас не об узких кейсах).

человеческому мозгу эту трудно осознать, концепция "я не знаю" для нас естественна. поэтому, если вы делаете стартап вокруг ИИ-агента, то ещё раз, глубоко подружитесь с этой мыслью: "ИИ не знает, когда он чего-то не знает".

P.S. а как это чинить? есть разные пути, можно отдельный reasoning step на чтение/поиск потратить (без "если не знаешь, запроси", просто директивно "запроси"), можно на распределение вероятностей токенов в сыром ответе llm смотреть (пытаться считать "увереность" ИИ в ответе), можно fine tuning делать, чтобы ИИ привык тул поиска всегда на первом шаге дергать. у всех подходов свои ограничения, универсального нет, тут надо смотреть на конкретнй кейс.