В среднем на 30-40% в некоторых задачах на 100%+

Если агент не знает полного контекста проекта (а он большой), то и мелких деталей, которые нужны для корректной работы без ошибок и лишнего кода, он тоже не знает.
Если же дробить задачи на микро например, нужна функция, которая делает то-то это действительно работает значительно лучше. Но тогда ты сам должен чётко направлять агента и контролировать каждый шаг, потому что он не видит общий флоу проекта, контекст, спеку и так далее. Суть в том, что в любом случае с большим контекстом или с микрозадачами без программиста/инженера это просто инструмент. Сам по себе он не напишет готовый продукт, который будет стабильно работать. И поверь, навыки у меня есть я работаю с LLM уже 2 года и использую его на максимум из того, что возможно на сегодняшний день. (Claude Code если что)

Я прекрасно понимаю, как работают LLM. Когда модель знает весь проект и получает большой контекст начинаются галлюцинации, игнорирование чётко прописанных инструкций, и сверху накидывается мусорный код. Да, потом можно прогнать его через специализированных агентов-ревьюеров, и большую часть они закроют но на моём опыте они никогда не решали все проблемы и оставляли реальные дыры в безопасности и бизнес логике, даже после 7–10 итераций. Поэтому без контроля он угробит любой бизнес даже если обмазаться всеми лучшими агентами, которые только существуют (я пробовал). Всё равно допускает ошибки, городит оверинжиниринг там, где хватило бы простого алгоритма и пары условий, и так далее.

Ага, вижу, как забрал 😄 Если опытный разработчик не ревьюит всё, что пишет то это превращается в неподдерживаемое месиво.

Лучшие результаты от AI получают те, кто понимает как работает код, логику, декомпозицию задач. Человек, который не умеет думать как программист, даст AI размытое задание и получит мусор. Человек, который умеет получит за час то, что раньше делал неделю.