Чому ШІ — поганий програміст

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Чергове дослідження, яке гайпуючі оминуть увагою:

Свіже дослідження та пов’язаний із ним бенчмарк показують, наскільки добре агенти справляються не просто з написанням коду, а з його розширенням у зв’язку зі зміною бізнес-вимог.

Коротше кажучи, все як у житті.

Для того, щоб оцінити якість результату, у бенчмарку дивляться на два показники — кількість зайвого чи дубльованого коду та дещо під назвою structural erosion (структурна ерозія), що можна приблизно уявити як надмірну складність рішення.

І все досить погано. У 80% випадків складність зростає, у 90% випадків збільшується кількість зайвого коду.

Що ще цікаво — у коді, написаному людиною, ці метрики з часом залишаються на одному рівні, а в агентському — погіршуються від ітерації до ітерації.

SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks

P.S.

Оскільки я використовую ШІ з 23-го року, а з осені код не пишу:

• висновки дослідження повністю збігаються з моїм досвідом використання ШІ в розробці;
• не у «вайбкодингу», а у професійній розробці.

Цю слабкість GenAI я називаю протягом цих років:

відсутність абстрактного мислення.

І у останніх моделей його теж не з’явилося.