Claude Code протестували 600 разів, щоб виявити на яких мовах він кодить швидше (та дешевше)

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Окрім того, що халтурить Claude Code ще й має улюбленців серед мов програмування. Розробник провів серію тестів, щоб з’ясувати, як модель працює із різними мовами. У межах експерименту він 600 разів запускав Opus 4.6 на однаковому завданні в 13 мовах програмування.

Результати показали, що динамічні мови виявилися для AI швидшими та дешевшими в роботі. У свою чергу статично типізовані потребували більше часу, а також більшої кількості токенів, відповідно, коштували дорожче.

Наприклад, Ruby у середньому потребувала 73,1 секунди та коштувала 0,36 долара за запуск, Python — 74,6 секунди та 0,38 долара, JavaScript — 81,1 секунди та 0,39 долара. Усі три мови успішно проходили тести в усіх 40 запусках.

Водночас статично типізовані мови модель обробляла повільніше, тож витрати зростали майже в півтори рази, а інколи вдвічі. Найбільше часу та грошей Claude Code витрачав на C (155,8 секунд, 0,74 долара), Haskell (174 секунди, 0,74 долара) та Ruby/Steep (186,6 секунд, 0,84 долара).

Графік: Yusuke Endoh / DEV

Втім, розробник прямо зазначає, що його бенчмарк має свої недоліки. Так, всі програми були невеликими, приблизно на 200 рядків коду, тому результати скоріше показують сценарій швидкого прототипування, а не роботу з великими кодовими базами. Крім того, тести не оцінювали якість коду, його підтримуваність або продуктивність виконання.

Ну що, тепер чекаємо, коли будуть тести, у яких мовах Claude Code робить найменше помилок)

До речі, розкажіть, для яких мов програмування ви використовуєте AI-інструменти?