Реліз Claude Opus 5: ціни, обмеження та втричі кращий результат в ARC-AGI

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Anthropic презентувала Claude Opus 5. Компанія заявляє, що нова модель майже досягла рівня їхньої флагманської Fable 5. При цьому виконання задач обходиться вдвічі дешевше. Вона вже стала базовою моделлю в Claude Max.

Що там з тестами на логіку та кодинг

Минулого разу ми обговорювали результати Opus 4.8 у надскладному тесті ARC-AGI-3. Opus 5 здійснила тут величезний стрибок. Її результат у вирішенні нових проблем виявився втричі вищим за найближчого конкурента.

Крім того, модель показала сильний приріст в інженерних задачах. На Frontier-Bench вона обійшла всі існуючі моделі. Результат удвічі кращий за попередню Opus 4.8.

У CursorBench на максимальних налаштуваннях зусиль модель відстає від пікових показників Fable 5 всього на 0,5%. Але задача обходиться вдвічі дешевше.

Гортайте вбік, щоб подивитися всі зображення

У бенчмарку використання комп’ютера OSWorld 2.0 Opus 5 взагалі перевершила найкращий результат Fable 5. Вона витратила на це трохи більше третини вартості.

Більше самостійності

Anthropic робить акцент на тому, що Opus 5 навчилася краще перевіряти власну роботу та виявляти ініціативу. Наприклад, в одному з тестів моделі дали креслення деталі. Її попросили написати код для відтворення об’єкта у 3D. Моделі навмисно закрили прямий доступ до інструментів перегляду креслення.

Замість відмови Opus 5 сама написала пайплайн комп’ютерного зору. Вона витягнула геометрію з сирих пікселів і успішно відтворила деталь. Інші моделі не змогли цього зробити навіть за п’ять спроб.

В іншому кейсі модель виправляла баг у відомому пакетному менеджері. Вона не просто закрила поверхневий симптом. Opus 5 докопалася до першопричини та виправила проблему, яку пропустило саме ком’юніті.

Кібербезпека та обмеження

Opus 5 навмисно стримують у питаннях кібербезпеки та біології. За даними бенчмарку OSS-Fuzz, модель знаходить вразливості в коді майже так само добре, як спеціалізована Mythos 5. Але коли справа доходить до створення експлойтів, Opus 5 залишається далеко позаду.

Довготривалі автономні дослідження в біології також залишаються прерогативою Mythos 5. Водночас обмеження саме у сфері кібербезпеки спрацьовуватимуть на 85% рідше порівняно з Fable 5.

Ціна питання

Прайс залишився на рівні Opus 4.8. Це $5 за мільйон вхідних токенів та $25 за мільйон вихідних. Також на платформі доступний швидкий режим. За подвійний прайс він генерує відповіді у 2,5 раза швидше.