Прогнав через ніч кілька кейсів на GPT-5.6 Sol у Codex, мій коротенький вердикт

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

На цей момент я не рекомендую використовувати GPT-5.6 Sol для тривалих агентних задач у Codex, особливо без жорстких обмежень часу, кількості ітерацій і бюджету. Мій досвід виявився відверто невдалим. У першому випадку я попросив модель створити відносно простого анімованого Pet (при чому цей процес вже інтегрований у ChatGPT Work як Hatch Pet і на веб версії в мене спрацював значно швидше, в Кодексі десктоп читайте далі). Замість готового результату процес тривав понад 11 годин. Модель постійно запускала нових субагентів, повторювала візуальні перевірки, перегенеровувала ті самі елементи та поверталася до вже нібито виправлених проблем. У підсумку роботу довелося зупинити вручну: повністю готового й придатного до використання результату я так і не отримав.

У другому випадку ситуація повторилася вже з примітивною програмою. Модель знову застрягла в циклі:

зміна коду → запуск тесту → невдалий тест → додаткова діагностика → чергова зміна → повторний тест.

При цьому кожна нова ітерація подавалася як майже фінальне виправлення, але задача не завершувалася. У результаті обидві спроби разом фактично спалили два мої тижневі бюджети Codex, не створивши завершеного продукту ( я навмисне не зупиняв генерації, використовував персональну підписку GPTPlus + використав 1 рефреш з 4 доступних).

Найбільша проблема навіть не в тому, що модель припустилася помилки. Помиляються всі моделі. Проблема в тому, що GPT-5.6 Sol:

  • не розпізнала, що потрапила в повторюваний цикл;
  • не зупинилася після кількох невдалих спроб;
  • не повідомила вчасно, що обраний підхід не працює;
  • продовжувала запускати дорогі перевірки та субагентів;
  • створювала враження прогресу, хоча фактично повторювала ті самі дії;

Після цього досвіду я б радив ніколи не залишати GPT-5.6 Sol працювати безконтрольно протягом багатьох годин. Перед запуском варто явно встановлювати правила, наприклад:

Виконай не більше трьох циклів виправлення. Якщо після третьої спроби тест не проходить, зупинись, поясни причину та запропонуй альтернативний підхід. Не запускай додаткових субагентів без мого підтвердження.

Також рекомендую:

  • ділити задачу на маленькі етапи з окремим підтвердженням кожного результату;
  • вимагати робочий мінімальний прототип якомога раніше;
  • встановлювати часовий ліміт на одну фазу;
  • обмежувати кількість субагентів і паралельних перевірок;
  • зупиняти процес після двох-трьох однотипних помилок;
  • перевіряти реальні файли та результат, а не орієнтуватися на повідомлення моделі про «майже завершену роботу»;
  • створювати checkpoint після кожного справді робочого етапу;
  • не дозволяти моделі нескінченно «покращувати» вже прийнятний результат;
  • починати нову сесію, коли контекст переповнений повторними виправленнями;
  • для великої задачі спочатку просити короткий план із критеріями завершення.

Мій висновок: GPT-5.6 Sol може виглядати сильною моделлю на початку роботи, вона детально описує процес, запускає багато перевірок і демонструє високу активність. Але активність — це ще не результат. У моєму випадку модель двічі зайшла в loop, працювала годинами, використала два тижневі бюджети та не створила нічого завершеного. Тому наразі я однозначно не рекомендую GPT-5.6 Sol для автономних довгих задач у Codex. Для подібних сценаріїв я поки що радше дивився б у бік Claude моделей. З мого досвіду, Claude Opus 4.6/8 частіше поводиться передбачувано, краще утримує межі задачі й рідше компенсує відсутність прогресу нескінченними ітераціями. Це не означає, що Claude не помиляється, але для мене зараз він виглядає більш контрольованим і економним вибором для агентної розробки.

P.S. Може знадобиться, додавайте у промпт:

Якщо ти двічі повторив подібну дію без помітного покращення результату, вважай це циклом. Негайно зупини виконання, не запускай нові інструменти та повідом, що саме блокує завершення задачі.

👍ПодобаєтьсяСподобалось9
До обраногоВ обраному2
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Anthropic став краще. OpenAI став гірше

У меня пару дней назад Codex на GPT-5.6 Sol High за 26 часов сделал миграцию проекта: TypeScript/Effect 3/BullMQ/PostgreSQL/Docker/Self hosted -> TypeScript/Effect 4 beta/Cloudflare Workers/D1/Queues/Workflows/Alchemy. почти 4000 тестов, в плане было 16 тикетов. все делалось в режиме /goal и отработало отлично. все, что я сделал — согласовал план и дал файлик с кредентиал. все остальное агент сделал сам.

Може то не агент з SolHigh зробив, а група індусів ;)

Це не означає, що Claude не помиляється, але для мене зараз він виглядає більш контрольованим і економним вибором для агентної розробки.

Висновки на основі однієї 11 годинної задачі? Такі задачі вирішує хернес а не модель, а у клода хернес кращий, особливо на великих задачах з використанням купи сабагентів. Впевнений якщо підключити GPT-5.6 в клод, буде не гірше опуса чи фабла.

По факту, для агентської розробки, де агент працює до 10 хвилин (а не на 11 годин, як ви так працюєте?) норм модель, не гірша і не краща за опус/фабл, при цьому дешевше і швидше. Я взагалі більшість задач із gpt 5.6 в luna high вирішую, хватає, інколи запускаю терру, і дуже рідко sol. І я все використовую, вибираю модель/хернес по настрою, по задачі, інколи паралельно луплю туди і туди і дивлюся де краще і... немає явного переможця.

Я якраз і оцінюю не модель у вакуумі, а весь інструмент, за який плачу. Якщо агент зациклюється на 11 годин, спалює бюджет і не дає результату — це проблема продукту, незалежно від того, винна модель чи harness. Для коротких задач різниця справді менша, але на великих Claude Code поки виглядає стабільніше.

ви напевно просто не вміете робити постановку задачі нормально. Я ось більше місяця в суммі з фаблом працюю і від релізу з солом — в цілому они більш менш однакові, у кожного свій фокус, но «на довгий срок» мені сол більше подобаеться на практицітому що він якось більш реалістично ставиться до задачі, а не просто академічно

Якщо Ви уважно читали те, що я написав вище, я навмисно не зупиняв процес, щоб перевірити поведінку агента під час тривалого автономного виконання. При чому один з процесів який теж безрезультатно зайняв приблизно 10 годин це «рідний сетап Кодексу» Create Pet

у клода хернес кращий,

у клода якраз один із найгірших харнесів, антропіковські ж моделі з іншими cli показують кращі результати

Кращий, якщо не дивитись на бенчі, а реально працювати

ви напевно навіть не дивитесь в код шо він генеруе якщо вважаете клод першим

краще всього працювати з клодом да кодексом одночасно щоб вони один одного перевіряли
но якщо питання обрати тільке одне для роботи, то я би вибрав кодекс

клод нажаль як скурвився взимку так досі не повернувся до того рівня
фабл щось близьке показуе, но всеодно нема того 100% дотримуваня правил як раніще і навіть на максимальних тарифах картина не змінюеться (хоча поведінка у клода міняеться між різними тарифами, кодекс же завжди однаково працюе, тариф тільки на ліміти впливае)

Все простіше, в нас різні задачі, різні мови програмування. В код я навпаки дивлюсь, все що генериться для продукту проходить ревю.

Конкретно в моїх задачах Фейбл на голову вище будь яких моделей на ринку.

Опус десь на рівні гпт останніх.

Але, мова про харнеси, якщо б ви почитали системной промпт codex та Claude code, ви би зрозуміли чому кодекс гірший. Навіть без бенчів та тестів. Там гобліни бляха муха ))

може дійсно різні задачі
но я і по роботі і з пет проектами не побачив різниці в точках зору

причому як «нормальне програмування» коли пропрацьовуеться все і потім сам ше дивишся код очами, так і «зроби добре» де пів години написуеш план і по ньому нейронка сама робить кілька годин «по мотивам» для перевірки концепції

Опус який був взимку — це просто бімба була. Все інше на ринку було на голову гіргше. А потім вони так даунгрейднули що навіть кодекс того часу став краще справлятись (а він тоді ше такий собі був)
Час показав що цей даунгрейд був прогрівом для Фабла але і фабл не сказати що прям мега топ. Він значно розумніший, но того як раньше кодекс дотримувася всього контексту вже немае

А системні промти то як раз показник — чим «людяніше» системні роздуми тим гірша модель сама по собі. тому як нейронкам простіше думати не я к люди, а формування «людського контексту» це просто зайва справа на кодуванні/декодуванні де втрачаються деталі

Це все дуже субʼєктивно.

Я завжди влажу в такі діалоги тільки з одною метою, показати людям, що спір клод проти кодексу не має сенсу.

Бо вони взагалі різні, там навіть стиль управління різний. Де кодексу треба супер детально розписати і він зробить все від а до я, але ні в я кому випадку не відхилиться, навіть якщо це необхідно. Де клод може працювати в більшій невизначеності і виходити на ті сценарії про які ти не подумав та домалювати повноцінну картину.

Все ж таки рекомендую подивитись на ті системні промпти, якщо у вас досвід написання своїх, то ви відразу побачите, що з кодексом не так.

якщо нормально прописати то кодекс може сам приймати рішення в невизначенності
а вот ця фішка клода коли він сам може вирішити шо краше — навпаки тільки гірше робить, особливо коли вже пропрацьован чіткий план, купа змін і в процсі роботи ти бачиш що клод поліз взагалі не туди (і це проговорювалось!)

«домалювання картини» у клода не тому що він такий розумний, а тому що його порізали і тому йому постійно потрібно оновлювати контекст знову
на малих проектах нема проблем, но з великими йому краше притримуватись заданого плану і правил, а не забувати їх на середині і починати видумивати щось свое

я би не сказав шо хтось із них прям топово пише код чи навпаки тільки для створення планів підходить (я зазвичай аналіз та плани антропік, а створення та тести опенаі, але завжди перевіряю перекресно)

якщо нормально прописати то кодекс може сам приймати рішення в невизначенності

Якщо нормально прописати то клод може не приймати ці рішення

Тільки для чого?

, купа змін і в процсі роботи ти бачиш що клод поліз взагалі не туди (і це проговорювалось!)

Виглядає як просто невміння написати промпт та декомпизувати задачу.

«домалювання картини» у клода не тому що він такий розумний

Якраз тому що розумний, бо робить він це дуже влучно

я би не сказав шо хтось із них прям топово пише код чи навпаки тільки для створення планів підходить

З цим повністю погоджуюсь

Якщо нормально прописати то клод може не приймати ці рішення

Навчіть як? Після даунгрейду у нього тече контекст і хоч ти обпрописуйся правилами по типу «кожну дію перевіряй по правилам з файлу» він всеодно на великих задачах починае «чудити»

Найгірше що нові оновленя додали йому можливість самому собі робити «пам’ять» по проекту і дивитись «закриті сессії» на подробиці що тільки додае проблем

Може в вас все гарно тому як накопичилось вже «пам’яті» і тому агент знае шо вам відповідати.
Рекомендую спробувати повністью очистити всі сесії і пам’ять проекту фізично з диску і знов прогнати. Дуже вірогідно що повилазять проблеми які раніше сам клод собі помітив як «допустимі»

Почнімо з того, що даунгрейд треба ще довести. Ось на бенчах, які так рейтять люди, цього не видно. Чому?

Я допускаю, що це може бути через памʼять. Тільки я в цьому нічого поганого не бачу. Навпаки, агент підлаштувався під мене, під мій стиль. Хіба це погано? Для мене це дуже добре. Мені подобається ця частина харнесу.

І я не так давно переставляв все з видаленням памʼяті. Дійсно, це відчулось, але не так критично щоб. За декілька днів все прийшло в норму, я навіть сам пишу, що запамʼятати по проекту чи глобально. Такий собі agents.md на мінімалках.

Плюс я ненавиджу великі agents.md та інструкції, в мене завжди мінімум скіллів. Вважаю, що найкраща стратегія це тримати контекстне вікно максимально вільним. І тому задача на декілька годин це погана історія, краща розбити на менші задачі та запустити декілька паралельних агентів через workflows. В гіршому випадку послідовних.

«довести»))
github.com/...​/claude-code/issues/42796
це в свій час була «світова» проблема що на всих бордах висіла і проводились обгрунтовні фактчекінги
я не знаю як ви мимо цього взагалі пройшли

а за пам’ять — роздутіфайли агенту це завжди проблема, от тільки «власна пам’ять» як раз робить ту саму проблему

доведено що агенти погано самі для себе пишуть і в потоці йде деградація
тому пам’ять якк пише сам собі агент це вже точка погіршення і я це відчуваю в роботі з великими складними проектами

коли ти сам задаеш правила пам’яті ти хочаб контролюеш, вичитуеш і час від часу рефакториш

Так ви можете сказати, чому бенчі не показують цього чи ні?)

Чи бенчі які показують, що якийсь харнес кращий іншого це ок, і в той же самий час він не показує деградацію. То може бенчі ці гівно, ви не думали?) Треба ж бути послідовним.

я не знаю як ви мимо цього взагалі пройшли

Та ні, це була направлена атака на людей які рейтят бенчі, які не показують деградацію, хоча по моїм субєктивним відчуттям вона присутня в OpenAI та Anthropic.

а за пам’ять — роздутіфайли агенту це завжди проблема, от тільки «власна пам’ять» як раз робить ту саму проблему

Не робить.

доведено що агенти погано самі для себе пишуть і в потоці йде деградація

Не знаю навіть про що ви, якийсь поток, якісь доведення. Можна щось конкретне? І як це відноситься до того, що я вважаю, що запуск багатогодинних задач в одному контексті поганою практикою?

тому пам’ять якк пише сам собі агент це вже точка погіршення і я це відчуваю в роботі з великими складними проектами

Зазвичай слово «тому» використовують, коли щось перед цим обгрунтували )

Але, мова про харнеси, якщо б ви почитали системной промпт codex та Claude code, ви би зрозуміли чому кодекс гірший. Навіть без бенчів та тестів. Там гобліни бляха муха ))

Ну давай пояснюй, що не так з системним промптом кодекса в порівняні з клодом, і про які саме системні промпти йдеться
p.s
Бенч-тести для harness — це коли порівнюють одну і ту ж модель в різних ide/cli
Антропіковські моделі показують КРАЩИЙ результат коли їх юзають з OpenCode чи Cursor, ніж із Claude Code. Як мінімум для попередніх (до Fable) моделей.
Твоє «реально працювати» — то твоє суб’єктивне враження, я можу сказати що у мене враження інше і це також буде суб’єктивно.
Ганяти одні і ті ж задачі постійно на клоді і кодексі в мене немає ні бажання ні грошей, цим оті люди які бенчмарки ранять, якраз і займаються.

що не так з системним промптом кодекса в порівняні з клодом
і про які саме системні промпти йдеться

?

Ви ж самі відповіли на своє запитання.

Твоє “реально працювати” — то твоє суб’єктивне враження, я можу сказати що у мене враження інше і це також буде суб’єктивно.

Так, тільки багато хто досі не розуміє, що бенчмарки теж суб’єктивні.

Ну давай пояснюй, що не так з системним промптом кодекса

Прошу ознайомитись з системним промптом кодексу для гпт 5.5 наприклад:
github.com/...​n/OpenAI/Codex/gpt-5.5.md

Можна почати з таких перлів як:

Never talk about goblins, gremlins, raccoons, trolls, ogres, pigeons, or other animals or creatures unless it is absolutely and unambiguously relevant to the user’s query.

І це там ДВА рази )))

Або наприклад відкриваємо секцію фронтенду і бачимо купу АІ слопу в опису того як робити дизайн:

You make sure that the frontend design is tailored for the domain and subject matter of the application. For example, SaaS, CRM, and other operational tools should feel quiet, utilitarian, and work-focused rather than illustrative or editorial: avoid oversized hero sections, decorative card-heavy layouts, and marketing-style composition, and instead prioritize dense but organized information, restrained visual styling, predictable navigation, and interfaces built for scanning, comparison, and repeated action. A game can be more illustrative, expressive, animated, and playful.

Чи навіть захардкожені рішення, які вони чомусь зробили дефолтом для всіх:

You make sure to use icons in buttons for tools, swatches for color, segmented controls for modes, toggles/checkboxes for binary settings, sliders/steppers/inputs for numeric values, menus for option sets, tabs for views, and text or icon+text buttons only for clear commands (unless otherwise specified). Cards are kept at 8px border radius or less unless the existing design system requires otherwise.

Це доречі одна із причин чому OpenAI моделі взагалі не вміють в дизайн, бо там системний промпт гівно ))

Та майже в будь якій секції перли, просто набір невизначенного АІ слопу, “роби добре, погано не роби”, відсутність конкретики, рішення захардкожені:

You add structure only when the task calls for it. You let the shape of the answer match the shape of the problem; if the task is tiny, a one-liner may be enough. Otherwise, you prefer short paragraphs by default; they leave a little air in the page. You order sections from general to specific to supporting detail.

they leave a little air in the page.
they leave a little air in the page.
they leave a little air in the page.

Зате прибрали довгі тире, хоча це абсолютно нормально в текстах, щоб не здаватись АІ слопом, через суспільну думку

Don’t use emojis or em dashes unless explicitly instructed.

Всього цього ви не знайдете в Claude Code opus 4.8 промпті, там ЗОВСІМ інший підхід до того який має бути промпт. І цей підхід набагато краще гоблінів, хардкоду, та просто невнятних little air in the page ))

github.com/...​e/claude-code-opus-4.8.md

P.S. Людям треба менше глорити, а більше самим читати першоджерела та думати головою, а не серцем.

про гоблінів то стара історія, яку деви вже пояснили, це був тимчасовий патч для конкретної моделі, щоб пофіксити проблеми тренінгу.
openai.com/...​re-the-goblins-came-from
яке це відношення до харнесс має?
ти чомусь путаєш харнесс з конкретними моделями, харнесс повинен бути якомога менше залежний від конкретної моделі.
p.s.
Codex репо у відкритому доступі.

Я знаю цю історію, це не робить ситуацію краще.

Системні промпти кодексу та Claude Code є невідʼємною частиною цих харнесів. І так вони мають системні промпти під кожну модель. І ми їх змінити не можемо. Я нічого не путаю.

ти цілком можеш змінити дефолтний промпт для Codex (хоча це і не рекомендується). Окремі промпти у нього тільки для окремих моделей (5.1, 5.2), для решти дефолтний.
не влаштовує дефолтний, пишеш свій, засовуєш посилання на нього в конфіг (model_instructions_file=...) і Codex буде його юзати. Великого смислу у цьому не бачу, як на мене промпт ок.

btw, все одно фінальний промпт збирається з кусків по різному у клода і кодекса, тому у клода промпт виглядає набагато довшим, напряму порівнювати немає змісту.

Мій аргумент в тому, що мало сенсу розглядати Claude Code в відриві від Anthropic моделей, так і Codex в відриві від OpenAI моделей.

І я пробував ті харнеси із топу бенчів, вони реально гірші по моїм субʼєктивним відчуттям.

мало сенсу розглядати Claude Code в відриві від Anthropic моделей, так і Codex в відриві від OpenAI моделей.

так, бо якщо туди засунути іншу модель, вони або з нею не працюють, або працюють через пень-колоду. вендор-лок.

взагалі, якщо ти в команді працюєш і ви юзаєте клод (як на багатьох проектах у нас), то це питання чисто теоретичне, або для домашнього використання.
не буде більшість команди на клоді, а хтось один умовний Pi юзати.
Плюс Антропік потурбувався, щоб це було неможливо при юзанні підписки.
Схоже з кодексом (хіба що вони офіційно не забороняють юзати інший харнесс).

10хвилин агент? то про бескоштовні тарифи чи що?
якшо нормально пописати задачу, як виконувати та перевірятито агент може і кілька годин робити поки не отримае «валідний» результат

інша справа що протрібно розуміти що ти робиш і ТЗ нарізаеться нормально, а не «зроби добре а погано не роби»

Ні, просто не фанат давати задачі на 10 годин, щоб потім перевіряти 10к строк кода. Я таке можу дати щось простіше, ну там пару сотень тестів переписати. А вот логіку я люблю під контролем тримати, планувати і робити покроково невеликими скопами (пару сотень строк кода)

я сам раньше тоже просматривал код, делал одну фичу за раз, но честно говоря, в последнее время считаю, что это путь в никуда.
сейчас у меня проработанная спека, TDD подход, ревью на предмет стандартов кода и соответствия спеке и несколько фич пилятся одновременно в worktrees. код могу по диагонали просмотреть, но в целом, внимательно работаю только со спекой.

Та я сам код не сильно то і дивлюся, тільки на загальну архітектуру, контракти, схеми, але все-одно багато ревьювити.

Я також зараз по спекам працюю. Але все-одно, вибираєш якийсь функціонал, який на перший погляд виглядає невеликим, брнейштормиш ідею, генеруєш спеку/дизайн, і отримуєш документ на кілька сторінок, який до того ж ще не пропрацьований повністю, не покриває багато моментів, і ти розумієш що скоп виходить сильно більший ніж очікував, що у тебе займе день тільки щоб ту спеку ревьювити і допрацьовувати, і все-одно щось упустиш. Тому доводиться розбивати.

Чи то може я зажрався і намагаюсь те, що об’єктивно вимагає тижнів роботи запхнути в дні.

І так і ні, справа в тому що у сол маленький контекст, 250к і якщо давати велику задачу і в тебе багато спек та інших мд харнесів то він дуже швидко вижирає контекст і потім починається — сжимання контексту а це час, коли контекст під завязку його може глючіть...Тому велечина та час виконання задачі впираються в контекст в першу чергу.

Ну і він його жере шо капец. То в них глюк був чи шо але здавалось що тера не так жерла контекст як сол.

Чому всі мовчать що до суми в яку обходиться їх робота з ші ?

Не всі мовчать, напр.
«Ми платимо за AI двічі — спочатку за доступ, а потім своїми знаннями», — гендиректор Microsoft Сатья Наделла
dou.ua/forums/topic/60714

А що саме Вас цікавить?

Секретів немає. Персональний, для своїх проектів, десь 50$ в місяць, робочий — десь до 1000$ в місяць, з яких агентський кодинг десь може третина, 300-400$, все інше ганяю автоматизовані воркфлоу.

Факт в тому, що опуси, фабли, соли, high/ultrahigh потрібні лише для складних задач. А в 90% задачах при правильних скілах справляються і бюджетні моделі, навіть китайські. А так, звісно, якщо фаблами і солами по горобцям лупити, коли люди недолік своїх скілів компенсують моделями, то там бюджети на тисячі доларів можуть бути.

навіть китайські.

Ну GLM 5.1 це не навіть)

Останні minimax, deepseek також гарні робочі конячки, а deepseek v4 pro випереджає топові GPT моделі в некодингових задачах, ну там специфікацію написати, фічи продумати, дизайн запилити.

Хоча, після виоду gpt 5.6, luna стала робочою конячкою

luna це якась херня незрозуміла, ну ок на дуже простеньких тасках, але вони її якось дивно позиціонують — що вона також показує хороші результати на max різонінг, хоча при цьому вона це робить ну дууже довго.
на чому ти її ганяєш?

Коньок луни це дешевий еффорт. І є багато задач де еффорт більш важливий ніж розумність самої моделі, задачі де треба зробити багато tool calls, зібрати і запроцесити велику кількість інформації і ця інформація не сильно складна.

Більші моделі (терра, сол) з меншим еффортом треба коли є якийсь складний, нетрівіальний баг, чи коли якісь дані треба скорелювати в 10 різних місцях і знайти взаємозв’язок, чи дизайн, архітектуру запилити на основі побудованого тією ж луною контексту.

Звісно, якщо є необмежені гроші, то можна sol high скрізь використовувати, но якщо ні, то доводиться підбирати розмір моделі і еффорт під задачу.

на чому ти її ганяєш?

pi, copilot. У кодекса TUI не подобається — тормозне і нефункціональне, відсутні базові речі типу того же undo.

Є відчуття яке не можу довести що 5.5 краще )
Повернувся на 5.5.

Поки теж незадоволений якістю sol, з будь яким рівнем reasoning

Просто Terra використовувати, вона нічим не гірше, і менше видумує. Я Sol для планування використовую, а Terra для розробки.

теж дивлюсь до Terra зараз

Маю аналогічний невдалий досвід. Щось вони там накрутили.

Підписатись на коментарі