Що у голові у ChatGPT?

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Мене звати Тарас. Я вже не знаю, чи я ІТ-вець, бо навчився робити багато чого нового за останні роки. Знайоме відчуття? У мене 15 років досвіду менеджменту у ІТ, і перед тим 2 роки PHP dev, Sales, написання демо. Моя робота зазвичай закінчувалася на першому пейчеку від нового клієнта. А зараз «доганяю потяг» із АІ-автоматизацією всіх ІТ-процесів.

Нижче мій досвід співпраці з ChatGPT і Codex за чотири роки — де AI дає перевагу, де підводить і що показала статистика моїх чатів

Вступ

За останні чотири роки я, мабуть, спілкувався з різними інстансами ChatGPT і Codex більше, ніж із людьми :). У певні періоди це був мій співрозмовник, прототипувальник, редактор, молодший розробник, а інколи — дуже швидкий і переконливий генератор помилок.

Ця стаття про те, які речі можна постійно тримати в голові, коли працюєш із AI-агентами.

Поштовх до цього тексту дав мені такий випадок. Я не раз бачив, як після кількох уточнень і перефразувань задача нарешті зрушувала з місця. Вже десятий раз пояснюю одне й те саме, а codex продовжує відповідати «з тої ж опери». Тоді звернувся із контекстом до chatGPT і він вирішив проблему.

Коли я розширив вибірку експортів, стало видно, що це не поодинокі епізоди. За консервативною евристикою явні repair-ітерації становлять щонайменше 16,8% від порахованих запитів. Статистика викладена далі у статті.

Коли AI вперше дав мені реальну перевагу

Перший момент, коли я по-справжньому відчув силу AI, коли з його допомогою ми написали демо для супровідного листа і взяли таким чином великого клієнта. З яким потім співпраця переросла у більший проект.

Я би сам не писав таке демо безкоштовно для відгуку. Воно було досить складним і без AI забрало б у мене приблизно 20 годин. З AI це стало реалістичною інвестицією часу. Саме тоді я вперше зрозумів, що це не просто ще одна дорога забавка для інженерів ;) , а інструмент, який прямо впливає на час/гроші, швидкість і шанси на ринку. Хоча це все ще був час коли я продовжував «давати йому шанс» бо здебільшого ця комунікація була безтолковою, і займала надто багато часу.

Звідси і моя перша практична теза: AI найкраще працює там, де потрібно швидко перейти від ідеї до демо. Саме до прототипу, стартового коду, чернетки або робочого напряму.

Прототип як еврика

Він може кодити не разом зі мною, а замість мене — якщо я дав йому дуже чітке ТЗ.

Саме слово «прототип» ключове. Це момент, коли AI бере на себе не оцінку цінності задачі, не відповідальність і не фінальне рішення, а важку чорнову роботу з перетворення задуму на Щось, із чим уже можна сперечатись, обговорювати і рухатись далі.

У цьому сенсі ChatGPT для мене був корисний. Але він виявився значно слабшим там, де треба не старт, а довга безпомилкова робота. Причина — це «поламаний телефон» бо репозиторій передається як естафетна паличка за це рік кількома сотнями чатів котрі живуть лише до 50 запитів кожен і помирають, відповідно — губиться контекст. Проте це тема окремої статті.

Що я побачив у своїй практиці

З часом у мене склалась робоча картина: ChatGPT — більш гнучкий і творчий, іноді навіть «гуманітарний» у стилі мислення. Він може з короткого контексту вгадати напрям і підкинути неочевидний варіант. Codex холодніший і пряміший: менше імпровізації, зате більше дисципліни. Йому потрібні чіткі інструкції, простіший контекст і дрібніший поділ задачі на кроки.

Правило: LLM краще давати інтерполяцію, а не екстраполяцію. Там, де результат лежить близько до існуючих рішень, він часто дає сильний результат. Там, де я прошу сильно відірватися від відомих кейсів, домислити, добудувати цілий відсутній світ або одночасно охопити кілька різних тем і файлів — починається катастрофа.

Найдорожча помилка в мене була не в коді, а в публічному тексті. Я одного разу використав у пості слова ChatGPT про походження публічної людини, а потім у коментарях мені вказали, що це не так. Було дуже соромно. І я став значно критичніше перевіряти сумнівні факти, особливо там, де AI сильно впевнений :).

Довгий чат старіє

Є баг, який я бачив неодноразово: чат старіє. Якщо дуже довго вести одну й ту саму розмову (до 50 запитів), особливо у складному технічному контексті, то в якийсь момент він починає тупити, гірше тримає нитку, повторює попередні відповіді, сама веб-сторінка підвисає, а інколи все закінчується тим, що чат перестає відповідати або сам переводить мене на нову розмову.

Я виробив для себе простий ритуал. Поки старий чат ще «при пам’яті», я прошу його детально описати контекст для нового чату. Потім у новий чат кладу цей стислий контекст, файли і даю просту стартову задачу. Це така ручна дистиляція довгого контексту: спершу зжати, потім перевірити, що новий чат справді в’їхав у тему.

Цей практичний прийом став для мене такою ж частиною роботи, як git commit або backup.

Правило одного речення

Раніше я часто намагався засунути в одну постановку задачі кілька пунктів із різних тем, різні місця коду, різні файли і різні технології. Тепер я майже так не роблю.

Моє правило зараз таке: описувати задачу як людині — один файл, одна тема, одна технологія, один очікуваний результат, який у скороченому вигляді вміщується в одне речення.

Коли відповідь двічі або тричі «з тої ж опери»
Тоді я намагаюсь не тиснути далі. У цей момент AI дуже хоче допомогти, але варіанти вже вичерпуються, і далі росте ризик галюцинацій. Тут краще або обрубувати гілку розмови, або відкривати новий чат.

Що показала вибірка моїх довгих чатів

Це 17 історій чатів.

Для строгого машинного підрахунку я брав лише унікальні експорти з явним технічним маркером ходів формату «Thought for ...». Таких історій виявилося 13. Ще чотири унікальні тексти були у спрощеному форматі без цього маркера, тому їх я використовував лише якісно, без жорсткого рахунку ходів.

У цих 13 порівнюваних експортів я нарахував щонайменше 298 моїх запитів. Середня довжина такого чату — 23 запити, медіана — 16, а найдовший чат у вибірці мав 55 ходів.

Окремо я рахував явні «ремонтні» ітерації — місця, де видно, що я перефразовую задачу, повертаюся назад, прошу виправити або явно сигналізую, що результат мене не влаштовує.

За консервативною евристикою явних repair-маркерів вийшло щонайменше 50. Це приблизно 16,8% від порахованих запитів. Важливо, що це теж не «остаточна правда», а нижня робоча оцінка: я шукав лише виразні сигнали на кшталт «виправ», «ще раз», «назад до», «дай нову повну версію», «перепиши весь файл».

Типові фрази з «ремонтних» ітерацій у вибірці:

«тепер назад до short версії ... Виправ цю проблему»

«дай нову повну версію»

«перепиши весь файл»

Не щоразу цей контекст означає що ми із АІ не порозумілись. Проте кращих критеріїв не придумав. Підкажете?

Що показав перелік назв чатів за кілька місяців

Окремо я подивився на список назв чатів за кілька місяців. У ньому було 308 записів і 302 унікальні назви. Тобто навіть без читання всіх текстів уже видно масштаб і ширину використання ChatGPT у моєму житті.

Робив тут не «наукову класифікацію», а робочу евристику за ключовими словами в заголовках. Вона груба, але корисна: показує центр тяжіння моїх тем.

Результат виявився для мене показовим. Так, у списку багато побутових і разових питань. Але якщо подивитися на професійну частину, то найсильніше випирають саме стратегічні, торгові, кодові та інженерні теми. Для мене це означає, що ChatGPT у моєму випадку працює не лише як «універсальний помічник», а саме як робоча лабораторія.

У мене є два основні режими використання. Перший — робочий верстак: код, стратегії, бектести, API, таблиці, дебаг. Другий — універсальний асистент: від акумуляторів, самокатів і автомобілів до документів, рецептів, листів, шкільних і побутових питань.

Саме ця суміш, як на мене, найкраще пояснює сучасну роль ChatGPT: він стає не просто окремим продуктом для окремої задачі, а накриває собою цілий шар дрібних і середніх розумових дій.

Десять речей, які я враховую, працюючи з ChatGPT

1. AI дає найбільшу перевагу там, де треба швидкий старт. Найкраще він спрацював у мене на прототипах, демо, чернетках, стартовому коді та підготовці до діалогу з клієнтом.

2. Впевненість моделі не дорівнює істині. ChatGPT звучить однаково впевнено і тоді, коли має рацію, і тоді, коли помиляється. Сумнів лишається роботою людини.

3. Довгий чат не дорівнює надійній памʼяті. У якийсь момент чат старіє. Краще зжати контекст і перейти в нову розмову, ніж безкінечно тиснути на стару.

4. Кращий контекст важливіший за більший контекст. Я не боюся давати багато даних, але тепер значно уважніше прибираю шум. Один файл, одна тема, одна технологія — це працює краще.

5. Якщо дві-три відповіді «з тої ж опери», не треба тиснути далі. У цей момент зростає ризик галюцинацій. Краще або перебудувати задачу, або почати новий чат.

6. ChatGPT і Codex — різні робочі ролі. Перший для мене творчий і гнучкий, глибокодумний, другий — холодніший і точніший, проте поверхневіший. Їм корисно давати різний тип задач.

7. LLM краще справляється з інтерполяцією, ніж з екстраполяцією. Там, де рішення близьке до знайомих шаблонів, результат сильніший. Там, де треба «далеко стрибнути», якість падає.

8. За свої дії в результаті відповідаю я, а не АІ. Коли публікую відповідь від свого імені, відповідаю я. Не ChatGPT.

9. Конфіденційність — це техніка безпеки, а не параноя. У чат не варто зливати те, що ти не готовий публікувати.

10. AI не лише підсилює мене. Він одночасно підсилює моїх конкурентів. Те, що колись було моєю перевагою на Upwork, тепер стало ринковою нормою.

Відповідальність і репутація

Для мене це, мабуть, головний пункт. Якщо я беру відповідь ChatGPT і публікую її від свого імені, відповідальність лишається на мені. Не на моделі, не на компанії, не на «алгоритмі». На мені.

Тому без гостроти суджень, без критичного мислення і без запасу сил нема чого сподіватися на хороший результат від ChatGPT. Це співпраця, і в цій співпраці моя роль дуже вагома: оцінювати, приймати або відхиляти результат. AI мене в цій частині не замінить, бо це я буду ризикувати своєю репутацією, грошима і ресурсами.

Приватність: що я для себе змінив

Я став значно обережнішим із тим, що саме кладу в чат. Це не означає ставитися до AI як до зовнішньої системи, а не як до мого внутрішнього блокнота.

Найточніше правило для мене зараз таке: не варто давати в чат конфіденційні дані, які ти не хотів би бачити поза своїм контролем. Для індивідуальних сервісів OpenAI прямо описує налаштування, за яких контент може або не може використовуватись для покращення моделей; також описує правила обробки даних і можливість розкриття даних за належного юридичного запиту. Тому тут важлива цифрова гігієна.

Найбільша іронія: AI дав мені перевагу і сам став моїм конкурентом

Колись AI підсилив мене на ринку. Я міг робити більше таргетованих відгуків, більше демо і більше сильних супровідних листів. Там, де раніше я міг зробити умовно п’ять якісних заявок за день, тепер міг зробити в рази більше.

Проблема в тому, що те саме стало доступно й іншим. І якщо раніше сам факт добре написаного супровідного листа чи маленького демо виділяв кандидата, то тепер це стало нормою. AI не лише підсилив мене — він підсилив весь ринок. А значить, частину переваги він сам же і знецінив.

Найболючіше це звучить у простій фразі клієнта: мовляв, він краще допише проєкт із AI і зекономить гроші, ніж платитиме команді. Мені здається, саме тут сьогодні найбільша напруга для багатьох людей у професії: AI уже не просто інструмент працівника, а ще й аргумент роботодавця проти працівника.

Що з моїх спостережень підкріплюється дослідженнями

Частина моїх висновків — чисто особистий досвід. Але деякі речі добре збігаються і з тим, що описано в дослідженнях.

По-перше, сучасні моделі справді не ідеально працюють із довгим контекстом. Робота Lost in the Middle показала, що якість помітно падає, коли потрібна інформація знаходиться не на початку або в кінці, а десь у середині великого контексту.

По-друге, для LLM реально існує проблема distractibility: зайвий або нерелевантний контекст може погіршувати якість рішення. Отож, «одна тема, одна технологія, один очікуваний результат».

По-третє, кодувальні AI-інструменти справді можуть прискорювати роботу. Дослідження GitHub Copilot показало суттєве пришвидшення виконання типової розробницької задачі.

По-четверте, у літературі багато говорять про проблему калібрування і надмірної впевненості моделей. Тобто мій досвід, коли модель виглядає переконливо в помилці, на жаль, зовсім не унікальний.

Висновок

Відповідь на питання «що в голові у ChatGPT?» після чотирьох років така: не «думки» в людському сенсі. У нього немає людського досвіду, людської відповідальності, людського сорому, людського відчуття правди чи брехні. Натомість це дуже сильна здатність вгадувати, яка відповідь буде найбільш доречною, правдоподібною і корисною в цій точці діалогу.

Цього вистачає, щоб різко прискорювати прототипування, допомагати з кодом, текстами і структурою, бути корисним співрозмовником у складних технічних задачах. Але бракує, щоб знімати з людини відповідальність, гарантувати істину, замінити критичне мислення або без перевірки ставати твоїм голосом у публічному просторі.

Тому, AI не заміняє мислення людини. Він змінює, де саме людина мусить мислити. Менше — на чорновик, старт, перший код, першу структуру. Більше — на перевірку, рамку задачі, сумнів, відбір і відповідальність.

Додаток 1. Методика підрахунку

1) Після повторної перевірки в робочому наборі було 19 текстових файлів: 17 у новому архіві плюс 2, додані окремо раніше. Але два з них виявилися точними дублями, тому далі я працював із 17 унікальними текстами.

2) Для строгого підрахунку довжини чатів я брав лише 13 унікальних експорти з явним маркером «Thought for ...». Саме вони дали 298 порахованих запитів.

3) Явні «ремонтні» ітерації я рахував консервативно: за фразами на кшталт «виправ», «назад до», «дай нову повну версію», «згенеруй файл ще раз», «перепиши весь файл», «має бути» тощо. Тобто це робоча нижня оцінка, а не повний перепис усіх непорозумінь.

4) Аналітика по назвах чатів за кілька місяців — це робоча евристика за ключовими словами в заголовках, а не академічна класифікація. Для того, щоб показати центр ваги моїх тем.

• Nelson F. Liu et al. Lost in the Middle: How Language Models Use Long Contexts. arXiv, 2023. arxiv.org/abs/2307.03172

• Freda Shi et al. Large Language Models Can Be Easily Distracted by Irrelevant Context. ICML / PMLR, 2023. proceedings.mlr.press/v202/shi23a.html

• Siyuan Peng et al. The Impact of AI on Developer Productivity: Evidence from GitHub Copilot. arXiv, 2023. arxiv.org/abs/2302.06590

• Alberto Gasparin, Gianluca Detommaso. Distance-aware Calibration for Pre-trained Language Models. Findings of EMNLP, 2024. aclanthology.org/...​24.findings-emnlp.725.pdf

• Ilia Shumailov et al. AI models collapse when trained on recursively generated data. Nature, 2024. www.nature.com/...​ticles/s41586-024-07566-y

• OpenAI. Temporary Chat FAQ. help.openai.com/...​914046-temporary-chat-faq

• OpenAI. How your data is used to improve model performance. help.openai.com/...​improve-model-performance

• OpenAI. Privacy Policy. openai.com/...​icies/row-privacy-policy

• OpenAI. Law Enforcement Policy v.2025-12. cdn.openai.com/...​ment-policy-v.2025-12.pdf

Додаток 3. Запитання до обговорення.

У нас на проекті явно виражена проблема поламаного телефону.

• АІ виконавці роботи «живуть» максимум 55 циклів (запитів)
• Під час нагрузки open.AI даунгрейдить рівень моделей, і це явно видно, тоді моделі тупіші і можуть допускати помилки, або наприклад спрощувати собі задачу, наприклад спрощуючи код оригінального файлу. Той хто перевіряє, людина або АІ може це пропустити.

Отож контекст передається багато разів ланцюгом, і може губитись легко. Що ти з цим робиш?

Який агент на твою думку кращий за chatGPT і для яких задач? (Додамо трохи холіварс як спеції ;)

За мій коротний кількаденний досвід, Клод явно гірше справляється із задачами по pinescript для Trading View. І по пайтон кодуванню. Скрипт на 200 стрічок по якому я на клоді зайшов у безвихідь на chatGPT успішно запрацював таки. Це звісно впливає, що я 4 роки працюю саме із chatGPT. І вже суттєво звик і адаптувався до нього. На разі у мене таке відчуття, що він може все, і я не стикався у роботі ні з якими явними рамками крім вище описаних (які є реально технічними обмеженнями а не програмними). Зате клод добре оркеструє за рахунок офіційно вбудованого play wright модуля у сам клод десктоп. Але це вже тема наступної статті ;)