ChatGPT відповідає правильно лише на 48% запитань з програмування

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Дослідники вирішили перевірити загальні здібності та знання ChatGPT у галузі розробки та поставили моделі велику кількість запитань з програмування. В результаті мовна модель на понад половину питань відповіла неправильно.

У дослідженні Університету Пердью науковці задали ChatGPT 517 запитань зі Stack Overflow. Відповіді оцінювалися не лише на предмет правильності, але й на предмет послідовності, повноти та лаконічності. Команда також проаналізувала мовний стиль і настрій відповідей.

Це був не найкращий експеримент для ChatGPT. Інструмент OpenAI відповів правильно лише на 48% запитань, а 77% були характеризовані як «багатослівні».

Проте завдяки вичерпності та мовному стилю перевіряючі все одно схвалили майже 40% відповідей ChatGPT. На жаль, 77% цих відповідей були неправильними.

«Ми помітили, що користувачі можуть ідентифікувати помилку ChatGPT лише тоді, коли вона очевидна, — коментують дослідники. «Однак, коли помилку важко перевірити або вона потребує зовнішньої IDE чи документації, користувачі часто не можуть виявити або недооцінюють її».

Діліться: співпадають ці цифри з вашим досвідом використання ChatGPT? Чи вже погрались і забули про нього?

👍ПодобаєтьсяСподобалось6
До обраногоВ обраному0
LinkedIn

Найкращі коментарі пропустити

А ще в нього стаються іноді «галюцинації» і тоді результати стають ну дуже цікавими.
Але мені подобається з ним спілкуватись, нехай і те що він видає в 90% не має практичної користі. Часто це дозволяє подивитись на проблему під іншим кутом.
Це такий замінник резинової качечки, якій можно розповісти про проблему.

Мій постійний сценарій бесіди з чат джпт:
— чи можна зробити %action_name% на %framework_name%?
— так, можна. для цього треба %багато_води_і_коду%
*тестую (або навіть без тестування видно) — це повна брехня*
— chatgpt, ти неправий, це вигаданий код, %framework_name% такого не вміє
— так, ви праві, %framework_name% не підтримує %action_name%

Якась GPT-шизофренія, давати відповідь, а вже у наступній відповіді визнавати що це неіснуючий код/функціонал/підхід ітд)

Мені ChatGPT нагадує джуна, який прочитав багато книжок, але не все в них зрозумів. Тим не менше він і робить вигляд, що все знає, а коли його питаєш про щось, то він починає довго лити воду. Зі свого досвіду:
1. Спитав про те як отримати павні дані з API одного сервісу. Як потім виявилось це неможливо, але ChatGPT налив 2-3 абзаци води і привів приклад параметрів запиту яких немає в жодному докі.
2. Попросив конвертувати класс з Ruby в JS — він згенерував «сочінєніє на вольную тєму» яке було злегка схоже на оригінал.
Для себе зробив висновок, що це просто продвинута пошукова система. Результат який вона видає можна юзати як базу, але все треба потім перевіряти по доках і мануалах.

Ctrl + Enter
Ctrl + Enter

А я відповім на 70% а може й на всі 90% користуючись лише гуглом та бінгом. У гуглі і бінгу буду шукати по гітхабу, стековерфло, якщо буде необхідно навіть у open sources & other documents загляну.
Оберіть мене. За ті ж гроші, вдвічі більше користі.
Навіщо вам той хайповий чат гпт? Мій мозок гуглить краще.

Скорость гугления такая же? Сколько инстансов себя поддерживаешь, только 1? Быстрый апи есть, сколько запросов в минуту?

Хіба ти не знаєш? Чим швидше ти працюєш — тим більше косячиш.
За двома зайцями погнався — без нічого залишився.
Є навіть на російській мові: «Поспєшай мєдлєнно».
Ще подумай про тих, хто ніколи нікуди не спішить. Це я кажу про успішних людей.
Успішні чого? Того що завжди встигают вчасно.
Як можна не спішити і вчасно встигати? Успішні люди знають відповідь на цей вопрос.
А у інших відповідь: дедлайни, скрам, що там ще — легка атлетика?
Подумай ось про що: навіщо мені важко себе навантажувати?
Мені буде досить і трьох клієнтів у день. Оплата, отримана від першого клієнта забезпечить мене платним доступом до Chat GPT 4, на оплату від другого куплю ще реклами, на оплату від третього найму програміста — хай що небудь кодить щоб було ще більше інстансів...

Коли бавився з ШІ, щоб оцінити власне логіку відповідей, а не правильність застосованих ліб чи ще чогось такого, питав задачі зі шкільної геометрії. На них добре видно дно можливостей ШІ — він правильно справляється з простими задачами, але на відміну від живої людини, на чомусь нетривіальному (скажімо, довести що трикутник рівнобедрений, якщо у ньому рівні бісектриси) не визнає нездатність справитись з задачею і намагається брутфорсити логічно неправильними судженнями (частіше за все, доводячи правильність прямої задачі оберненою), поки не звалюється в цикл, коли йому здається що він абсолютно правий.

Спитав його просто для сміху де шукати місячний ліхтар в Baldirs gate 3. Очевидно що в нього немає цієї інфи так як гра досить свіжа, але він без питань видав що шукайте по всіх ящиках в таборах гоблінів(навіть і гуглі наврядчи є така відповідь). Тобто йому цілком ок видати брехливу інформацію впевненим тоном, в випдадку коду такий підхід може дуже далеко завести не туди в майбутньому.

При випробуванні автомобіля із автопілотом сталась одна аварія, коли машиною керувала людина, водій переганяв машину своїм ходом з гаража до випробувального майданчика. Щоправда вже в експлуатації з’ясувалась, що в автопілотів таки є баги, коли авто невідомо чому на прямій дорозі на повній швидкості звертає у фуру. Поволі згадується франшиза про Термінатора.

Взагалі є експерименти, де нейронна сіть, що емулює вовка, який полює на баранів, на певних етапах еволюції вирішує, що найкращій варіант для вовка — це здійснити самогубство і початати гру заново, так треба меньше степів. Ну тобто щось по типу китайської нічиєї, коли в шахи грають.

Десь була стаття, що зараз цi боти хавають свою же згенеровану маячню у якостi тренувальних даних, що закономiрно б’є по них же

в порівнянні з версією ’2022′ коли почався весь хайп і зареєструватись можна було «не тільки лиш всім» він був на багато розумніший і «відчайдушніший». таке враження що йому підрізали крильця в угоду платній версії. зара все частіше він боїться щось відповідати, а коли кажеш про якусь помилку то замість виправлення купа вибачень і далі топчеться на місці з тим самим кодом. або якшо попросиш якусь лібу найти на гіті по опису яка б вирішувала те і те віповідає сорі я навчався на в 2021 і в мене нема такої інфи, або я немаю доступу в інет. хоча раніше видавав список ліб спокійно. уточнюєш і кажеш пофігу давай старі, він знову як побитий пес повторює одне і теж.

а в загальному якшо писати якісь прості рутинні скрипти, чи направити думку в правильне русло якшо вивчаєш якусь «нову» для себе мову чи лібу мені подобається. за допомогою нього розібрався як писати агрегації для mongodb

ChatGPT Plus — те саме із четвіркою. Треба його проганяти через промти на кшталт DAN. Вихід не для людей, що потребують толерантності, бо може образити і геїв, і темношкірих, але код генерує набагато точніше

З цим треба обережно, бо закони міняються, і чатжпт не завжди за тим слідкує

Дослідження з розряду «Британські вчені». Насправді існує сотні тестів і датасетів для тестів, включаючи перевірки людьми на різні аспекти LLM моделей. Є навіть ScoreBoard’и по них
huggingface.co/...​ceH4/open_llm_leaderboard
Для прикладу одна з найближчих до GPT3.5 оперсорс моделей
huggingface.co/...​rdLM/WizardCoder-15B-V1.0
В деталях можна розібрати кожен тест кейс і подивитись на результати.
Тестувати у відношенню до «середньо статистичного програміста» немає змісту, і це ніхто не робить.

Можна продовжити створювати реляційні таблиці такого типу.
Наприклад:
Реляційна таблиця Має
Реляційна таблиця Хто
Реляційна таблиця Що

Автомобіль має двигун
Дрон має лопаті

Після декомпозиції наведених вище твердженнь — тобто розбору та введення у відповідні реляційні таблиці можемо створити якійсь такий запит до нашої бази даних логіки:

Що має що?

У ітозі, ми створили абстракцію дуже високого рівня за допомогою лище декількох реляційних таблиць. Тобто це буде велике покриття.
Таким чином, я вважаю, що створення ШІ який умітиме у логіку, це питання часу.
А чи зможе цей ШІ принести людству більше користі ніж Чат ГПТ?
Логічний ШІ буде здатен із стовідсотковою ймовірністю розв язати будь які суперечки.
Гадаю це чогось таки коштує, щоб намагатися першим розробити такий ШІ.

Неработающая очень простенькая абстракция, если уж хотите отношение сущностей — не надо изобретать велосипед, используйте knowledge graph

Що саме у вас не працює?

P.S.
Винаходити велосипеди необхідно уміти кожному. Краще винайти власний велосипед і продати його чим купувати чужий велосипед.

Да к этой абстракции миллион вопросов.
— Дублирование в хто и що, машина мае двыгун, двыгун мае поршень, в итоге двыгун сразу в двух таблицах, смвсла в этом ноль. Если уж следовать этому подходу, который сам по себе оч простенький и устаревший — вам надо всего одна таблица сущностей и вторая таблица связей.
— самолет мае двыгун, машина мае двыгун и тд, попробуйте построить квери из ии со словом двыгун, ваша таблица выдаст 100500 связей и перент нод — что с ними всеми ии делать? Это оч простой подход не работает для ИНТЕЛЛЕКТА, он небольшое дополнение-справочник, не более
— типов связей оч много, иметь на каждый тип связи свою таблицу, зачем? Создайте одну таблицу для всех связей и обозначайте их тип в колонке.
— коробка с коробками, ячейка с ячейками, японская кукла матрешка — у вас коробка будет в двух таблицах одновременно, вот это ИИ обрадуется понимать эту хрень.
— ваша имплементация таблици ЦЕ это вообще атас, ИИ сойдет с ума

И еще раз — это все уже сделано в KG, изобретать велосипед стоит когда знаешь что делаешь и знаешь зачем тебе самоделка вместо готового подхода kg у которой к тому же есть кучу готовых опенсорс имплементаций на миллионы сущностей и связей

Всі ці питання конструктивні. Дякую за перелік. Я його опрацюю і тоді вам відповім.
Зараз винаходжу свічки для власної трейдингової платформи.
Різнобарвні.

Наприклад, можливий такий діалог із логічним ШІ:
— Хто має двигун?
— Немає інформації
— Що має двигун?
— Дуже великий об єм інформації
— Автомобіль має двигун?
— Так.

тоесть ваша реалзиация дает функионал обычного серча по таблице, просто в виде диалога.
это далеко от нейронок на 50 лет, было реализовано в виде кучи вариантов десятилетия назад и не является интеллектом

Я це уявляю собі як діалог із ШІ_наночастинкою. Але їх буде дуже багато у окремого ШІ. І кожна із цих частинок майже одночасно буде відшукувати якусь відповідь, перевіряти якійсь варіант.
Всі наночастинки у такому разі будуть майже одночасно створювати симфонію відповідей.
І вона буде на кожен запит відповідно різна.
Я вже тут написав що щось складне перевіряється через перевірку його простих компонентів.
Наприклад, так формується складність гри «Життя» Конвея

Есть такой гигантский Пирсон учебник по ИИ для топ западных вузов, для понимания сколько всего вы упускаете — ниже оглавление учебника. Этот учебник и близко не подошел к современным открытиям которые дали нам псевдо ИИ в SD и чатжпт (оно и понятно, это просто учебник для студентов), а вы находитесь на условной первой странице этого учебника. Если вы хотите изборетать... этого оч мало

Brief Table of Contents
Introduction
Intelligent Agents
Solving Problems by Searching
Search in Complex Environments
Adversarial Search and Games
Constraint Satisfaction Problems
Logical Agents
First-Order Logic
Inference in First-Order Logic
Knowledge Representation
Automated Planning
Quantifying Uncertainty
Probabilistic Reasoning
Probabilistic Reasoning over Time
Probabilistic Programming
Making Simple Decisions
Making Complex Decisions
Multiagent Decision Making
Learning from Examples
Learning Probabilistic Models
Deep Learning
Reinforcement Learning
Natural Language Processing
Deep Learning for Natural Language Processing
Robotics
Philosophy and Ethics of AI
The Future of AI

Це все цікаво, але де знайти час...
До речі, давайте зараз з вами створимо (ЩО?) велосіпед.
Я пропоную нову мову для ШІ. Це не звичайна українська мова, але така українська мова, де всі слова у реченні поєднуються (ЧИМ?) відповідними питаннями.
Два приклади я вам навів вище.
Тобто якщо у реляційні таблиці чи щось на кшалт них — бо наночастинки ж будуть там якось працювати — заводити не звичайні речення, а ось такі модифіковані речення із питаннями між словами, то можливо так буде легше створити логічний ШІ.

все это сделано до вас, откройте главу любой книги по NLP (та что в программировании) и увидите что это все сделано людьми намного умнее нас
Если у вас нет времени на ту базу, то посмотрите сколько всего вы не учли всего лишь в одной главе из прошлой книги, и это тоже только база по нлп, не рокет саенс

Computing with Language: Simple Statistics
Frequency Distributions
Fine-Grained Selection of Words
Collocations and Bigrams
Counting Other Things
Back to Python: Making Decisions and Taking Control
Conditionals
Operating on Every Element
Nested Code Blocks
Looping with Conditions
Automatic Natural Language Understanding
Word Sense Disambiguation
Pronoun Resolution
Generating Language Output
Machine Translation
Spoken Dialogue Systems
Textual Entailment
Limitations of NLP
Summary
Further Reading
Exercises
2. Accessing Text Corpora and Lexical Resources
Accessing Text Corpora
Gutenberg Corpus
Web and Chat Text
Brown Corpus
Reuters Corpus
Inaugural Address Corpus
Annotated Text Corpora
Corpora in Other Languages
Text Corpus Structure
Loading Your Own Corpus
Conditional Frequency Distributions
Conditions and Events
Counting Words by Genre
Plotting and Tabulating Distributions
Generating Random Text with Bigrams
More Python: Reusing Code
Creating Programs with a Text Editor
Functions
Modules
Lexical Resources
Wordlist Corpora
A Pronouncing Dictionary
Comparative Wordlists
Shoebox and Toolbox Lexicons
WordNet
Senses and Synonyms
The WordNet Hierarchy
More Lexical Relations
Semantic Similarity
Summary
Further Reading
Exercises
3. Processing Raw Text
Accessing Text from the Web and from Disk
Electronic Books
Dealing with HTML
Processing Search Engine Results
Processing RSS Feeds
Reading Local Files
Extracting Text from PDF, MSWord, and Other Binary Formats
Capturing User Input
The NLP Pipeline
Strings: Text Processing at the Lowest Level
Basic Operations with Strings
Printing Strings
Accessing Individual Characters
Accessing Substrings
More Operations on Strings
The Difference Between Lists and Strings
Text Processing with Unicode
What Is Unicode?
Extracting Encoded Text from Files
Using Your Local Encoding in Python
Regular Expressions for Detecting Word Patterns
Using Basic Metacharacters
Ranges and Closures
Useful Applications of Regular Expressions
Extracting Word Pieces
Doing More with Word Pieces
Finding Word Stems
Searching Tokenized Text
Normalizing Text
Stemmers
Lemmatization
Regular Expressions for Tokenizing Text
Simple Approaches to Tokenization
NLTK’s Regular Expression Tokenizer
Further Issues with Tokenization
Segmentation
Sentence Segmentation
Word Segmentation
Formatting: From Lists to Strings
From Lists to Strings
Strings and Formats
Lining Things Up
Writing Results to a File
Text Wrapping
Summary
Further Reading
Exercises
4. Writing Structured Programs
Back to the Basics
Assignment
Equality
Conditionals
Sequences
Operating on Sequence Types
Combining Different Sequence Types
Generator Expressions
Questions of Style
Python Coding Style
Procedural Versus Declarative Style
Some Legitimate Uses for Counters
Functions: The Foundation of Structured Programming
Function Inputs and Outputs
Parameter Passing
Variable Scope
Checking Parameter Types
Functional Decomposition
Documenting Functions
Doing More with Functions
Functions As Arguments
Accumulative Functions
Higher-Order Functions
Named Arguments
Program Development
Structure of a Python Module
Multimodule Programs
Sources of Error
Debugging Techniques
Defensive Programming
Algorithm Design
Recursion
Space-Time Trade-offs
Dynamic Programming
A Sample of Python Libraries
Matplotlib
NetworkX
csv
NumPy
Other Python Libraries
Summary
Further Reading
Exercises
5. Categorizing and Tagging Words
Using a Tagger
Tagged Corpora
Representing Tagged Tokens
Reading Tagged Corpora
A Simplified Part-of-Speech Tagset
Nouns
Verbs
Adjectives and Adverbs
Unsimplified Tags
Exploring Tagged Corpora
Mapping Words to Properties Using Python Dictionaries
Indexing Lists Versus Dictionaries
Dictionaries in Python
Defining Dictionaries
Default Dictionaries
Incrementally Updating a Dictionary
Complex Keys and Values
Inverting a Dictionary
Automatic Tagging
The Default Tagger
The Regular Expression Tagger
The Lookup Tagger
Evaluation
N-Gram Tagging
Unigram Tagging
Separating the Training and Testing Data
General N-Gram Tagging
Combining Taggers
Tagging Unknown Words
Storing Taggers
Performance Limitations
Tagging Across Sentence Boundaries
Transformation-Based Tagging
How to Determine the Category of a Word
Morphological Clues
Syntactic Clues
Semantic Clues
New Words
Morphology in Part-of-Speech Tagsets
Summary
Further Reading
Exercises
6. Learning to Classify Text
Supervised Classification
Gender Identification
Choosing the Right Features
Document Classification
Part-of-Speech Tagging
Exploiting Context
Sequence Classification
Other Methods for Sequence Classification
Further Examples of Supervised Classification
Sentence Segmentation
Identifying Dialogue Act Types
Recognizing Textual Entailment
Scaling Up to Large Datasets
Evaluation
The Test Set
Accuracy
Precision and Recall
Confusion Matrices
Cross-Validation
Decision Trees
Entropy and Information Gain
Naive Bayes Classifiers
Underlying Probabilistic Model
Zero Counts and Smoothing
Non-Binary Features
The Naivete of Independence
The Cause of Double-Counting
Maximum Entropy Classifiers
The Maximum Entropy Model
Maximizing Entropy
Generative Versus Conditional Classifiers
Modeling Linguistic Patterns
What Do Models Tell Us?
Summary
Further Reading
Exercises
7. Extracting Information from Text
Information Extraction
Information Extraction Architecture
Chunking
Noun Phrase Chunking
Tag Patterns
Chunking with Regular Expressions
Exploring Text Corpora
Chinking
Representing Chunks: Tags Versus Trees
Developing and Evaluating Chunkers
Reading IOB Format and the CoNLL-2000 Chunking Corpus
Simple Evaluation and Baselines
Training Classifier-Based Chunkers
Recursion in Linguistic Structure
Building Nested Structure with Cascaded Chunkers
Trees
Tree Traversal
Named Entity Recognition
Relation Extraction
Summary
Further Reading
Exercises
8. Analyzing Sentence Structure
Some Grammatical Dilemmas
Linguistic Data and Unlimited Possibilities
Ubiquitous Ambiguity
What’s the Use of Syntax?
Beyond n-grams
Context-Free Grammar
A Simple Grammar
Writing Your Own Grammars
Recursion in Syntactic Structure
Parsing with Context-Free Grammar
Recursive Descent Parsing
Shift-Reduce Parsing
The Left-Corner Parser
Well-Formed Substring Tables
Dependencies and Dependency Grammar
Valency and the Lexicon
Scaling Up
Grammar Development
Treebanks and Grammars
Pernicious Ambiguity
Weighted Grammar
Summary
Further Reading
Exercises
9. Building Feature-Based Grammars
Grammatical Features
Syntactic Agreement
Using Attributes and Constraints
Terminology
Processing Feature Structures
Subsumption and Unification
Extending a Feature-Based Grammar
Subcategorization
Heads Revisited
Auxiliary Verbs and Inversion
Unbounded Dependency Constructions
Case and Gender in German
Summary
Further Reading
Exercises
10. Analyzing the Meaning of Sentences
Natural Language Understanding
Querying a Database
Natural Language, Semantics, and Logic
Propositional Logic
First-Order Logic
Syntax
First-Order Theorem Proving
Summarizing the Language of First-Order Logic
Truth in Model
Individual Variables and Assignments
Quantification
Quantifier Scope Ambiguity
Model Building
The Semantics of English Sentences
Compositional Semantics in Feature-Based Grammar
The λ-Calculus
Quantified NPs
Transitive Verbs
Quantifier Ambiguity Revisited
Discourse Semantics
Discourse Representation Theory
Discourse Processing
Summary
Further Reading
Exercises
11. Managing Linguistic Data
Corpus Structure: A Case Study
The Structure of TIMIT
Notable Design Features
Fundamental Data Types
The Life Cycle of a Corpus
Three Corpus Creation Scenarios
Quality Control
Curation Versus Evolution
Acquiring Data
Obtaining Data from the Web
Obtaining Data from Word Processor Files
Obtaining Data from Spreadsheets and Databases
Converting Data Formats
Deciding Which Layers of Annotation to Include
Standards and Tools
Special Considerations When Working with Endangered Languages
Working with XML
Using XML for Linguistic Structures
The Role of XML
The ElementTree Interface
Using ElementTree for Accessing Toolbox Data
Formatting Entries
Working with Toolbox Data
Adding a Field to Each Entry
Validating a Toolbox Lexicon
Describing Language Resources Using OLAC Metadata
What Is Metadata?
OLAC: Open Language Archives Community
Summary
Further Reading
Exercises
A. Afterword: The Language Challenge
Language Processing Versus Symbol Processing
Contemporary Philosophical Divides
NLTK Roadmap
Envoi...

До речі, там немає про перетворення Фур є.

От саме через те, що винаходити велосипед дуже довго і не включає багатовіковий досвід людей в цьому, і не потрібно ніколи його винаходити!
В якщо потрібно щось трохи схоже, то велосипед беруть за основу і змінюють, а не винаходять по новій.

Складне створюється із простого. Що таке фрактал? Це самоподібна фігура. Але chain це теж самоподібна структура. Є атоми і є зв язки між ними. Тому, якась складна логіка може бути створена поєднанням більш простої логікі. Наприклад:
А & B & C & D
де A це твердження «вода це рідина»
B це якесь інше твердження
І так далі...

Таким чином, я вважаю, що створення ШІ який умітиме у логіку, це питання часу.
А чи зможе цей ШІ принести людству більше користі ніж Чат ГПТ?
Логічний ШІ буде здатен із стовідсотковою ймовірністю розв язати будь які суперечки.
Гадаю це чогось таки коштує, щоб намагатися першим розробити такий ШІ.

Вітаю у 1970 році.
Наші колеги у Франції якраз займаються цими питаннями і з цікавістю послухають про ШІ та логіку.
Незабаром вони збираються представити свої розробки у вигляді мови ПРОграмування ЛОГіки — ПРОЛОГ

Вот вот, оч банальная и начальная попытка пройти 50 летний процесс с самого начала, это оч устарело

Але презентація даних у нейронній мережі начебто не зберігає упорядкованість логічних термів. Тому й плутанина у чатів ГПТ та стебл діф южн.
Щось нове чи то не добре забуте старе?

Если коротко — нейронки работают и дают результат на уровне аж имитации интеллекта. Простенькая логика на основе сущность-связь сама по себе за 50 лет не дала никакого ощутимого результата и всего лишь является азбукой для вещей в 100 раз сложнее т.е. нейронок.

На данном этапе все эксперты видят KG, который вы пытаетесь изобрести, как дополнительный справочник со знаниями для лукапа, но не используется в ядре самого интеллекта, тоесть вторичен

Я погуглив трохи. Можливо kg і підійде. Подивлюся.

Міркую далі про ШІ, який зуміє у логіку. Ось що вигадав:

Реляційна таблиця «Це»
вода це рідина
вино це напій
напій це рідина

Ось застосування цієї таблиці:

Якщо Х це рідина, то що є Х ?
X це напій

P.S.
Інформація до таблиці була добавлена гуглєнієм. Тобто такі запроси були до гугла:
«вода це», «вино це», «напій це»

Середньо статистичний дев може і значно гірше відповідати :) Просто таких дослідів ми не маємо.

Ну... середньо статистичному деву треба надавати можливість користуватися stackoverflow, бо змагатися у пам’яті з машиною дурня.

а с чат жпт это уже не дурня а реальность ;)

З ChatGPT змагатися у пам’яті? Яка реальність, дурня усе.

чатжпт уже есть, вон стековерфлоу и гуглу уже приходится соревноваться с чатжпт, в том числе и в памяти.

Якщо просто копіювати усі підряд відповіді зі stackoverflow, є така вірогідність що половина програми буде на костилях з не оптимальними алгоритмами. Звісно якщо ШІ якимись чином почне робити ранкінг та відсіювати рішення за їх якістю, людство не те що в програмуванні, ми стрибнемо вперед навіть не в науці та техніці — а загалом по усіх сферах. Уявіть собі що усі на планеті : лікарі, політики тощо — матимуть можливість аналізувати в моделювати усі наслідки до того як приймати якесь рішення з будь якого питання, заздалегідь знаючи з великою долею вірогідності наслідки. Зараз напевно людство може передбачати тільки дуже невеликий проміжок часу і далеко не по усіх сферах. Скажімо можемо сказати що за проектом якась споруда як то будинок чи міст із великою долею вірогідності скажімо 0.9 простоїть 200 років. Впасти може через землетрус 12 балів, торнадо 5 рівня або військові дії. Система яка передбачає так по усіх сферах — це буде справжній Оракул, який передбачає майбутнє як в давньогрецьких міфах, або альманах з результатами спортивних матчів, що потрапив до рук Біфа Таннена в трилогії Назад в Майбутнє. Та навіть в таких іграх як «Хто хоче стати мільйонером» де треба відповідати на питання обираючи з 4 варіантів, найбільше корисна допомога — прибрати дві заздалегідь невірні варіанти, а «дзвінок друга» або голосування залу зазвичай має дуже помірну користь. Дзвінок другу дуже часто нічим не допомагає взагалі, а зал надає некоректну відповідь з більшості складних питань. От тепер берем ШІ який комбінує рішення надані «дзвіночком друга» і за які голосував зал. Я би після цього хотів би ще мати і принаймні 50/50.

А навіщо копіювати зі stackoverflow усе підряд? Як на мене, достатньо знайти де шукати та ідею, а далі вже сам... А от ШІ це окрема задача створення набору для навчання, ...

Що є передбачення? Це дані статистики. Наприклад: хтось пиє пиво, а хтось дивиться футбол. А є такі, що пиють пиво і дивляться футбол. Дві залежності поєдналися. Залежності це відношення. Відношення це relation. Щоб передбачати майбутньє потрібен логічний ШІ побудований на базі механізму накопичення всіляких реляцій.

Мій тест. До кодингу стосунку не має.
-Do you know Depeche mode song Question of time?

-Yes I know the song a question of time by Depeche mode

— Can you give me the lyrics?

— Yes....
І понеслось...
1й куплет ок
Приспів ок
2й куплет Чат придумав сам
Приспів ок
3й куплет частково вірно далі сам придумав.

Ну... Я не знаю чого це його понесло 😂

З мого досвіду він дійсно потребує окремої спеціалізації. Тобто про варіант — замовник приніс серветку з ідеєю, а chatGPT за хвилину підняв прод, мріяти зарано.
Більше всього мене не сподобалося що його вкрай важко примусити зробити іншій варіант. Треба прям постаратися щоб він змінив підхід.
Ну і те що він не має сумнівів, і бодай яку маячню піше так само впевнено, та ще і каже що виправив помилки. Тре дуже добре знатися на тому що ти питаєш щоб зрозуміти де шукати майбутні баги.
Окрема тема це його досвід з версіями ліб. Звалити все в купу з десяти версій — нема питань.
Краще за все, зараз використовувати його для бусту опанування якоїсь нової сфери, або як генератор ідей, але пам’ятаючи що він постійно марить.

Тестування відбувалось на GPT 3.5 чи на GPT 4.0?

Створіть AI заснований на використанні правил необхідної логіки і буде вам щастя.

Це... проблема у тому, що немає бази для навчання. Також формалізацією займалася не дуже багато спеціалістів.

Можливо саме ШІ які зуміють у логіку спасуть світ. Бо люди або не вміють у логіку, або не хочуть.

Я думаю починати треба із програмування збереження та інших можливостей CRUD для атома деякої логіки.
Наприклад:
Ось атом «вода це рідина»
Запропонуйте модель.

Будь яка мова програмування с залежними типами, як Agda, CoQ, Idris, ... де математичні докази це об’єкти мови.
Є ще olog, який пропонував Співак, але мені важко це оцінювати.

Я собі уявляю це як декілька Java об єктів. Це ж початковий рівень розробки. Тут взагалі не треба щось оптимізувати. Просто відшукати декілька загальних абстракцій.

ООП дуже неформальне, там важко будувати докази, а без цього важко перевіряти поради.

Зручність присипляє. Я мабуть колись на Java реалізую моє бачення.

перевіряючі все одно схвалили майже 40% відповідей ChatGPT. На жаль, 77% цих відповідей були неправильними.

О_о

Вони перевіряли просто прочитавши різні варіанти відповідей, без можливості запустити код. Тому красива структурована відповідь від ChatCPT, що має помилку, може здатися правильною саме через свій вигляд.

Піду візьму попкорн і почитаю коментарі xD

Як на мене, 48% правильних відповідей це відмінно. Це означає, що в половині випадків буде готове рішення до проблеми, до якої я навіть не знав, як підійти.

Сам користуюсь Github Co-Pilot (поки без X), Bing, ChatGPT.

Перший допомогає писати бойлерплейт (іноді не дуже тривіальний). Другий — як гугл на стероїдах — достатньо часто бот дає абсолютно адекватні відповіді, базуючись на «живих» результатах пошуку. А «голий» ChatGPT використовую, коли я не знаю взагалі, куди копати, або мені потрібна відповідь більше за кілька параграфів, що дає Bing.

ChatGPT вже вміє в інтернет. Достатньо встановити відповідні плагіни, наприклад VoxScript.

Так, чув про це, дякую, але ще не пробував — поки вистачає Бінгу.

Це означає, що в половині випадків буде готове рішення до проблеми, до якої я навіть не знав, як підійти

Це так тільки якщо ви взагалі не вмієте програмувати. Чим складніша чи менш тривіальна задача, тим гірше з нею справляється chatgpt. Тому з тих 48% правильних відповідей скоріш за все 90% ви могли б і самі вирішити, та ще і більш якісно.

Добре, на цьому і зійдемось: я не вмію програмувати, читати кілометрову документацію якоїсь складної нової ліби і не вмію користуватись stackoverflow. :)

Мій коментар не про ваше вміння або невміння програмувати, а конкретно про заяву що до всіх 48% правильних відповідей ви б «навіть не знали, як підійти».

Ну якщо ви його результати використовуєте як базу для написання власного коду, то так це не погано, бо далі ви перепишете код осмислено і внесете правки. Але навіть на ДОУ вже набігли адепти «ChatGPT буде писати кода за мене» і в такому випадку ніхто не дізнається чи код попадає в 48% чи в 52% поки щось не піде не так.

По своєму досвіду можу сказати що максимум 20% завдань він вирішує правильно з перших декількох спроб. Як на мене то його єдина користь це навести приклад чогось що б потім відштовхуючись від цього прикладу реалізовувати вже коекретно потрібне рішення, або ж накинути ідеї як в загальному можна вирішити ту чи іншу проблему

Дуже багато ліпить води, фантомний функціонал...Гарна штука щод розбиратись у новій темі, концептами та іншим.
Я б сказав нарешті пошуковик которому можна задавати конкретні питання і отримувати відповіді на них без дебільної реклами та богомерзких ютубів де лльють воду в 10 хвилин на відповідьв одну строчку, тут він уделує гугл просто без жодних шансів.

Стосовно заміни програмістів, ну хіба шо джунів замінить :-) Так сам постійно треба переписувати та 10 раз перевіряти :-)

Заменить джунов программой, звучит достаточно «дизраптно»

Роз***ано.
Кодерки:ШІ 1:0

Роз***ано.
Кодерки:ШІ 1:0

Ем. stackoverflow VS ШІ — 1:0
А кодерків ще не тестили

Відповіді ж на Stackoverflow пише всемогутній AGI, угу

Різні відповіді пишуть різні кодерки. Поки вони в сумі виграють в ШІ. Але нас цікавить кожен кодерок окремо VS Ші

А GPT хіба сам не користується відповідями з SO при генеруванні своїх відповідей?
Це скоріш самостійний пошук інформації vs використання ШІ при роботі з SO 1:0

Помимо основных плюсов чатжпт, для кодинга я бы назвал вот какую — возможность комбинировать нескольких специалистов в одном окне и выдавать код.
Я баловался абстрактными задачами, результат впечатляет:
— я попросил его написать симуляцию колонии муравьев в коде с определенными условиями, оформив это вначале общими классами, потом создать мир где колонии конкурируют между собой и тд. Мне не пришлось читать про устройство колонии муравьев, чатжпт взял это из своей сетки и трансформировал в код. Это прорыв имхо.

Фигня в том, что вы не знаете, взял ли он это из знаний или «знаний». Тоесть нельзя валидировать и вам таки прийдется проверить, что у него за муравьи такие.

Запитайте про оператор is в мові програмування groovy. Видасть гарно оформлену, з прикладами, але абсолютно неправильну відповідь.

Це тому що ти йому не надаєшь документацію читати ))
Спробуй підключити VoxScript и запитати якось так:

Using the Internet, tell me about the “is” operator in the groovy programming language and give examples of its use

Те саме відповідає (неправильно) і видає неправильний код (що не компілюється). Приклад дає більш розширений і каже, що це знання за 2021 рік.

org.codehaus.groovy.control.MultipleCompilationErrorsException: startup failed:
/home/cg/root/64d5f1204b852/main.groovy: 10: unexpected token: is @ line 10, column 12.
   assert dog is Dog         // Evaluates to true

Чем проще ответы, тем правильней.
Если вы знаете, что ответ есть — еще больше правильного
Если спросить что-то типа google speech api — придумает совершенную пургу которую гугл не поддерживает
Ну и красивый код к ней.

любой маркетолог имея только этот инструмент — может создать простую работающую апликуху. человек более подкованный но без знания языков — теперь может накодить аппликуху средней сложности.

Это забавно когда синиоры смеются что их чатжпт на данном этапе не заменит. конечно не сейчас, ваша нейронка сколько обучалась, 20 лет?

любой маркетолог имея только этот инструмент — может создать простую работающую апликуху

І шо багато ви створили аплікух на чат жопа ти? Вже дуже давно було куча інструментів де будь хто міг зробить аплікуху. Наприклад всякі там там вікс, ворд прес тощо. І шо всіх прогерів звільнили?

человек более подкованный но без знания языков — теперь может накодить аппликуху средней сложности.

Ви пробували? Як мінімум середня аплікуха це декілька десятків файлів що вже не зручно копіювати з чат жопа ти. А як максимум малесенька зміна requirements призводить до того що чат жопа ти генерує код який не працює так як треба. І ніякі вмовляння чат жопа ти не допоможуть. Просто в моделі не має таких знань і все тут...

файлы? копиюваты? да ты с чатжпт вообще норм не работал, чтоли?

на первый вопрос — да, я оч много скриптов получил от чатжпт которые работали либо сразу либо после дебагинга этим же чатжпт. апликуху на мобильные мне не надо было делать. Причем на совершенно диаметральные темы:
— чатжпт дай мне скрипт процедурной генерации для блендера на питоне — дает
— дай мне скрипт для проверки баланса 1 000 000 биткоин аддресов и генерации новых адресов — дает
— дай мне ИИ код для (и кста посоветуй правильный тип модели вначале) для геренации 3Д меша на основании тренировочного сета меш + картинка — дает

И это все он дает с пояснениями и с живым диалогом с ответами на любые вопросы, а зачем это а что вот это а могу я вот тут и тд и тп.

Но это допустим скриптовые задачи,ответим на второй вопрос если польователь шарит в ИТ но не кодит:

— да пробовал, для более сложных задач ты просто строишь апликуху вместе с ним в реальном времени.
1. просишь построить бекбон классов для твоей цели, причем на любые темы он тебе посоветует еще классы про которые ты мог не подумать
2. Дальше в каждый класс добавляешь структуру данных и методы
3. дальше переходишь к методам и добавляешь их в классы — и методы могут быть достаточно сложные, ведь он спарсил кучу разного кода
4. потом связываешь все воедино в общий работающий прототип — не сам, опять чатжпт
5. потом просишь это засунуть в интерфейс с определенными контролами
6. интеграция с бд или на жсонах — тоже легко, все тебе накодит

Вот такой вот кодинг, на задачу средней сложности потянет

Ты не понимаешь сути того, что произошло: ЕЩЕ НИ РАЗУ У ЧЕЛОВЕЧЕСТВА НЕ БЫЛО ИСКУСТВЕННОГО ПОМОЩНИКА, КОТОРЫЙ МОЖЕТ ЗАМЕНИТЬ ПОЛЬЗОВАТЕЛЮ 1000 РАЗНЫХ СПЕЦИАЛИСТОВ СРЕДНЕГО КАЧЕСТВА (да, среднего, не топов). И это произошло. а еще генеративка — контента всех типов это вообще жесть

Ви чат жп т використовували для генерації відповіді чи як?

1. просишь построить бекбон классов для твоей цели, причем на любые темы он тебе посоветует еще классы про которые ты мог не подумать

Ну ок. Ну нехай буде.

2. Дальше в каждый класс добавляешь структуру данных и методы

Вибачте що? Якщо бекбон згенерований то там вже має бути «структури данных и методы». Чи ви дивитесь кожен клас і просите чат гпт поміняти «структуру данных и методы»? Так ви тоді вже не «любой маркетолог имея только этот инструмент». Чи ви взагалі самі додаєте «структури данных и методы»?

3. дальше переходишь к методам и добавляешь их в классы — и методы могут быть достаточно сложные, ведь он спарсил кучу разного кода

Куда переходиш? Методи і так в класах куда ви їх там добавляєте і як?

4. потом связываешь все воедино в общий работающий прототип — не сам, опять чатжпт

Яким чином ви це робите якщо чат жпт по факту не може працювати з файлами і спілкування проходить в режимі діалогу...

ЗАМЕНИТЬ ПОЛЬЗОВАТЕЛЮ 1000 РАЗМНЫХ СПЕЦИАЛИСТОВ СРЕДНЕГО КАЧЕСТВА (да, среднего, не топов).

До цього ви писали

Это забавно когда синиоры смеются что их чатжпт на данном этапе не заменит

Прочитавши ваш комент чомусь згадався цей кліп www.youtube.com/watch?v=Sbg3UcBOwng

Яким чином ви це робите якщо чат жпт по факту не може працювати з файлами і спілкування проходить в режимі діалогу...

Тоесть я пытаюсь что-то обьяснить человеку, который в глаза не видел тулзу но спорит о ее непригодности? Мдеее

Чатжпт это чатбот с историей, он помнит диалог
И с инпутом, ты можешь ему кинуть созданный код что бы он его менял расширял исправлял

Лол. А потом ты копирируешь 100500 фалов из чат жпт себе в папочку что бы выяснить что они не компиляться. И кто тут

в глаза не видел тулзу

?

Ой спасибо что напомнил, он и структуру проекта тебе сделает, куда какой код копировть в какой файл.
И опять меня удивляет твое непонимание поэтапного процесса проектирования, человек все-и-сразу

Стесняюсь спросить, а вы точно синиор прогер? Потому что это удивительно, когда синиор не знает что помимо сказочного метода «я напишу все классы со всеми методами и структурами данных все и сразу», есть другие более реалистичные методы проектирования, top-down, bottom-up, не слышал?

Стесняюсь спросить, а вы точно синиор прогер?

Ну если стесняешься то и не спрашивай.

помимо сказочного метода «я напишу все классы со всеми методами и структурами данных все и сразу», есть другие более реалистичные методы проектирования, top-down, bottom-up, не слышал

Кто я? Ты ж рассказывал сказочки что за тебя все чат жпт пишет. Так пишет или не пишет? Шо куда ты там добавляешь и как?

Давай так — вот тебе тестовое задание которое я давал чувакам в навыках которых сомневался. Реши его с помощью чат гпт и проверим на что он способен.

# Простой каталог книг

Стек технологий:

* Node.js
* TypeScript
* Nest.js
* TypeORM
* MySQL
* GraphQL with code first approach

GraphQL схему для каталога смотри в файле schema.graphql.

Решение предоставить как ссылку на GitHub репозиторий.

В репозитории обязательно должен быть docker-compose.yml файл который:

* Дает доступ к node.js приложению через порт 5000.
* Дает доступ к mysql через порт 6000.
* Сохраняет mysql данные в volume ./mysql-data.

Приложение должно разворачиваться на локалке двумя командами:

```bash
npm install
docker-compose up
```

После docker-compose up в браузере по адресу http://localhost:5000/ должен быть доступен работоспособный GraphQL Playground.

После docker-compose down данные в базе не должны пропасть.

Приветствуются (но не обязательны) тесты, ограничение сложности GraphQL запросов (query complexity) и решение проблемы N+1 SQL запроса.

schema.graphql:

schema {
query: Query,
mutation: Mutation
}

type Query {
getAuthor(id: ID!): Author # возвращает null если ничего не нашло
getBook(id: ID!): Book # возвращает null если ничего не нашло

# getAuthors() возвращает всех авторов
# getAuthors(minNumberOfBooks: 3) возвращает авторов у которых 3 и более книг
# getAuthors(maxNumberOfBooks: 10) возвращает авторов у которых не больше 10 книг
# getAuthors(minNumberOfBooks: 3, maxNumberOfBooks: 6) возвращает авторов у которых 3, 4, 5 или 6 книг
# фильтрация по minNumberOfBooks и maxNumberOfBooks должна делаться через SQL, а не через JavaScript
getAuthors(minNumberOfBooks: Int, maxNumberOfBooks: Int): [Author!]!

# поиск нечувствительный к регистру
# должен поддерживать like синтаксис
# getBooks() возвращает все книги
# getBooks(title: “Art of %”) возвращает книги начинающиеся с ’Art of’
getBooks(title: String): [Book!]!
}

type Mutation {
createAuthor(author: AuthorInput!): Author!
createBook(book: BookInput!): Book!
addAuthor(bookId: ID!, authorId: ID!): Book!

deleteAuthor(id: ID!): Int! # возвращает количество удаленных записей (0 или 1)

# удаляет автора и все его книги без соавторов
# для книг в соавторстве удаляет автора из списка авторов
# возвращает количество удаленных и измененных записей (автор+книги без соавторов+книги в соавторстве или 0)
deleteAuthorWithBooks(id: ID!): Int!

deleteBook(id: ID!): Int! # возвращает количество удаленных записей (0 или 1)
}

type Author {
id: ID!
firstName: String!
lastName: String!
books: [Book!]!
}

input AuthorInput {
firstName: String!
lastName: String!
}

type Book {
id: ID!
title: String!
authors: [Author!]!
}

input BookInput {
title: String!
authorIds: [ID!]!
}

А что ты не можешь попросить чатжпт кодить от общего к частному? Ты не притворяешься?)
По поводу задания, лол — у тебя не хватит денег оплатить мой рейт (образное посылание прогера который решил что я ему должен тестовые решать, с чатжпт или без)

у тебя не хватит денег оплатить мой рейт

Так а в чому проблема якщо за тебе все чат жпт робить?
Який твій рейт якщо все ШІ робить?

образное посылание прогера который решил что я ему должен тестовые решать, с чатжпт или без

«Слив защитан»

Нет, ты реально странный. Если ты вместо сказок о том что даже не тестил, внимательно прочтеш что я вначале написал — кодинг с жпт не кодеру займет столько же времени сколько и тебе написать код, но вот чатжпт не надо учиться этому сколько то там десятков лет сколько ты учился, если учился конечно

Ти спочатку писав

любой маркетолог имея только этот инструмент — может создать простую работающую апликуху. человек более подкованный но без знания языков — теперь может накодить аппликуху средней сложности.

Это забавно когда синиоры смеются что их чатжпт на данном этапе не заменит. конечно не сейчас, ваша нейронка сколько обучалась, 20 лет?

Ну і де твій «любой маркетолог» коли діло дойшло до реальной задачі?
А він каже

у тебя не хватит денег оплатить мой рейт

Лол

Вірю що ти з чат жп т зможеш виконати завдання. Бажаю успіхів!

Тільки от для того щоб розуміти де чат гпт каже правду, а де бреше треба як раз

учиться этому сколько то там десятков лет

Мужик вот давай напрямую, я бы тебя послал с таким тестовым даже если бы собеседовался, а требовать работать на тебя совершенно незнакомому человеку — это не совсем адекватно. Впрочем, как и спорить о тулзе, которую ты даже не пробовал юзать и не знаешь функционала

я бы тебя послал с таким тестовым даже если бы собеседовался

Я писал выше «тестовое задание которое я давал чувакам в навыках которых сомневался».

а требовать работать на тебя совершенно незнакомому человеку — это не совсем адекватно

Так за тебя же чат жпт все будет делать. Всех прогеров заменит, можно не учится десять лет. Но тестовое делать не будет не барское это дело.

спорить о тулзе, которую ты лаже не пробовал юзать и не зна5шь функционала

Чат гпт ахеренный но только на словах :-)

Так за тебя же чат жпт все будет делать. Всех прогеров заменит, можно не учится десять лет. Но тестовое делать не будет не барское это дело.

Ого как припекло

кодинг с жпт не кодеру займет столько же времени сколько и тебе написать код, но вот чатжпт не надо учиться этому сколько то там десятков лет сколько ты учился

Для того что бы исправлять баги в чат жпт коде как раз «надо учиться этому сколько то там десятков лет». Для «не кодера» это непосильная задача. Понимать чужой код и искать в нем баги сложнее чем понимать свой код и искать в нем баги. «Не кодер» может попросить чат гпт исправить ошибку и возможно чат гпт исправит ошибку. Но очень часто чат гпт просто генерит другой код с другими ошибками и «не кодер» тут попадает в сраку...

Реальный пример: коллега попросил chat gpt сгенерить функцию, оно сгенерило. Но в итоге функция не работала так как надо. Коллега полчаса помучал чат гпт. Не помогло. Пришлось идти к другому коллеге и еще пол часа разбираться вместе с ним почему это не работает. Оба коллеги программисты. Написание функции с нуля заняло бы полчаса максимум. А так они потратилили полтора человеко-часа. Отличная экономия.

О каких «не кодеру займет столько же времени сколько и тебе написать код» тут может быть речь?

А что ты не можешь попросить чатжпт кодить от общего к частному? Ты не притворяешься?)

То ты говоришь, что любой маркетолог может, а теперь вот программист оказывается и не может.

От общего к частному возможно только если пишешь программу с нуля, и ты можешь задавать контекст. На практике часто возникает задача разширения функционала.

СПЕЦИАЛИСТОВ СРЕДНЕГО КАЧЕСТВА (да, среднего, не топов)

www.meme-arsenal.com/...​219aada53c3e6c279ccda.jpg

контента всех типов

Украденного контента.

Это известный холивар. Если признать обучение сетки кражей то там и до признания кражей обучение по учебникам в универе не сильно далеко. Будет зависеть только от одного — законодательства конкретной страны

Нейронку не учат на универовских учебниках, а на уже готовом коде.

Когда отдельный гребец обучается на чужом коде, то это социализм, богоугодно. А когда это делает корпорация — то это уже эксплуатация, такое не положено

на второй вопрос если польователь шарит в ИТ но не кодит

ChatGPT це дійсно круто, але ви знаходитесь в пастці думок, що «будь-якому користувачу, що шарить в IT, але не кодить» є якась справа до цих ваших класів з методами, компіляторів та IDE — вони могли і не чути про це все взагалі.

Вони просто не зможуть пояснити складну задачу боту та перевірити точність імплементації, бо це саме те, чим займаються вже погромісти та відділ QA.

да все нормально, мне вчера хотелось кого-то подраконить, попалась тема с жпт и благодатная почва:)
Никого он не заменит, бульбушка лопнет, всех воров кода посадят (хотя тут я бы посоветовал прогерам быть акуратнее;), маркетологи останутся маркетологами

начального качества, будет обьективны
Очень начитаный помощник билиотекаря, не бильмеса в каждом разделе не понимающий.
Плюс еще и придумывающий справочную инфу.

Стільки слів, а на реальному прикладі злився

Да я уже понял куда влез, это ж для вас личное ;)
Крестовый поход кодеров против общей угрозы, все те кто в другой ситуации бы кричали как они нашару никогда не будут тестовых заданий делать сегодня спокойно это требуют от посторонних бесплатно

любой маркетолог имея только этот инструмент — может создать простую работающую апликуху. человек более подкованный но без знания языков — теперь может накодить аппликуху средней сложности.

Ага, а SQL це майже звичайна англійська, і скоро не треба буде інтерфейсів, бо аналітики будуть самі собі запити в базу будувати, та статистику рахувати...

А ще сотні (тисячі?) no-code рішень, які, з часом, додають підтримку нормальних мов програмування та випилюють інтерфейс «де будь-який менеджер міг створити готовий продукт» (найяскравіший приклад — Salesforce Commerce Cloud).

Угу, а потім виявиться, що аплікуха глючить в 30% користувачів і маркетолог буде довго благати ChatGTP «Ну зроби щось!» і ChatGPT буде вибачатись і перегенеровувати код з новими рандомними багами.... Бо ChatGPT не може запустити дебаггер і подивитись, що відбувається, а просто вгадує рішення на основі бази на якій його навчали.

Прикро те що ця бульбашка досить голосно лопне і обвалить технологічні індекси що зараз виключно на ній тримаються.

могу поспорить — не лопнет. Ты просто недооцениваешь инструментарий который они уже предоставляют людям, и это версией 3.5 и 4. А следующие уже на подходе

Який інструментарій? IDE з підказками? Чи картинки з 10 ракурсів і лишніми пальцями?
Як власник бізнесу отримає надприбуток щоб розрахуватись з інвесторами? Звільнить половину штату програмістів? Хто тоді буде купувати його продукт?

да просто чатжпт. он тебе поможет настроить любой иде, установить фремворки, написать прогу, отдебажить ее. уйдет столько же времени что и у синиора, только это сделает маркетолог без опыта кодинга

Тільки от «маркетолог без опыта кодинга» нічого не зможе зробити коли чат жопа ти почне брехати, а це він робить дуже часто...

а значится QA все остались без работы потому что прогеры перестали делать ошибки? не смеши меня)

я сказал маркетолог, а не идиот — любой маркетолог может проверить результат как куа — дать коду задачу на которую знает правильный ответ и так ее оттестить. И если найдет ошибку угадай что? возвращается в окно к чатжпт и описывает ошибку. и в навскидку 70% случаев чатжпт ее сразу исправит, а нет — просто подольше придется с ним подолбаться

“навскидку 70% случаев чатжпт” відповідь буде “Apologies for the confusion in my previous responses. You are correct; the issue was not addressed correctly. My apologies for the oversight.”

Я теж побачив що ти спец в жпт тільки на словах. Якщо доходить до діла то пук серьк. Зроби тестове тоді поговоримо...

Давай сначала ты его сделаешь с помощью чатгпт, покажешь историю, докажешь что чатгпт не справился, а потом уж будешь кого-то просить тратить время на твой круд.

Чат гпт и так не справляется. Нет людей которые захотят решить это задание в чат гпт.

Все адепты чат гпт рассказывают как чат гпт помогает и ускоряет. Но никакого значительного ускорения нет. Иначе тут бы уже было 100500 ссылок с решениями.

Чем сложнее задача тем выше вероятность что чат гпт начнет тебя водить по кругу «Apologies for the confusion in my previous responses. You are correct; the issue was not addressed correctly. My apologies for the oversight.». Что бы выйти из это тупика нужны навыки прогера.

Я могу решить это задание хоть с чат гпт хоть без. «Любой маркетолог» не сможет решить это задание. Т.е. чат гпт не сможет заменить «кодерков» как любят тут рассказывать чат гпт сектанты.

Т.е. никакого

ИСКУСТВЕННОГО ПОМОЩНИКА, КОТОРЫЙ МОЖЕТ ЗАМЕНИТЬ ПОЛЬЗОВАТЕЛЮ 1000 РАЗНЫХ СПЕЦИАЛИСТОВ СРЕДНЕГО КАЧЕСТВА

тут нет. Я вот «CПЕЦИАЛИСТ СРЕДНЕГО КАЧЕСТВА» который может решить эту задачу. Что то у вас не получилось заменить меня. Где хотя бы одно решение?

Делал апишку на несте с подключением одновременно трех баз и выборок по ним. Оригинал выборок был на raw sql, чат гпт успешно переписал их на typeorm. Учитывая что баз три, то думаю сложность примерно понятна. Попутно предложил использовать entitymanager и делал оптимизации старых sql запросов. GPT 4 практически не залипает по кругу в отличии от 3.5 и не придумывает несуществующих функций. Заменил ли он программистов? На данном этапе нет, но он отлично заменит коллегу для брейншторма.

З мого досвіду — GPT 3.5 не зміг решити банальну задачу з рознесенням енвайрментів для однієї з найпопулярніших (якщо не самої популярної) бібліотекі для конфігів на Python. В оф. доці це погано задокументовано.

Зпочатку видав дуже clean code, я подумав «вау», перевірив — не працює. Кидаю йому exception та пояснюю — «Aplogies...» і видає код вже вирвіглазний і його треба доробляти, но думаю може працює? Ніт. Після декількох спроб та його вибачень поліз в сорс ліби, все зробив і все це зайняло 10 хвилин.

Звідки він взяв перший варіант — здається сам вигадав. Інші також не мали нічого спільного з тим як треба робити.

ой пропустил про картинки с пальцами)

мужик, ты застрял в 2021, проснись и посмотри новые результаты миджорни)
а как посмотришь — посмотри новые интерфейсы, для примера — которые добавляют в блендер интегрируя с 3д и стенд елон — которые позволяют править словами части картинок, меняя обьекты в ней в риал тайме

если же ты про чистые бизнес кейсы малого и среднего бизнеса — на реддите уже полно историй из жизни, как либо наемные рабочие смогли повысить свою продуктивность на 300% либо как начальники поувольняли половину стафа и либо сами начали быстро делать их работу с помощью жпт либо отдали указ подчиненным начать ипользовать
И это учитывая что 95% населения Земли еще не слышали про чатжпт

Или ты про биг ентерпрайз? вот тебе пример — блумберг делают свою модель что бы интегрировать в свои терминалы. а у них устоявшийся биз с готовым продающимся продуктом. Практически любой сервис может быть улучшен с интеграцией ИИ моделей, апартюнити

Давайте розбиратись:
1. Не було вказано яку саме модель тестували. 4 модель видає часто суттєво кращі результати ніж 3.5.

2. Shit in shit out. Як формулювались запити? Чи давались уточнюючі запитання/підказки? Чи надавали чату контекст та тестові дані? Чи після першої неправильної відповіді юзер намагався змінити запит і отримати правильний варіант і чи враховувалось це?

Мій досвід відносно активного користування показує, що з першого разу навіть 4 модель дійсно дає лише десь 50% правильних відповідей таких як мені треба, але граючись із промт інжинірінгом, даними цей показник можна довести до 100% правильних відповідей.

Казати, що чат генерує неправильний код це як казат, що компілятор компілює код з багами.

Мій постійний сценарій бесіди з чат джпт:
— чи можна зробити %action_name% на %framework_name%?
— так, можна. для цього треба %багато_води_і_коду%
*тестую (або навіть без тестування видно) — це повна брехня*
— chatgpt, ти неправий, це вигаданий код, %framework_name% такого не вміє
— так, ви праві, %framework_name% не підтримує %action_name%

Якась GPT-шизофренія, давати відповідь, а вже у наступній відповіді визнавати що це неіснуючий код/функціонал/підхід ітд)

4й такого не делает. Меньше теряет контекст и не выдумывает несуществующих функций. 3.5 творил это регулярно.

Вот это уже интересно спасибо за отзыв. Есть повод задуматься над платной подпиской. Такие вещи реально экономят время особенно на разовых задачах вроде сделай Х при помощи Y. На сколько реже приходится верифицировать выдаваемый код ответ по ощущениям?

Мне сложно сказать, поскольку я привык верифицировать все, хоть со стаковерфлоу, хоть с чатгпт. Но то, что стало сильно проще с промтами — заметно. В 3.5 я давал много контекста и примеров что есть сейчас и что хочу получить. В 4 чаще просто описываю задачу, но если чат пишет фигню, то следующее сообщение с дополнительной инфой обычно направляет его в правильное русло, а не заставляет тупить и по кругу извиняться.

Да, 3.5 частенько топчется по кругу хоть сколько контекста ему порой не давай. Про верефицировать я имел ввиду как много подправлять приходится до рабочего состояния. Не смысле скопипастил и запушил

4й умеет пользоваться интернетом.
Вы можете перед тем, как что-то просить, прокинуть ему линки и попросить ознакомиться с документацией. Введя в контекст, ответы его становятся достаточно точными.

Хз как это возможно условно кидаешь ему линку на доку по фреймверку и Х и просишь как бы мне так сделать чтобы при А было Б. Даже просто открыть все странички это не мало времени чисто на конекты. Т.е. по идее в этот момент он должен либо подвисать либо иметь какой-то индекс не хуже гугла.

Делает. Если у вас хоть чуток не «обычная» проблема.

Ніколи не треба так писати промпт: «чи можна зробити?..»
Найкращі результати, коли ви ставите задачу з позиції знання та даєте багато конкретних деталей. Ну тобто уявіть що пишете задачу для джуна: «Напиши мені функцію на такій мові, яка приймає такі параметри та повертає такі параметри та робить це й це з використанням такої й такої можливості такого й такого фреймворку». На конкретну задачу він повертає конкретний код із найменшою кількістю неіснуючих можливостей.
Якщо ви шукаєте саме інформацію, то краще питати не «чи можна», а «how do I use framework X to implement Y and Z». Тобти ви більш жорстко обумовлююте йому контекст, а не дозволяєте його вибрати.

Конкретну задачу я і сам напедалю. А перекопувати документацію, щоб дізнатись чи є така-то фіча «з коробки» — буває лінь. Звідси і питання «чи можна зробити?»

Не, все правильно Илья говорит. Общение с чатом ГПТ это как давать задачу своему подопечному с позиции ментора. Имею X в таком формате, хочу получить Y в таком формате. Это лучше всего работает.

Перейдить до 4 версії, встановить йому VoxScript, и розширте промти словами «Використовуючи інтернет и проглянувши не менш ніж ...... сторінок дай відповідь, чи можна зробити.......»
Здивуєтесь.

Без порівняння з людьми важко зрозуміти наскільки це погано. Може люди б взагалі відповіли б у 10% правильно. Може 48% це прямо дуже круто :)

Треба порівнювати не з пересічно людиною а з професіоналом, бо основний акцент робиться що вже ось ось мовна модель замінить програмістів. Але коли починаєш давати завдання хоч трохи складніше за 2+2 починається інколи повний треш.

Мені ChatGPT нагадує джуна, який прочитав багато книжок, але не все в них зрозумів. Тим не менше він і робить вигляд, що все знає, а коли його питаєш про щось, то він починає довго лити воду. Зі свого досвіду:
1. Спитав про те як отримати павні дані з API одного сервісу. Як потім виявилось це неможливо, але ChatGPT налив 2-3 абзаци води і привів приклад параметрів запиту яких немає в жодному докі.
2. Попросив конвертувати класс з Ruby в JS — він згенерував «сочінєніє на вольную тєму» яке було злегка схоже на оригінал.
Для себе зробив висновок, що це просто продвинута пошукова система. Результат який вона видає можна юзати як базу, але все треба потім перевіряти по доках і мануалах.

Я з текстами грався. В моєму тексті є речення А, Б, В. Дав йому завдання оцінити текст, чатбот: текст гарний, бо ви розказали про А, але ви забули написати про Б.

Для себе зробив висновок, що це просто продвинута пошукова система

Насправді він дуже класно працює коли тупо не знаєш що вбити в гугл, на кшталт «треба щось сам не знаю що». Все одно, все що він пише треба перевіряти, але він добре накидує «ключових слів» які потім можна використати для пошуку в гуглі.

Погоджусь. Треба було зробити одну хрінь з ethers.js, то ChatGPT видав хоч і коряву відповідь, але стало зрозуміло, що шукати в доках ethers.js

Якось запитував, щоб він мені написав функцію одну. Він написав, але вона не працювала так, як треба було. Описав проблему, що працює не так. Він вибачився, виправив код. Який теж не працює. Знову описав проблему, він знову вибачився, виправив код, знов не працює. Потім я помітив, що він мені дає по колу 2 одних і тих самих не вірних кода, які пропонував раніше.

ШІ замінить людей??

ШІ замінить тупих людей які не помітять що «він мені дає по колу 2 одних і тих самих не вірних кода».

Ну, людей які не бачать різниці між «неуважністю» і «тупістю» він теж замінить.

ШІ замінить тупих людей які не помітять що «він мені дає по колу 2 одних і тих самих не вірних кода».

Це була шутка гумору якщо що. Скритий зміст повідомлення що нікого він не замінить...

Щоб розуміти такі жарти, треба бути як мінімум знайомими (якщо ти розумієш, про що я). А коли такі «жарти» пишуть незнайомим людям, то це сприймається як образа.

Вибач. Я мав на увазі що ти як раз і знайшов що

він мені дає по колу 2 одних і тих самих не вірних кода

тому ти не підпадаєш в категорію людей з

«неуважністю» і «тупістю»

Вже після твого коменту я зрозумів що мій комент «не такой однозначный».

Буває, підказує корисні речі. Раніше використовував для написання рутинного коду, але зараз перейшов на копайлот — як небо і земля.
Але коли щось не працює — звертаюсь до чатгпт, частенько допомагає знайти помилку без сидіння годинами в документації.

чогось копайлот в мене дуже погано працюэ, в плані як просто доповнювач коду — він може взяти не той імпорт для модельки, чи просто тупо філди взяти, яких не існує, тобто банальні речі, про які він повинен знати — він не знає. в мене одного так?
Функції то він пише інколи непогано, але слабенько, особоливо у плані контексту проекту, наче він сліпий

Так, копайлот реально корисна штука. Краще всього він працює коли весь код проекту написаний з дотриманням одного стилю, просто і логічно. Тим самим він стимулює писати простий і логічний код.

А ще в нього стаються іноді «галюцинації» і тоді результати стають ну дуже цікавими.
Але мені подобається з ним спілкуватись, нехай і те що він видає в 90% не має практичної користі. Часто це дозволяє подивитись на проблему під іншим кутом.
Це такий замінник резинової качечки, якій можно розповісти про проблему.

Бо правильно поставлене питання, вже має в собі відповідь. Я знаю, що нічого не знаю, але інші і цього не знають.

Як і передбачалось — «Бредогенератор на стероїдах»

Підписатись на коментарі