GPT-3: молодым программистам точно придется сплавляться по Днепру

Усі статті, обговорення, новини про AI — в одному місці. Підписуйтеся на DOU | AI!

Копнул тут тему о GPT-3 и вышло как у Сергея Голубицкого:

Сергей Голубицкий:
Должен признаться, что инициатива разговора о GPT-3 не моя, а редактора «Новой» Кирилла Мартынова. Задним числом понимаю, что для меня была уготовлена роль боксерской груши, поскольку мой скепсис по отношению к искусственному интеллекту всем давно известен.
Что ж, я с готовностью принял вызов и с энтузиазмом погрузился в изучение фактуры. Однако чем обстоятельнее я постигал нюансы работы GPT-3 (вернее, динамику развития этого алгоритма), тем больше убеждался в надежности максимы: скепсис в большинстве случаев объясняется лишь поверхностностью познаний в предмете.
Короче говоря, вынужден признаться, что оппонировать идее Кирилла о том, что «GPT-3 — это начало конца», я не стану. Больше того, готов даже приблизить по времени его гипотезу о том, что алгоритмы генерации текста, основанные на искусственном интеллекте, рано или поздно начнут контролировать информационное пространство в мире.
Полагаю, это случится не в отдаленном будущем, а уже в ближайшие два-три года.
novayagazeta.ru/...​-govori-so-mnoyu-algoritm

Поезд ИИ похоже совсем близко, и как на картинках к статьям Тима Урбана (и книгам Ника Бострома) прошмыгнет мимо нас мгновенно. Это сейчас мы смотрим на его приближение, видя просто увеличение в размерах
см argumentua.com/...​iskusstvennogo-intellekta
ну и:
newochem.ru/...​ta-na-puti-k-sverxrazumu

Думается что программистам 40+ имеет смысл думать о том как копить пенсию.
А вот тем что моложе нужно думать чем они будут заниматься вторую половину жизни:
Код на Python. Аналитики Microsoft вместе с OpenAI показали, что GPT-3 может писать код на Python, получая только комментарии на естественном языке.
proglib.io/...​y-modeli-gpt-3-2020-11-21

А вы как думаете?

P.S.
вообще, видя как остальные виды ИИ входят в жизнь, думаю и тут будет (если и когда) так

вначале начнут пробовать применять всякие поставщики No-сode систем, типа Wix и Tilda
если успешно, начнут применять Shopify и Salesforce. где-то параллельно начнут появляться элементы кодогенерации в IDE, и scaffolding тулзовин, плагины для коробочных систем типа MS Dynamics AX, может у БД появится более высокоуровневый DSL

как быстро — тут уж не от «IQ» нейронок будет зависеть, а от коммерческих интересов поставщиков — доступ будет платный, пока не окупится.
и от спроса на конкретное применение.

то есть точно — не будет такого дня когда раз, и всех заменил.
Это будет процесс «варки лягушки на медленном огне».

Самое же важное отличие GPT-3 указано в статье что мне привели (на основе ее ужатый перевод выше)
First, what makes them impressive is that GPT-3 has not been trained to complete any of these specific tasks

Потому что подготовка обучающих датасетов, как я понял, сейчас один из тормозящих их развитие(до коммерческого применения) процессов. датасаентисты — люди, медленно работают :)
Если придется готовить датасеты по умению генерить «байт код для JVM» с такими же трудозатратами, то тогда нескоро будет применяться на практике.
(с одной статьи о другой предметной области:
Факт, который покажется сегодня знакомым каждому data scientist: во второй книге есть цитата исследователя, жалующегося на то, что 90% своего времени он потратил на очистку данных, и только 10% — на само моделирование!
chris-said.io/...​izing-things-in-the-ussr
есть перевод на хабре)

ну и еще, важное что показывает история с GPT-3
One camp argues that we’re missing key components to create artificial minds; that computers need to understand things like cause and effect before they can approach human-level intelligence. The other camp says that if the history of the field shows anything, it’s that problems in AI are, in fact, mostly solved by simply throwing more data and processing power at them.

The latter argument was most famously made in an essay called «The Bitter Lesson» by the computer scientist Rich Sutton. In it, he notes that when researchers have tried to create AI programs based on human knowledge and specific rules, they’ve generally been beaten by rivals that simply leveraged more data and computation
www.theverge.com/...​ples-errors-agi-potential

Я это недавно назвал — продвинутым брутфорсом, за что был закидан гнилыми помидорами, потому что допустил оговорку :)

И пока «брутфорс» дает отличные результаты.
Потолок для этого подхода — только в доступной вычислительной мощности и проблемы с созданием датасетов.

аналитический же подход думаю все, сдулся окончательно. давно, на самом деле, еще с «задачи трех тел».
и поэтому обсуждать развитие ИИ в терминах «моделей», «анализа» — нелепо.
и вряд ли кто будет вкладывать ресурсы в его воскрешение.

P.P.S. 2023
Много написал в коментах к
«Через п’ять років програмістів-людей не буде», — очільник Stability AI
dou.ua/forums/topic/44146