Big Data, Machine Learning, Data Science Digest #31: ChatGPT, Meta оновила data2vec, 6 трендів ML від AWS, агент CICERO

Усі статті, обговорення, новини про AI — в одному місці. Підписуйтеся на DOU | AI!

Друзі, вітання! З вами Вова Кириченко і найновіший випуск Big Data, ML, Data Science Digest про все найактуальніше, що трапилось в індустрії за попередній місяць. Писати такі дайджест як сьогоднішній, захоплююче і складно водночас.

Захоплююче, бо певні події попередніх тижнів є дуже знаковими, і відкривають нові горизонти для багатьох сфер нашого життя. А складно, бо інколи стає важко обрати серед всього контенту те, що ж вам буде найцікавіше.

Гаразд, пропоную поглянути на те, про що сьогодні поговоримо:

  • звісно про ChatGPT, куди ж без нього;
  • оновлення data2vec від Meta AI;
  • як генеративний ШІ вплине на відносини між людьми та машинами;
  • реліз агента штучного інтелекту CICERO;
  • 6 трендів від AWS, котрі драйвитимуть ML;
  • добірка актуальних досліджень зі світу AI/ML
  • та за доброю традицією — підбірка корисних і інформативних відео та подкастів.

Окремо нагадаю вам, що якщо ви не мали змоги прочитати або ж пропустили попередній випуск мого дайджесту — то можете надолужити і переглянути його ось тут. Як завжди — очікую на ваш фідбек, коментарі та поширення, і буду вдячний за них.

А тепер гайда читати дайджест!

Статті про AI/ML

ChatGPT Could Revolutionize The Internet, But Its Secrets Have Experts Worried

ChatGPT — найновіший і найбільш вражаючий чат-бот зі штучним інтелектом. Він був випущений два тижні тому, і всього за 5 днів досягнув позначки у мільйон користувачів. Ним користуються настільки інтенсивно, що його сервери уже кілька разів вичерпували свою потужність.

OpenAI, компанію-розробника цього бота, вже обговорюють як потенційного «вбивцю» Google. Адже навіщо шукати щось у пошуковій системі, коли ChatGPT може написати цілий абзац, пояснюючи відповідь.

Але що, якщо ми ніколи не дізнаємося усього секрету можливостей ChatGPT? Чат-бот використовує низку технічних досягнень, опублікованих у відкритій науковій літературі за останні пару десятиліть. Але будь-які унікальні для нього нововведення є секретними. OpenAI за допомогою ChatGPT може намагатися відгородитися технічною та бізнес-огорожею, щоб не допустити інших.

ChatGPT Is a Tipping Point for AI

У продовження теми про ChatGPT. Ми досягаємо переломного моменту в розвитку штучного інтелекту: завдяки ChatGPT та іншим моделям ШІ, які можуть спілкуватися простою англійською мовою, писати та редагувати текст і писати код, ця технологія несподівано стає кориснішою для все більшої кількості людей.

І це матиме великі наслідки. Здатність створювати текст і код за командою означає, що люди здатні виконувати більше роботи та швидше, ніж будь-коли раніше. Здатність ChatGPT генерувати різні види контенту означає, що він корисний для багатьох видів бізнесу, а можливість відповідати на нотатки та переглядати власну роботу означає, що існує значний потенціал для гібридної роботи людини та ШІ.

AWS names 6 key trends driving machine learning innovation and adoption

Сьогодні немає нестачі думок про те, чому штучний інтелект і машинне навчання зростають. Нещодавній звіт McKinsey назвав індустріалізацію машинного навчання та прикладного штучного інтелекту одними з головних тенденцій року. Під час виступу на конференції AWS re:Invent минулого тижня Братін Саха, віце-президент і генеральний директор відділу штучного інтелекту та машинного навчання в Amazon, окреслив шість ключових тенденцій, які спостерігає хмарний гігант, що сприяють розвитку інновацій та їх впровадження у 2022 році та надалі.

Meta AI’s updated data2vec algorithm enables faster, more efficient self-learning

Команда дослідників штучного інтелекту Meta Platforms нещодавно оголосила про оновлену версію свого потужного алгоритму data2vec, який забезпечує надзвичайно ефективне самокероване навчання для моделей штучного інтелекту на основі зору, мови та тексту.

Оригінальний data2vec був запущений у січні, щоб подолати обмеження самокерованого навчання, яке є методикою, за допомогою якої машини можуть навчатися, не покладаючись на позначені навчальні дані.

CICERO: An AI agent that negotiates, persuades, and cooperates with people

Meta представила CICERO, агента штучного інтелекту, який у дипломатії досягає продуктивності на рівні людини. На відміну від настільних ігор, таких як Ґо та шахи, дипломатія є набагато складнішою та вимагає від гравців вести переговори, переконувати та співпрацювати з іншими гравцями за допомогою мови. Кожного ходу гравцям потрібно надсилати повідомлення один одному приватно, а в кінці ходу кожен розкриває свої дії.

CICERO має два компоненти: механізм планування, який планує свою загальну стратегію та передбачає кроки інших гравців, і механізм діалогу, який генерує текстові повідомлення для надсилання іншим гравцям для переговорів і налагодження співпраці.

What is Generative AI, and How Will It Disrupt Society?

Революційне питання, котре зумовлене зростанням Generative AI: на якій стадії відносини між людьми та машинами еволюціонують від їх сучасного стану до такої фундаментальної зміни, що ми більше не можемо вважати одних вищими за інших, коли мова йде про творчість?

McKinsey : State of AI 2022 Report

Результати цьогорічного глобального дослідження консалтингової компанії McKinsey щодо штучного інтелекту свідчать про розширення використання цієї технології з того часу, як вони почали відстежувати її п’ять років тому, але зі складнішою картиною, якщо заглиблюватись у деталі.

Звіт містить в собі широкий спектр даних про розвиток ШІ за попередній роки.

Наукові статті

DiffEdit — Semantic Image Editing with Stable Diffusion

Дифузійні моделі зробили революцію серед генеративних моделей у багатьох областях, але особливо відчутно у генерації зображень. Сьогодні ми можемо створювати дивовижні зображення за допомогою випадкового початкового значення та текстової підказки, щоб спрямовувати дифузію. Але ми також можемо цілеспрямовано «редагувати» або змінювати зображення, використовуючи техніку замалювання. Більшість цих технік потребують бінаризованої маски для ізоляції змін, і хоча генерація цих масок є зрозумілою, їх створення може бути доволі трудомістким процесом.

У цьому дослідженні описано підхід до генерації оперативно спрямованої маски з використанням тієї самої дифузійної моделі, яка застосовується для генерування та замальовування зображень, таким чином використовуючи вже наявні напрацювання в навчанні дифузійних моделей (у цьому випадку — Stable Diffusion).

Magic3D: High-Resolution Text-to-3D Content Creation

Новий анонс від Nvidia: модель штучного інтелекту Magic3D здатна генерувати 3D-моделі на основі текстових описів. Magic3D є відповіддю на DreamFusion від Google, і вона також працює у два етапи. Спочатку генерується модель у низькій роздільній здатності, а потім відбувається її оптимізація. Дослідники з Nvidia вважають, що Magic3D спроможна генерувати 3D-обʼєкти вдвічі швидше за свого конкурента.

The State of Multilingual AI

У дописі Себастіан Рудер, інженер Google, докладніше розглядає поточний розвиток мультимовного штучного інтелекту. Наскільки багатомовними є сучасні моделі NLP, комп’ютерного бачення та мовлення? Які основні останні внески в цій галузі? Які виклики залишаються і як ми можемо їх вирішити? Усі ці деталі можна дізнатися, прочитавши статтю.

Solving Brain Dynamics Gives Rise to Flexible Machine-Learning Models

Раніше дослідники з MIT винайшли «рідкі» нейромережі, що могли адаптуватися до нових даних і допомагати з рішеннями щодо критичних завдань, як-от медична діагностика. Однак приріст нейронів і синапсів збільшував обчислювальну складність. Тепер ці вчені відкрили швидші й масштабованіші алгоритми штучного інтелекту, розвʼязавши диференціальне рівняння взаємодії двох нейронів через синапси.

Robots That Write Their Own Code

Дозволити роботам генерувати код — саме таку пропозицію обґрунтовує Google у своєму нещодавньому дослідженні. Ідея полягає в тому, щоб звільнити розробників від потреби переписувати код у разі появи нової інформації. Компанія дотримується позиції, що існуючі дослідження та навчені моделі, зокрема її нова розробка Code as Policies, можуть виявитися ефективними в реалізації цього задуму.

Talking to Models: Stanford U & Microsoft Method Enables Developers to Correct Model Bugs via Natural Language Patches

Вчені зі Стенфорду і Microsoft Research пропонують новий спосіб виправлення багів у мовних моделях. Метод передбачає застосування патчів у вигляді речень на зразок if/then, які відіграють роль коригувального фідбеку. Таким чином можна суттєво підвищити точність моделі, уникнувши великих фінансових витрат. Деталі цього підходу описані в дослідженні Fixing Model Bugs with Natural Language Patches.

Подкасти

Inside the Generative AI Revolution

Гостем цього епізоду подкасту DataFramed є Мартін Мусіол, DataScience-менеджер в компанії IBM, а також співзасновник і викладач у Generative AI. Мартін навчає людей розробляти власний штучний інтелект, що генерує зображення, відео, музику, текст та інші дані. ​​

Також в розмові він ділиться власними спостереженнями про сьогоднішній стан розвитку генеративного штучного інтелекту, проблеми конфіденційності та інтелектуальної власності, найзнаковіші випадки використання генеративного штучного інтелекту і те, що чекає на нас у цьому напрямку в майбутньому.

Autonomous cars cannot drive. Here is why.

Автори розпочинають черговий випуск подкасту Data Science at Home з тези про те, що якщо ми думаємо, що проблема безпілотних автомобілів вирішена, то нам слід подумати двічі.

Насправді проблему безпілотних автомобілів неможливо вирішити за допомогою технічних рішень, які зараз розглядають компанії. А ті, хто каже нам, що вони вирішили проблему автономного керування транспортним засобом повністю, брешуть. Чому? Про це ви зможете дізнатися, прослухавши даний епізод DSaH.

UNCERTAINTY, RISK, AND SIMULATION IN DATA SCIENCE

Хост подкасту Хюго запросив до розмови Джеймса Девіда Лонга, сільськогосподарського економіста, гуру кількісного та стохастичного моделювання, щоб обговорити прийняття рішень в умовах невизначеності і те, як ми можемо використовувати наші знання про ризик, невизначеність, ймовірнісне мислення тощо, щоб допомогти нам використовувати науку про дані та машинне навчання у прийнятті кращих рішень в умовах невизначеного світу.

І, як каже Джей Ді: «Ви можете думати, що навчаєте свої моделі, але насправді ваші моделі навчають вас».

SOTA machine translation at Unbabel

Під час конференції EMNLP 2022 до Хосе та Рікардо, хостів подкасту, приєднався Деніел, щоб разом обговорити сучасний машинний переклад, спільні завдання WMT та оцінку якості. Серед іншого, вони також розповідають про інновації Unbabel в оцінці якості, включаючи COMET, нейронну структуру для навчання моделей оцінки багатомовного машинного перекладу.

Cultivating an Innovation Culture for AI — with Caroline Gorski of Rolls-Royce

Керолайн Горскі, генеральний директор R2 Data Labs — дочірньої компанії Rolls Royce, що займається даними та технологіями, гість цього випуску подкасту. У розмові з генеральним директором Emerj Даніелем Фаггеллою вони обговорюють, як бути компанією нового типу і при цьому враховувати столітню спадщину розкішного промислового бренду, а також переваги створення окремої експериментальної культури у великому підприємстві.

Streamlining Machine Learning In Production with Ran Romano

Цього разу гостем подкасту Datacast став Ран Романо, співзасновник і віцепрезидент з інженерних питань у Qwak, де він зосереджений на створенні інфраструктури машинного навчання наступного покоління для команд різного розміру. До Qwak Ран очолював інженерні групи Data та ML на Wix.com, де він створив внутрішню платформу ML Wix, а ще раніше був менеджером із технічних продуктів ізраїльської розвідки.

Відео

ChatGPT, Explained: What to Know About OpenAI’s Chatbot

ChatGPT, Lensa та DALL-E відкривають більше можливостей для взаємодії з ШІ людям, котрі не володіють ґрунтовними комп’ютерними навичками. Ці програми штучного інтелекту, які можуть писати детальні відповіді на запитання або створювати приголомшливі зображення на основі підказок, набирають популярності в усіх соціальних мережах.

Особистий технічний кореспондент WSJ Енн-Марі Алькантара приєднується до ведучої Зої Томас, щоб обговорити, як працюють програми та які занепокоєння виникли щодо їх можливого неправильного використання.

AutoML: Automated Machine Learning

Ерін є головним науковцем з машинного навчання у H2O AI, хмарній компанії у сфері штучного інтелекту, що відома своєю однойменною бібліотекою автоматизованого машинного навчання (AutoML) з відкритим кодом. У цьому епізоді Джон Крон і його гостя досліджують, як AutoML докладається до розвитку сфери Data Science, важливість прийнятного машинного навчання для справедливого data-driven майбутнього, і що робить група Ерін «Women in ML&DS» для підвищення інклюзивності та репрезентації у галузі.

Fundamentals of Data Engineering

Cпівавтори книги Fundamentals of Data Engineering (2022) Джо Рейс і Мет Хауслі завітали до Data Driven NYC, щоб поділитися ідеєю своєї останньої роботи. Джо та Метт «розпаковують» визначення інженерії даних із початкових принципів і досліджують, як найкращі компанії об’єднують хмарні технології, щоб задовольнити потреби споживачів даних у майбутньому.

***

На сьогодні це всі ключові матеріали, котрими я хотів з вами поділитися. Сподіваюся, вам сподобалось і було цікаво, а тому — запрошую коментувати дайджест та ділитися своїми думками нижче.

Користуючись нагодою нагадаю: у перервах між створенням для вас дайджесту ми з командою реалізовуємо різноманітні цікаві і складні речі у Xenoss. Якщо ви прагнете професійного зростання та знаходитесь у пошуку «своєї» компанії — сміливо надсилайте нам своє резюме!

З нас — робота у колі однодумців над складними та довготривалими data-centric проєктами. Наші клієнти — провідні SaaS-компанії, всесвітньо відомі підприємства та стартапи, що активно розвиваються. А серед переваг Xenoss — цікавезні проєкти, гнучкий графік та повний ремоут.

Станом на зараз маємо такі hot-вакансії для вас:

Linux Embedded Developer for Toshiba product

Machine Learning Engineer for Toshiba product

Middle/Senior Frontend Developer | Toshiba

Senior Java Engineer | Retail promotion platform

Senior Backend SDE (Java) | North European advertising platform

Запрошую вас стежити за останніми новинами Xenoss у наших соцмережах — LinkedIn та Facebook. А щоб ви точно не пропустили новий випуск мого дайджесту, пропоную вам клікнути «Підписатися на автора» одразу під текстом.

І наприкінці — ваші лайки, поширення і коментарі до дайджесту гріють душу у ці прохолодні грудневі дні. До нових випусків дайджесту!

Слава Україні!

👍ПодобаєтьсяСподобалось9
До обраногоВ обраному0
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Підписатись на коментарі