Big Data, Machine Learning, Data Science Digest #21: розвиток Metaverse, узагальнення в Reinforcement Learning, Graph Spring Network та створення ШІ, що відповідає людським цінностям

Підписуйтеся на Telegram-канал «DOU #tech», щоб не пропустити нові технічні статті.

Привіт!

Як завжди підготував для вас свіженьку добірку останніх новин, наукових досліджень та просто цікавих матеріалів із data-індустрії. Давайте занурюватись разом!

Тож сьогодні ми дізнаємось про таке:

  • як TinyML впроваджує нейронні мережі до мікроконтролерів;
  • які винаходи штучного інтелекту представив Google на останній конференції I/O;
  • як BioNTech та London A.I. створили «систему раннього попередження» про штами COVID-19;
  • можливості узагальнення MPNN в класифікації графів;
  • як Data Mesh може прискорити пошук рішень для деяких із найскладніших проблем управління даними;
  • що може бути і що, в кінцевому підсумку, стане можливим у найближчі роки завдяки розвитку Metaverse;
  • та багато іншого.

Зберігайте корисні матеріали, а також долучайтеся до дискусії в коментарях. Якщо ж ви проґавили мій попередній дайджест — не проблема, його можна переглянути тут.

Також радий повідомити, що Xenoss став золотим партнером конференції React Fwdays ‘22! Якщо ви хочете приєднатися до події та отримати знижку −10% на квитки — скористайтесь нашим промокодом «5D788BEA4D».

Статті

What does it mean for AI to Understand?

Розуміння природної мови вже давно є основною метою досліджень ШІ. Спочатку дослідники намагалися вручну запрограмувати все, що знадобиться машині, щоб вона могла зрозуміти все, що люди можуть написати. Зовсім недавно обрано інший метод: замість того, щоб нарощувати знання, вчені дозволили машинам вчитися розуміти мову самостійно, просто вбираючи величезну кількість письмового тексту і навчаючись передбачати слова. Та чи правда машина може розуміти текст? Відповідь на це питання можна знайти у статті.

Contextual targeting in CTV: Challenges and Machine Learning solutions

У новій публікації у Xenoss Blog ми детально розглядаємо проблеми контекстного таргетингу в CTV (Connected TV). У цьому дописі ви зможете ознайомитись із проєктами, які успішно використовують технології Machine Learning для точного таргетингу. Також у матеріалі наведені наші міркування, які ви повинні врахувати перед впровадженням машинного навчання.

TinyML is bringing neural networks to microcontrollers

В останні роки спостерігається тенденція щодо створення моделей машинного навчання для edge devices. Ці моделі називаються TinyML і підходять для пристроїв, які мають обмежену пам’ять і потужність обробки, а підключення до Інтернету відсутнє/обмежене. В статті вирішується проблема пікової пам’яті в згорткових нейронних мережах (CNN), що особливо важливо для Computer Vision застосунків. У матеріалі наведена модель MCUNetV2, яка може запускати CNN на мікроконтролерах з низьким рівнем пам’яті та малопотужних мікроконтролерах.

How Machine Learning is shaping the future of advertising

Авторка з Forbes описує, як сучасним рекламним агентствам та брендам залишатися актуальними, поєднавши фундаментальні маркетингові концепції попередніх поколінь з найсучаснішими технологіями штучного інтелекту. Опис розкриває сучасні тенденції створення реклами, оптимізації планування рекламних кампаній та персоналізацію і таргетинг.

Generalization in Reinforcement Learning

Ще один цікавий матеріал про Reinforcement Learning. Цього разу ми прочитаємо критичний огляд у сфері Узагальнення в RL. У статті описується клас задач, критерії та методи узагальнення.
Також пропоную ознайомитись із більш докладним матеріалом на цю тему від цих же авторів, де зібрані обговорення узагальнення композиції, контекстно-ефективне навчання, індуктивні упередження та багато іншого.

Google Hopes AI Can Turn Search Into a Conversation

Щороку Google використовує свою конференцію розробників I/O, щоб продемонструвати останні винаходи у сфері штучного інтелекту. Дотримуючись цієї традиції, минулого місяця CEO компанії Sundar Pichai представив два продукти — LaMDA, AI, «призначений для розмови на будь-які теми», та Multitask Unified Model (MUM), який може розглядати пошук за допомогою тексту та зображень.

Researchers Build AI That Builds AI

Борис Князєв з Університету Гвельфа в Онтаріо та його колеги розробили та навчили «гіпермережу» — свого роду володаря інших нейронних мереж, яка могла б прискорити процес навчання цих мереж. Враховуючи нову ненавчену глибоку нейронну мережу, розроблену для певного завдання, гіпермережа прогнозує параметри для нової мережі за частки секунди, і, теоретично, може зробити навчання непотрібним. Це значить, що використовуючи гіпермережі, дослідники тепер можуть завчасно налаштовувати штучні нейронні мережі, заощаджуючи частину часу та витрат на навчання.

Introducing Text and Code Embeddings in the OpenAI API

Embeddings — це числові представлення понять, перетворені в числові послідовності, що полегшують комп’ютерам розуміння зв’язків між цими поняттями. Автори представляють поняття embeddings, яке є новою кінцевою точкою в OpenAI API. На їхню думку Embeddings полегшує виконання завдань природної мови та коду, таких як семантичний пошук, кластеризація, моделювання тем і класифікація.

Подкасти

AI for Omicron, Self-Farming Farms, AI-designed beer, Robo-Dogs and Cuddly AI

Новий епізод подкасту Lastweekin.ai складається з обговорення та підсумків останніх новини зі світу AI. У ньому:
— BioNTech та London A.I. створили «систему раннього попередження» про штами COVID-19;
— Meta стверджує, що її AI покращує якість розпізнавання мови, читаючи по губах;
— студенти AIML (Australian Institute for Machine Learning) розробляють пиво за допомогою ШІ та багато іншого.

Scaling Data Intensive Real-Time Applications

Дата саєнтісти та фітнес-підприємець Метью Рассел обговорюють розробку та підтримку хмарних рішень, автоматизоване управління інфраструктурою, експерименти з машинним навчанням тощо.

Trends in Machine Learning & Deep Learning

Детальне обговорення тем про «НЛП, що їсть AI», нещодавнє сповільнення інновацій у цій галузі, перерозподіл ресурсів між дослідницькими проблемами та можливості для справжніх проривів. Гість подкасту — доцент Університету Карнегі-Меллона та ветеран AI Rewind Зак Ліптон.

AI for Inventory Prediction in Manufacturing

У цьому епізоді Anand Mahurkar, засновник і генеральний директор Findability Sciences, надає детальний огляд робочих процесів, на які впливає прогнозування запасів і використання ресурсів у виробництві. Він також говорить про те, як виглядає визначення джерел даних, які ви збираєтеся використовувати, і їхній вплив на робочі процеси, які ви будете використовувати для прийняття більш обґрунтованих рішень щодо прогнозування.

Democratizing ML for speech

Девід Кантер приєднується до спікерів подкасту, щоб у цьому епізоді обговорити два нових набори мовних даних, які демократизують машинне навчання для мовлення за допомогою data scale та різноманітності мов/мовців.

Наукові статті та видання


Stability and Generalization Capabilities of Message Passing Graph Neural Networks

Нейронні мережі передачі повідомлень (MPNN) зазнали стрімкого зростання популярності, оскільки зараз вони вважаються найсучаснішими інструментами для вирішення великої кількості проблем, орієнтованих на графи. У цьому науковому матеріалі вивчаються можливості узагальнення MPNN в класифікації графів.

Human-centered mechanism design with Democratic AI

Створення штучного інтелекту, що відповідає людським цінностям, є невирішеною проблемою. Ця робота є дослідженням під назвою «Демократичний ШІ», у якому Reinforcement Learning використовується для розробки соціального механізму, якому більшість людей віддаватимуть перевагу. Оптимізуючи людські уподобання, демократичний AI може бути багатообіцяючим методом для інноваційних політик, що відповідають цінностям.

Challenges and Opportunities for Machine Learning Classification of Behavior and Mental State from Images

У цій статті обговорюються сучасні дослідницькі зусилля в області Computer Vision, такі як кураторство даних, збільшення даних, маркування краудсорсингу, активне навчання, reinforcement learning, генеративні моделі, репрезентаційне навчання, федеративне навчання та метанавчання.

GSN: A Universal Graph Neural Network Inspired by Spring Network

Ця стаття описує Graph Spring Network (GSN) — універсальну модель графічних нейронних мереж (GNN), яка працює як для гомофільних, так і для гетерофільних графів. Ця модель натхненна пружинними мережами та метричним навчанням. Науковий матеріал показує, як структура GSN інтерпретує багато існуючих моделей GNN з точки зору мінімізації потенціальної енергії пружини з різними показниками, що надає цим моделям сильну фізичну мотивацію.

Unsupervised Single-shot Depth Estimation using Perceptual Reconstruction

У цьому дослідженні — останні досягнення зі сфери генеративних нейронних мереж, які використовують їх для виконання повністю неконтрольованого однократного синтезу глибини об’єкта.

Відео

Data quality control mechanism for MLOps

Зірка відео Скотт Хірлеман, що є ведучим подкасту Data Mesh Radio, завітав до MLOps.community, щоб висвітлити поняття Data Mesh на високому рівні для тих, хто ще не знайомий. Скотт зосереджений на тому, щоб допомогти спільноті Data Mesh прискорити пошук рішень для деяких із найскладніших проблем управління даними.

Tips for making ML Engineering and MLOps real

Ще одне цікаве відео від MLOps.community! На цей раз гість програми Andy McMahon обговорює, як, на його думку, ми можемо запровадити практики ML Engineering (MLEng) і MLOps у вашій організації. Енді — інженер з машинного навчання та науковець з даних, який має досвід роботи та керує успішними аналітичними та програмними командами.

Optimal Nonlinear Control

Наступна лекція з серії про Reinforcement Learning. У цьому відео обговорюється оптимальне нелінійне керування з використанням рівняння Гамільтона Якобі Беллмана (HJB) і як його вирішити за допомогою динамічного програмування.

Dynamic Inference with Neural Interpreters

Сучасні архітектури нейронних мереж можуть використовувати великі обсяги даних для узагальнення в межах розподілу навчання. Однак, вони менш здатні до систематичного узагальнення даних, отриманих з невидимих, але пов’язаних розподілів, що вимагає композиційного обґрунтування та повторного використання знань. У цьому відео спікери представляють Neural Interpreters — архітектуру, яка факторізує висновки в мережі самоуваги як систему модулів, яку вони називають \emph{functions}.

The Amazing AIs that the Metaverse is Gonna Take Credit For

В останні місяці Metaverse був дуже суперечливим топіком. Автор відео обговорює, що може бути, що в кінцевому підсумку стане можливим у найближчі роки, пов’язане із розвитком Metaverse та дослідженнями у сфері ШІ.

The Fundamental Problem with Neural Networks

Автор каналу розглядає найважливіший (на його думку) топік при вивченні нейронних мереж, а саме чому зникаючі градієнти є найбільшою проблемою для нейронних мереж.

***

На сьогодні це все, дякую за увагу!

Щоб не пропустити мій наступний дайджест, клікайте «Підписатися на автора» одразу під текстом.

Якщо ви бажаєте працювати у колі однодумців над складними data-centric проєктами — приєднуйтесь до команди Xenoss! Працюючи в компанії, розробники у складі невеликих high-seniority команд мають змогу стратегічно впливати на розвиток продукту клієнта на всіх етапах.


Серед наших найгарячіших вакансій:

Full-Stack Engineer (Node.js/React)

Senior Front End SDE (React.js)

Senior Back End SDE (Java)

Стежити за новинами Xenoss можна у соц-мережах — LinkedIn та Facebook.

Сподобалась стаття? Натискай «Подобається» внизу. Це допоможе автору виграти подарунок у програмі #ПишуНаDOU

👍ПодобаєтьсяСподобалось6
До обраногоВ обраному1
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Підписатись на коментарі