Big Data, Machine Learning, Data Science Digest #20: все, що ви хотіли знати про нейронні мережі та їх поведінку, і чи може AutoML знищити робочі місця в галузі Data Science

Підписуйтеся на Telegram-канал «DOU #tech», щоб не пропустити нові технічні статті.

Всім привіт!

За вікном та на календарі вже 2022 рік, а ми не знижуємо темпи, продовжуючи разом занурюватись у новини, апдейти та останні тренди зі світів Data Science, Machine Learning та Artificial Intelligence.

У двадцятому, можна сказати, ювілейному випуску, я зібрав для вас матеріали, що справили на мене враження наприкінці минулого-початку поточного року.

Тож сьогодні ми дізнаємось про таке:

• що таке concept drift;
• як в Китаї створили штучний інтелект, який виявляє злочини з 97% точністю;
• челенджи та рішення для Real-Time ML;
• контрфактичне запам’ятовування у мовних моделях;
• все, що ви хотіли знати про нейронні мережі та їх поведінку;
• чи може AutoML знищити робочі місця в галузі Data Science;
• сутність та типові випадки використання автокодерів;
• та ще багато чого іншого.

Якщо ви проґавили мій попередній дайджест — не проблема, його можна переглянути тут. Як завжди, фідбек та коментарі заохочуються.

Статті

Why Do Machine Learning Models Die In Silence?

Критичною проблемою для компаній при інтеграції ML у свої бізнес-процеси є незнання, чому через певний час вони перестають добре працювати. Причина полягає у так званому concept drift. Стаття є інформаційним посібником, який описує цю концепцію.


China created an AI ’Prosecutor’ that can charge people with crimes

Дослідники в Китаї створили штучний інтелект з кодовою назвою ‘Prosecutor’, який може виявляти злочини та висувати звинувачення проти злочинців з більш ніж 975 точністю.

Mastering the Complexity of Human Language: What Role Does NLP Play?

Згідно з нещодавнім звітом IDC, рітейл перевершить банківську індустрію у справах інвестування в технології штучного інтелекту. Однак, системам штучного інтелекту ще належить освоїти ключовий фактор спілкування з клієнтами — складність людської мови. Стаття розкриває роль NLP у подоланні цієї проблеми.

Real-time machine learning: challenges and solutions

Chip Huyen поспілкувався з 30 компаніями з різних галузей про їхні проблеми з машинним навчанням у real-time. У цій публікації він сформулював рішення для онлайн-прогнозування та постійного навчання з покроковими випадками використання, міркуваннями та технологіями, необхідними для кожного рівня.

This AI-powered art app lets you paint pictures with words

Канадський стартап Wombo нещодавно запустив додаток під назвою Dream (iOS і Android), який використовує AI для створення так званих «творів мистецтва» на основі ключові слова (наприклад, «A terrifying tree»). Серед безлічі інших інструментів штучного інтелекту для створення зображень на основі GAN, Wombo, здається, вдалось найшвидше впровадити та монетизувати цю технологію.

Counterfactual Memorization in Language Models: Distinguishing Rare from Common Memorization

Команда з Google Research університету Пенсільванії та Корнельського університету пропонує новий спосіб фільтрації загального запам’ятовування в нейронних LM. Вчені досліджують «контрфактичне запам’ятовування» для вимірювання очікуваних змін у передбаченні моделі та описують різницю «рідкісного» (епізодичного) запам’ятовування від «поширеного» (семантичного) запам’ятовування в нейронних LM.

Подкасти

Looking Back at AI in 2021

Ведучі подкасту Lastweekinai разом із Джеремі Харісом, ведучим подкасту Towards Data Science, обговорюють найбільші події у сфері AI за останню половину 2021 року.


Data Science Trends for 2022 — with Sadie St. Lawrence

У цьому епізоді Сейді Сент-Лоуренс приєднується до Джона Крона, щоб дослідити та детально розглянути тенденції, які завоюють індустрію Data Science вже найближчим часом.


2022 Predictions for MLOps and the Industry

2021р. був роком швидкого зростання та розвитку MLOps. Тож яким буде 2022-й в екосистемі MLOps? Реа Міяра, Head of Product в Arize AI, разом із MLOps community роблять передбачення на поточний рік.


Trends in NLP with John Bohannon

Джон Боханнон, директор з науки Primer AI, зі своїм оглядом того, які величні досягнення трапилися із NLP за останній час. За думкою Джона, NLP у своєму первинному вигляді змінилося, і ми повернулися до поетапної фази науки. Також він впевнений, що NLP «з’їдає» решту машинного навчання. Про це та яким буде 2022 рік для NLP, слухайте в останньому випуску The TWIML AI Podcast.


Interpolation, Extrapolation and Linearisation (Prof. Yann LeCun, Dr. Randall Balestriero)

Дискусія між професором Яном Лекуном, доктором Жеромом Пезенте, та доктором Рендаллом Балестрієро щодо нейроних мереж та їх поведінок. Великий та пізнавальний матеріал про інтерполяцію, екстраполяцію та лінеаризацію.

Наукові статті та видання

Deep Learning Interviews: Hundreds of fully solved job interview questions from a wide range of key topics in AI

Друге видання серій інтерв’ю з Deep Learning, яке містить сотні повністю вирішених проблем із широкого кола ключових тем у ШІ. Книга буде особливо цінною для студентів і тих, хто шукає роботу, оскільки її прочитання дає можливість чітко і правильно відповідати на технічні питання, а також повністю розуміти мету і значення цих питань на співбесіді.


An Introduction to Autoencoders

Стаття розкриває сутність, обмеження та типові випадки використання автокодерів.


In Defense of the Unitary Scalarization for Deep Multi-Task Learning

Теоретичний аналіз, який припускає, що багато спеціалізованих багатозадачних оптимізаторів можна інтерпретувати як форми регуляризації. У своїй роботі автори показують, що унітарна скаляризація відповідає та покращує продуктивність складних багатозадачних оптимізаторів як у контрольованих налаштуваннях, так і в reinforcement learning налаштуваннях.

Active Reinforcement Learning — A Roadmap Towards Curious Classifier Systems for Self-Adaptation

Ідея цієї статті полягає в тому, щоб представити концепцію для усунення недоліків застосування reinforcement learning до реальних систем шляхом встановлення програми досліджень у напрямку Active Reinforcement Learning.

Відео

THE 2021 AI REWIND — ft. Kai-Fu Lee & Yuval Noah Harari

Список останніх досягнень у галузі штучного інтелекту за датою випуску з чітким відео поясненням, посиланням на більш детальну статтю та кодом.

Reinforcement Learning Series: Overview of Methods

У цьому відео представлені різноманітні методи reinforcement learning, а саме динамічне програмування, ітерація цінностей та політик, Q-learning, deep RL, TD-навчання, SARSA, оптимізація policy gradient методів та інше.

Robot Dog Learns to Walk — Bittle Reinforcement Learning p.3

Третя частина відео про симулятори роботів, яке показує спроби застосувати reinforcement learning з метою навчити робота-собаку ходити.


Is AutoML going to kill data science jobs?

Чи збирається AutoML знищити робочі місця в галузі Data Science? Dhaval Patel, інженер-розробник та власник каналу Codebasics відповідає на це питання у своєму новому відео.

Learning Data Science In 2022 — Step By Step Plan

Корисне відео з порадами для тих, хто хоче почати вивчати або більше зануритись у Data Science у 2022 році. Відео буде корисним як власникам базових знань у галузі, так і для досвідчених розробників.

***

Дякую за увагу! Сподіваюсь, було цікаво та корисно!

Щоб не пропустити мій наступний дайджест, клікайте «Підписатися на автора» одразу під текстом.

Якщо ви бажаєте працювати у колі однодумців над складними data-centric проєктами — приєднуйтесь до команди Xenoss! Серед наших найгарячіших вакансій:

Senior Back End SDE

Senior Front-End Engineer

Senior Java Engineer

Стежити за новинами Xenoss можна у соц-мережах — LinkedIn та Facebook.