Big Data, Machine Learning, Data Science Digest #24: DALL-E 2, Expectation-Maximization Algorithm, Low-code, квантильна функція
Усі статті, обговорення, новини про AI — в одному місці. Підписуйтеся на DOU | AI!
Привіт!
Позаду два місяці повномасштабної війни. Незважаючи на це, ми продовжуємо робити свою справу з чіткою впевненістю у те, що Україна обов’язково переможе. І так воно і буде!
Тож сьогодні я підготував для вас свіжу добірку новин та апдейтів зі світу Data Science, у якій ви дізнаєтесь про таке:
- як, використовуючи ШІ, Пентагону вдається генерувати корисну розвідку на полі бою;
- мовна модель Pathways Language Model від Google, що важить 540 мільярдів параметрів;
- технологія НЛП, що полегшила доступ та синтез досліджень COVID-19;
- ШІ для сканування серця Джона Хопкінса, що прогнозує зупинки серця на 10 років вперед;
- припинення бідності, голоду та нерівності в Африці за допомогою інновацій AI;
- реліз DALL-E 2 — моделі машинного навчання, яка може створювати приголомшливі зображення з текстових описів;
- та багато іншого!
Матеріали про використання ШІ в російсько-українській війні
Kamikaze Drones in Russia’s War Against Ukraine Point to Future «Killer Robots»
Є докази того, що росія, можливо, використовувала в Україні безпілотники «робот-вбивця». Навіть якщо це не так, така зброя майже напевно (за думкою авторів порталу Last week in AI) буде використана найближчим часом.
AI Is Already Learning from Russia’s War in Ukraine
Використовуючи ШІ та інструменти машинного навчання, Пентагону вдається аналізувати величезні обсяги даних, генерувати корисну розвідку на полі бою та вивчати російську тактику та стратегію.
Machine learning model to project the impact of Ukraine crisis
Атака росії на Україну 24 лютого 2022 року вплинула на фінансові ринки та посилила геополітичну кризу. У цій науковій праці аналізуються деякі основні економічні індекси, такі як золото, нафта (WTI), NDAQ та відомі валюти, які задіяні в цій кризі, і оцінюється кількісний вплив цієї війни на них. Для кількісної оцінки ефекту війни автори використовують функцію кореляції та зв’язки між цими економічними показниками, створюючи набори даних та порівнюючи результати прогнозів із реальними даними. Для вивчення наслідків війни автори використовують лінійну регресію машинного навчання.
The Role of AI in the Russia-Ukraine War
У цій бесіді Вілл Найт, старший автор WIRED, присвяченого штучному інтелекту, та Грегорі Аллен, директор проекту з управління штучним інтелектом в Центрі стратегічних і міжнародних досліджень, обговорюють воєнні події в Україні та пояснюють роль ШІ у цьому вторгненні.
Статті про AI/ML
TOP 10 COMPANIES WORKING IN THE DEVELOPMENT OF HUMANOID ROBOTS
З кожним днем з’являються нові роботи, які змінюють наше життя на краще. Останнім часом особливої популярності набули людиноподібні роботи, оскільки вони знаходять своє застосування у багатьох галузях. У статті наведено 10 найкращих компаній, які займаються розробкою гуманоїдних роботів.
What I learned from a data science conference?
Софія Янг ділиться хайлайтами та певними висновками з доповідей, які лунали на останній конференції для дата саєнтістів — Data Council 2022.
Efficiently Initializing Reinforcement Learning With Prior Policies
Reinforcement Learning можна використовувати для тренування моделі виконувати завдання методом проб і помилок. Але, основною проблемою в RL є навчання з нуля в середовищах із важкими проблемами дослідження. Цей допис розглядає параметр, зображений у середовищі door-binary-v0 з набору спритних маніпуляцій, де агент RL повинен керувати рукою в 3D-просторі, щоб відкрити двері, розташовані перед ним.
Improving forecasting by learning quantile functions
Стаття є вивченням повної квантильної функції, яка відображає ймовірності зі змінними значеннями. Вона дозволяє краще оптимізувати компроміси ресурсів, не будуючи окремі моделі для кожного рівня квантилів.
Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance
Google підготував велику мовну модель під назвою Pathways Language Model (PaLM). PaLM важить 540 мільярдів параметрів (що на 10 мільярдів більше параметрів, ніж «Turing NLG» від Microsoft/NVIDIA) і проходить навчання на кількох модулях TPU v4. PaLM використовує деяку інфраструктуру, створену Google, під назвою Pathways, що полегшує для компанії навчання великих моделей на великих кластерах комп’ютерів.
Стаття описує як використання AI у спорті допомагає оцінити результативність діяльності спортсменів-бейсболістів. Завдяки пристроям для носіння, додаткам та відео, що зняте на мобільний телефон, можна отримати інформацію, яка використовується для аналізу понад 2000 типів даних, включаючи швидкість, прискорення та положення суглобів.
Set up a text summarization project with Hugging Face Transformers
Стаття є практичним посібником із двох частин про налаштування та оцінку якості моделей узагальнення тексту для вашого домену. Матеріал призначений для читачів, які раніше користувалися моделями Transformer, але перебувають на початку свого шляху узагальнення тексту та хочуть поглибитись у своїх знаннях.
What’s next for AlphaFold and the AI protein-folding revolution
Стаття розповідає про програмне забезпечення DeepMind, яке може передбачати тривимірну форму білків, що вже сьогодні змінює біологію.
Does this artificial intelligence think like a human?
Нова техніка порівнює міркування моделі машинного навчання з міркуваннями людини, тому користувач може побачити закономірності в поведінці моделі.
New Technology, Old Problems: The Missing Voices in Natural Language Processing
Нещодавно технологія НЛП полегшила доступ та синтез досліджень COVID-19, оприлюднивши публічний анотований набір даних досліджень та створивши ресурси суспільного реагування.
Наукові статті
ObjectFolder 2.0: A Multisensory Object Dataset for Sim2Real Transfer
Дослідники Стенфордського університету та Карнегі-Меллона створили ObjectFolder 2.0, набір даних із 1000 тривимірних моделей об’єктів. ObjectFolder 2.0 намагається відтворити візуальні текстури об’єктів і типи матеріалів, а також їх тривимірні форми. ObjectFolder 2.0 містить 1000 високоякісних 3D-об’єктів, зібраних з онлайн-сховищ. Він також постачається з «неявною нейронною мережею репрезентації, яка відтворює візуальні, акустичні та тактильні сенсорні дані в режимі реального часу з найсучаснішою якістю рендеринга».
HLDC: Hindi Legal Documents Corpus
Індійські дослідники з IIIT Hyderabad, IIIT Delhi та IIT Kanpur створили Корпус юридичних документів хінді (HLDC) — колекцію з 912 568 юридичних документів. HLDC покликаний допомогти дослідникам навчати різноманітні моделі штучного інтелекту, які можуть допомогти юристам у їхній роботі. HLDC містить понад 300 різних типів справ, хоча ~31% набору даних стосується заяв про звільнення під заставу, 20,4% — кримінальних справ і 6,54% — оригінальних позовів.
Do As I Can, Not As I Say: Grounding Language in Robotic Affordances
Нові дослідження від Google показують, що ви можете зв’язати справді велику мовну модель з роботом реального світу і створити щось більше, ніж сума його частин.
Training Compute-Optimal Large Language Models
«Мовні моделі ось-ось стануть набагато кращими без додаткових витрат на розробку» — це висновок нової статті DeepMind, яка виявила, що мовні моделі, такі як GPT-3, можуть значно покращити продуктивність, якщо навчатися на набагато більшій кількості даних, ніж зазвичай. Конкретно вони виявили, що, навчаючи модель під назвою Chinchilla на 1,4 трильйона маркерів даних, вони можуть значно перевищити продуктивність більших моделей (наприклад, Gopher), які були навчені на менших наборах даних (наприклад, 300 мільярдів маркерів). Ще одним приємним бонусом є те, що моделі, навчені таким чином, дешевше налаштовувати на інших наборах даних і зразках через їх малий розмір.
У цій статті розглядаються технології, передумови для навчання та застосування великих моделей (BM). Автори розділяють огляд BM на чотири частини: ресурси, моделі, ключові технології та застосування.
Machine Learning State-of-the-Art with Uncertainties
Завдяки наявності даних, апаратного забезпечення, екосистеми програмного забезпечення та відповідних наборів навичок, ML спільнота швидко розвивається з новими архітектурами та підходами, які з’являються з високою частотою щороку. У цій статті автори проводять дослідження класифікації зображень, щоб продемонструвати, як довірчі інтервали навколо вимірювань точності можуть значно покращити передачу результатів дослідження, а також вплинути на процес перегляду.
Winoground: Probing Vision and Language Models for Visio-Linguistic Compositionality
Дослідники з Hugging Face, Facebook, Університету Ватерлоо та Університетського коледжу Лондона створили та випустили «Winoground», новий складний тест для тестування систем штучного інтелекту із текстовим баченням.
Подкасти
Improving Code Reviews with Github’s Copilot
Зірка цього епізоду — Пейдж Бейлі, директор з машинного навчання та операцій машинного навчання, вона же MLOps, у GitHub. У подкасті вона відповідає на наступні питання:
- як допомогти дата саєнтістам провести рев’ю свого коду;
- використання Github Copilot для написання та розуміння коду;
- як машинне навчання може допомогти покращити рецензування коду;
- як автоматизувати пошук вразливих місць у коді.
OpenAI’s DALL-E 2, Google’s PaLM, AI Intel in Ukraine, Hugging Robots
Новий епізод подкасту Last week in AI з останніми новинами та апдейтами зі світу AI.
Обговорюють:
- OpenAI DALL.E;
- ШІ для сканування серця Джона Хопкінса, що прогнозує зупинки серця на 10 років вперед;
- ШІ, що перетворює інфрачервоні зображення, зроблені в повній темряві, у повнокольорові;
- Що штучний інтелект може зробити для зміни клімату і що зміна клімату може зробити для штучного інтелекту та багато іншого.
Технічний директор Ribbon Health Нейт Фокс зустрівся із Джоном Кроном, щоб обговорити API, а саме як створити його з нуля, забезпечити його безперебійну роботу та використовувати моделі ML для покращення якості надання медичної допомоги.
Artificial Intelligence and Cloud Automation with Leon Kuperman from Cast.ai
У цьому епізоді обговорюється штучний інтелект та хмарна автоматизація. Герой подкасту — Леон Куперман, співзасновник та технічний директор CAST AI. Як колишній віце-президент з продуктів безпеки в Oracle, Леон має професійний досвід у таких технологічних компаніях, як IBM, Truition і HostedPCI.
Це вже четвертий епізод на тему «AI in Africa». У цьому випуску ви прослухаєте дискусію про припинення бідності, голоду та нерівності в Африці за допомогою інновацій AI. Обговорення стосується відкритих даних, відповідних моделей, етики тощо.
Data Engineering Trends with Lior Gavish and James Densmore
Інфраструктура даних — сектор ринку програмного забезпечення, який швидко розвивається. Зі збільшенням обсягу даних зростає і якість інструментів для підтримки управління даними та інженерії даних. У сьогоднішньому випуску є гість з компанії, яка інтенсивно використовує дані, та інший гість, чия компанія створює популярний продукт інженерії даних.
Відео
Building ML/Data Platform on Top of Kubernetes
Під час створення платформи гарним початком було б визначити цілі та особливості цієї платформи, знаючи, що вона буде розвиватися. Kubernetes встановлений як де-факто стандарт для масштабованих платформ, але він не є повноцінною платформою даних.
Чи повинні інженери ML вивчати та використовувати Kubernetes безпосередньо? Це та інше обговорюється із гостем подкасту від MLOps community.
Leveraging data science — from Fintech to TradFi
Подкаст є оглядом дата саєнс трендів в фінтех-ландшафті. Спікери обговорюють:
- проблеми та знання для науковців даних — від роботи в фінтех-стартапах до великих фінансових установ;
- створення рішень для науки про дані для максимального впливу;
- найцікавіші місця застосування науки про дані — від управління ризиками до фінансового моделювання.
Div, Grad, and Curl: Vector Calculus Building Blocks for PDEs
У цьому відео представлені стандартні блоки векторного обчислення Div, Grad і Curl, що засновані на операторах nabla або del. Ці оператори кодують фізично інтуїтивні поняття швидкості зміни, локальної дивергенції та локального обертання.
DALL-E 2 by OpenAI is out! Live Reaction
Дослідницька лабораторія штучного інтелекту OpenAI знову потрапила в заголовки, цього разу з DALL-E 2, моделлю машинного навчання, яка може створювати приголомшливі зображення з текстових описів. DALL-E 2 спирається на успіх свого попередника DALL-E і покращує якість і роздільну здатність вихідних зображень завдяки передовим методам глибокого навчання. У цьому відео показана лайв-реакція від застосування нової моделі ML.
Tensors for Neural Networks, Clearly Explained
Тензори надзвичайно важливі для нейронних мереж, але можуть бути заплутаними, оскільки різні люди розуміють поняття «тензор» по-різному. Відео є відповіддю на всі питання щодо тензорів, які у вас могли би виникнути.
2022 HAI Spring Conference on Key Advances in Artificial Intelligence
Відео з виступів на весняній конференції HAI, де розглядалися такі теми як підзвітний AI, базові моделі та втілення AI у віртуальному та реальному світі, а також майбутне, яке чекає на ці технології.
Low-Code for Freelance Developers & Startups — Tutorial
Low-code — це підхід до розробки програмного забезпечення, який вимагає незначного кодування для створення додатків. Це є можливим завдяки low-code платформі. У цьому відео ви дізнаєтесь, як використовувати low-code інструменти та API для створення інформаційної панелі підтримки клієнтів (використовуючи платформи Appsmith, Google Sheet API та Stripe API).
EM Algorithm : Data Science Concepts
Відеотуторіал з чітким поясненням механізму роботи Expectation-Maximization алгоритму.
***
На сьогодні це все, дякую за увагу!
Щоб не втрачати зв’язок та не пропустити мій наступний дайджест, клікайте «Підписатися на автора» одразу під текстом.
Якщо часом ви знаходитесь у пошуку «свого ідеального місця під сонцем» або втратили роботу через війну — долучайтеся до Xenoss, щоб працювати у колі однодумців над складними та довготривалими data-centric проєктами. Наші клієнти — провідні SaaS-компанії, всесвітньо відомі підприємства та стартапи, що активно розвиваються.
Працюємо worldwide та fully remote, тому де б ви не перебували — сміливо надсилайте своє резюме!
Серед наших найгарячіших вакансій:
Senior Front End SDE (React.js)
Стежити за новинами Xenoss можна у соцмережах — LinkedIn та Facebook.
Слава Україні!
Немає коментарів
Додати коментар Підписатись на коментаріВідписатись від коментарів