Big Data, Machine Learning, Data Science Digest #27: NLLB, великі мовні моделі, Neural Radiance Fields, Recurrent Neural Networks
Підписуйтеся на Telegram-канал «DOU #tech», щоб не пропустити нові технічні статті.
Привіт!
Не міг залишити вас без новин зі світу Data Science, тож ловіть
Конкретніше, цього разу ви дізнаєтесь про таке:
- занурення у деталі проекту NLLB від Facebook — багатомовної моделі перекладу на 200 мовах з низьким ресурсом;
- дуже багато матеріалів про Neural Radiance Fields;
- технологія з перетворення голосу померлого близького на цифрового помічника;
- етичні проблеми щодо заміни людських стосунків гуманоїдними роботами;
- пояснення, як працюють рекурентні нейронні мережі;
- роль штучного інтелекту в перепрограмуванні імунітету;
- культура даних у великих підприємствах та багато іншого!
Якщо ви проґавили мій попередній дайджест — не проблема, його можна переглянути тут. Як завжди, фідбек та коментарі вітаються.
Статті про AI/ML
This Ukrainian deep tech startup has trained an AI to paint war art
Допис про те, як один український технологічний стартап запустив благодійний NFT-проект з продажу творів мистецтва, створених штучним інтелектом. Проєкт має дві мети: зібрати гроші на підтримку людей, які постраждали від російської агресії, а також привернути увагу до конфлікту.
200 languages within a single AI model: A breakthrough in high-quality machine translation
Facebook оголосив про проєкт під назвою «No Language Left Behind» (NLLB), який складається з сімейства моделей, що можуть перекладати між 200 різними мовами, а також набору оціночних даних для тестування ефективності перекладу кожної з мов. Facebook використовує NLLB на своїх вебсайтах, щоб допомогти з перекладом у Facebook та Instagram. Зараз компанія випустила купу моделей NLLB безкоштовно.
WHAT I LEARNED FROM TECTON’S APPLY 2022 CONFERENCE
Ця стаття описує все, що було на івенті apply() — другому щорічному віртуальному заході Tecton для команд обробки даних і машинного навчання, з метою обговорення практичних проблем розробки даних, з якими стикаються під час створення ML для реального світу. У цьому матеріалі аналізується вміст 14 сесій і доповідей, що охоплюють 3 основні теми: галузеві тенденції, сценарії використання та бібліотеки з відкритим кодом.
Cerebras Systems sets record for largest AI models ever trained on one device
Компанія Cerebras Systems зі своїм останнім чіпом WSE-2 встановила рекорд найбільшої моделі штучного інтелекту, яку коли-небудь навчали на одному пристрої. Чіп, який має 850 тисяч ядер і 2,6 трильйона транзисторів, набагато більший за найбільші графічні процесори. Він має в 123 рази більше ядер, в тисячу разів більше пам’яті та в 12 тисяч разів більше пропускної здатності, ніж найбільший GPU. Це дозволило Cerebras навчити модель нейронної мережі з 20 мільярдами параметрів на одному чіпі.
How belief in AI sentience is becoming a problem
Компанія чат-ботів із штучним інтелектом Replika, яка пропонує клієнтам індивідуальні аватари, що розмовляють і слухають їх, каже, що майже щодня отримує кілька повідомлень від користувачів, які вважають, що їхній онлайн-друг — розумний.
Якщо ви шукали корисні матеріали про Neural Radiance Fields — тоді цей допис для вас. Автори зібрали всі документи та матеріали, які були представлені на конференції CVPR 2022, систематизували їх та пошерили на своїх читачів (а це понад 50 доповідей, пов’язаних із полями нейронного випромінювання!).
Could Artificial Intelligence Replace Therapists?
У цій статті автор розмірковує про здатність ШІ замінити терапевта. Ця думка слідує за відкриттям Блека Лемуана про те, що LAMDA та ШІ стають розумними.
Researchers release open-source photorealistic simulator for autonomous driving
Вчені Массачусетського технологічного інституту представили перший механізм моделювання з відкритим вихідним кодом, який здатний створювати реалістичні середовища для навчання та тестування автономних транспортних засобів.
Amazon’s Alexa could turn dead loved ones’ voices into digital assistant
Alexa від Amazon може перетворити голоси померлих близьких на цифрового помічника. Технологія обіцяє можливість «зробити спогади тривалими», імітуючи голос будь-кого, кого вона чує. Тож, можна сказати, що те, про що писали сценаристи серіалу Black Mirror потроху стає реальністю.
10 new AI unicorns flying high in 2022
Тримаєте руку на пульсі нових стартапів та компаній, які підкорюють світ AI та Data Science? Тоді ловіть огляд десяти компаній ШІ з найновішої когорти єдинорогів, які стрімко зростають у 2022 році.
TOP-22 AI INFLUENCERS TO FOLLOW ON TWITTER BY 2023
Та наостанок у цій категорії хочемо поділитись списком з двадцяти найбільш впливових людей у сфері штучного інтелекту (AI) і машинного навчання (ML), за якими ви можете стежити у Twitter, щоб бути в курсі останніх розробок у сфері AI та ML.
Наукові статті
Designing Arithmetic Circuits with Deep Reinforcement Learning
Компанія NVIDIA використала Reinforcement Learning, щоб допомогти їй розробити більш ефективні арифметичні схеми для свого останнього класу графічних процесорів «H100». У дописі ви прочитаєте більш детально про перший досвід використання агента глибокого навчання з підкріпленням для розробки арифметичних схем.
Pile of Law: Learning Responsible Data Filtering from the Law and a 256GB Open-Source Legal Dataset
Дослідники Стенфордського університету створили «Pile of Law» — набір текстових даних розміром ~256 ГБ, що стосуються юридичних та адміністративних питань. Набір даних слугуватиме корисним вхідним матеріалом для pre-training моделей, а також служить прикладом для деяких складних питань, з якими стикаються творці даних (а саме, як фільтрувати дані).
Ethical concerns with replacing human relations with humanoid robots: an ubuntu perspective
У цій статті розглядаються етичні проблеми щодо заміни людських стосунків гуманоїдними роботами. У ній спочатку обговорюється, що таке гуманоїдні роботи, чому і як люди прагнуть їх антропоморфізувати, а також що говорить література про те, що роботи витісняють людські стосунки. Потім пояснюється ідеал стати «повністю людиною», що стосується особливо морального характеру.
Evolution through Large Models
У цій статті йдеться про те, що великі мовні моделі (LLM), навчені генерувати код, можуть значно підвищити ефективність операторів мутації, застосованих до програм у генетичному програмуванні (GP).
VCT: A Video Compression Transformer
У цій науковій праці автори показують як можна використовувати трансформатори для значного спрощення нейронного стиснення відео. Так, попередні методи покладалися на все більшу кількість архітектурних упереджень і пріоритетів, включаючи прогнозування руху та операції викривлення, що призводило до складних моделей. Замість цього дослідники зіставляють вхідні кадри з представленнями та використовують трансформатор для моделювання їхніх залежностей, дозволяючи йому передбачати розподіл майбутніх представлень з урахуванням минулого.
Unified Chinese License Plate Detection and Recognition with High Efficiency
Дослідники з Університету електронних наук і технологій Китаю створили набір даних для розпізнавання китайських номерних знаків. Автори використовують набір даних для навчання деяких моделей, які отримують найсучаснішу точність під час роботи зі швидкістю 30 кадрів на секунду.
Machine Learning Operations (MLOps): Overview, Definition, and Architecture
Пропоную ознайомитись із цим змістовним описом операцій машинного навчання (MLOps) на основі змішаного підходу дослідження, включаючи огляд літератури, огляд інструментів та інтерв’ю з експертами. Стаття є обширним документом, який охоплює принципи, компоненти, ролі, архітектуру та робочі процеси MLOps.
Відео
Angela Fan explains NLLB-200: High-quality Machine Translation for Low-Resource Languages
Це інтерв’ю з Анжелою Фан, одним із ключових науковців, яка зробила свій внесок в останньому прориві у машинному перекладі від Meta AI: No Language Left Behind (NLLB-200). Вище ми писали, що це багатомовна модель перекладу на 200 мовах з низьким ресурсом, яка також має відкритий код. У цьому відео розповідається про історію моделі, розбір цікавих технічних деталей і ширші наслідки високоякісних моделей машинного перекладу мовами з низьким ресурсом.
Narrative A.I. — with Hilary Mason
Хіларі Мейсон, співзасновниця і генеральна директорка Hidden Door, приєднується до Джона Крона для живої дискусії, яка досліджує наративний штучний інтелект, нові методи машинного навчання та те, як розвивався її процес дослідження даних OSEMN.
Ланцюг постачання/виробництво є основними сферами, де використання науки про дані/аналітики/ML недостатньо розвинене, а для збору даних і створення рішень на основі даних потрібні експерименти. Ця доповідь заохочує компанії проводити експерименти та збирати дані з часом, щоб створювати точні/масштабовані рішення на основі даних.
Feature Platforms for Data-Centric AI
У відео розглядається широкий і глибокий парадокс, який існує навколо інструментів ML, а також ідея навколо «ML Flywheel» — стратегії, яка використовує дані для прискорення машинного навчання. Також, у відео обговорюється внутрішня структура команди ML, деякі проблеми, з якими стикаються організації під час створення команд платформ ML, і те, як вони можуть уникнути підводних каменів, коли вони виникають.
Recurrent Neural Networks (RNNs), Clearly Explained
У цьому відео крок за кроком демонструється як працюють рекурентні нейронні мережі, а також висвітлюється їх критичний недолік, який допоможе нам більш глибоко зрозуміти Long Short-Term Memory Networks.
JEPA — A Path Towards Autonomous Machine Intelligence (Paper Explained)
У цьому відео Yann LeCun детально пояснює свою статтю A Path Towards Autonomous Machine Intelligence. У цьому матеріалі він пропонує архітектуру та парадигми навчання, за допомогою яких можна побудувати автономних інтелектуальних агентів. Він поєднує в собі такі концепції, як конфігурована прогностична модель світу, поведінка, керована внутрішньою мотивацією, та ієрархічні спільні вбудовані архітектури, навчені за допомогою самоконтрольованого навчання.
Top AI and ML announcements from Google I/O 2022
У відео представлені найкращі висновки щодо штучного інтелекту та машинного навчання з конференції Google I/O 2022. Лоуренс Мороні ділиться останніми оновленнями, інструментами та вказівками, доступними для створення та розгортання моделей за допомогою технології TensorFlow: від відповідального ШІ до Coral Dev Board Micro, MLOps, TensorFlow.js тощо.
Partial Differential Equations Overview
Диференціальні рівняння в частинних похідних — це математична мова, яку використовують для опису фізичних явищ, що змінюються в просторі та часі. Це відео є структурованим оглядом диференціальних рівнянь у частинних похідних.
Подкасти
AI’s role in reprogramming immunity
Велика кількість багатовимірних біологічних даних, доступних сьогодні, у поєднанні з передовими методами машинного навчання, створюють унікальні можливості розширення межі того, що можливо в біології.
Five Elements of an Enterprise AI Strategy
У цьому епізоді гість подкасту підкреслює важливість того, як вони збирають та обробляють дані на рівні підприємства таким чином, щоб вони могли підтримувати розробку стратегії. Він також ділиться своєю думкою щодо включення етики та управління як частини процесу побудови стратегії та обговорює використання менших проектів для формування імпульсу більшої картини для завершення стратегії.
Age Checks, Theft Prevention, Minecraft AI, Autism, Responsible AI
У новому епізоді подкасту Lastweekinai ви послухаете про те, як Instagram тестує інструмент штучного інтелекту, який перевіряє ваш вік, як ШІ виявляє шаблони мовлення аутизму, як Microsoft планує усунути інструмент аналізу обличчя та багато іншого.
Hyperparameter Tuning for Machine Learning Models
Під час розробки моделей
Maintain Your Data Engineers’ Sanity By Embracing Automation
Створення та підтримка надійних ресурсів даних є головною директивою для інженерів обробки даних. Необхідно розуміти, що це нескінченно складна реалізація, що вимагає від фахівців з обробки даних бути експертами в широкому діапазоні різнорідних тем під час проектування та реалізації складних топологій інформаційних робочих процесів. Щоб зробити цю проблему вирішуваною, інженерам важливо використовувати автоматизацію при кожній нагоді.
Democratizing Data in Large Enterprises
Гість подкасту ділиться своєю ретельною, ефективною та чіткою стратегією успішної демократизації даних і тим, як це допомагає створити успішну культуру даних у великих підприємствах.
***
На сьогодні це все, дякую за увагу!
Щоб не втрачати зв’язок та не пропустити мій наступний дайджест, клікайте «Підписатися на автора» одразу під текстом.
Якщо часом ви знаходитесь у пошуку «свого ідеального місця під сонцем» або втратили роботу через війну — долучайтеся до Xenoss, щоб працювати у колі однодумців над складними та довготривалими data-centric проектами. Наші клієнти — провідні SaaS-компанії, всесвітньо відомі підприємства та стартапи, що активно розвиваються.
Працюємо worldwide та fully remote, тому де б ви не перебували — сміливо надсилайте своє резюме!
Серед наших найгарячіших вакансій:
Стежити за новинами Xenoss можна у соц-мережах — LinkedIn та Facebook.
Слава Україні!
Немає коментарів
Додати коментар Підписатись на коментаріВідписатись від коментарів