Big Data, Machine Learning, Data Science Digest #22: нейронний рендеринг, поява AlphaCode, популярність штучних нейронних мереж

Підписуйтеся на Telegram-канал «DOU #tech», щоб не пропустити нові технічні статті.

Привіт!

Як завжди, підготував для вас добірку цікавинок та апдейтів зі світу ​​Data Science за останні два тижні.

Буде багато розважальних та наукових статей, інформативних відео та цікавих подкастів. А точніше, у сьогоднішньому випуску ви дізнаєтесь про:

  • нову масивну мовну модель для генерації коду — AlphaCode;
  • чи зможе ШІ повністю автоматизувати розшифровку стародавньої невідомої мови;
  • що буде, якщо штучний інтелект підживити мемними заголовками BuzzFeed;
  • як і для чого Uber використовує Deep Learning;
  • чому Ben Rogojan залишив роботу Data Engineering у Facebook;
  • GPT-NeoX-20B: архітектура моделі, її продуктивність та наслідки її випуску;
  • нейронний рендеринг та багато іншого.

Якщо ви проґавили мій попередній дайджест — не проблема, його можна переглянути тут. Також я завжди радий коментарям та фідбеку!

Статті

A New Trick Lets Artificial Intelligence See in 3D

Майже два роки тому вийшла стаття NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis, яка представила ідею оптимізації нейронної мережі, щоб мати можливість відтворювати 3D-сцену з набором її зображень під різними кутами.

Дослідники компанії Nvidia, яка виробляє комп’ютерні мікросхеми як для штучного інтелекту, так і для комп’ютерних ігор, опублікували статті, які використовують NeRF для реалізації 3D-зображень із колекцій фотографій з метою створення більш реалістичних текстур в анімації.

An ancient language has defied translation for 100 years. Can AI crack the code?

Одна робоча група розробила алгоритм, який намагається узгодити слова стародавньої невідомої мови зі словами відомої мови та досягли більш значущих результатів у порівнянні з перекладами, зробленими експертами. Дослідники використовували статистичний аналіз, щоб довести, чи дійсно набір символів формує мову. Малоймовірно, що ШІ може повністю автоматизувати розшифровку мови, але він зможе допомогти і прискорити людські зусилля.

The TBI Globalism Study: How Big is The Tech Trust Gap?

Що думають про ШІ люди з різних країн?

​​Інститут Тоні Блера провів опитування людей у ​​26 країнах (включно з Росією, Великобританією та Саудівською Аравією), і результати доволі суперечливі.

The Messy History of Facial Recognition Company Clearview AI

Ця стаття надає довідкову інформацію про компанію Clearview AI, постачальника технологій розпізнавання обличчя на основі мільярдів зображень, знайдених в інтернеті. У дописі ​​розглядаються численні юридичні проблеми, з якими компанія зіткнулася протягом останніх кількох років.

Data Distribution Shifts and Monitoring

Розгортання моделі у робочому середовищі не є кінцевим процесом, оскільки продуктивність моделі з часом погіршується. У цьому простому, але детальному огляді, Chip Huyen досліджує такі проблеми як зміщення розподілу даних, моніторинг та типові причини збоїв ML.

Mad Scientist Forces AI to Make Horrific Pictures Out of BuzzFeed Headlines

Штучний інтелект був примусово підживлений заголовками BuzzFeed, які гідні мемів, і ось що з цього вийшло.

DeepETA: How Uber Predicts Arrival Times Using Deep Learning

Uber AI співпрацює з командою Uber Maps у проєкті під назвою DeepETA. Головна мета проєкту — розробити архітектуру глибокої нейронної мережі з низькою затримкою для глобального прогнозування ETA.

Artificial Neural Networks as universal function approximators

Стаття є наглядним прикладом наведення причин популярності нейронних мереж, а саме штучних нейронних мереж (Artificial Neural Networks). Автор пояснює їх широке використання тим, що ANN є апроксиматорами універсальних функцій.

Machine Learning Becomes a Mathematical Collaborator

Дві нещодавні колаборації між математиками та компанією DeepMind демонструють потенціал ML у спробах допомогти дослідникам створювати нові математичні припущення.

Подкасти

AI — Friend & Companion

Один із останніх епізодів подкасту Wierd AI містить роздуми на тему «Чи може ШІ стати нашим другом?». Спікери подкасту говорять про хороші, погані та навіть потворні AI з різних сфер життя, від охорони здоров’я до особистого розвитку.

Engineering Natural Language Models — with Lauren Zhu

Зірка подкасту — амбіційна інженер-програмістка Lauren Zhu, розповідає про своє дослідження багатомовного нейронного машинного перекладу. Також у подкасті є деталі робочого бекграунду Лорен, опис найважливіших навичок, якими потрібен володіти data scientist, та багато іншого.

Exploring Deep Reinforcement Learning

Один із спікерів подкасту — Томас Сімоніні. Він створює штучний інтелект наступного покоління в іграх, які можуть розмовляти та розумно взаємодіяти з гравцем за допомогою Deep Reinforcement Learning та NLP. Інші герої подкасту, Наталі та Кріс, міркують на тему шляхів розвитку нових спеціалістів в сфері AI.

Fine-tuning OpenAI’s GPT-3

Автори подкасту занурюються у світ GPT-3, а саме:

  • як люди застосовують GPT-3 для перекладу, копірайтингу та інших комерційних завдань;
  • переваги продуктивності тонкого налаштування GPT-3;
  • розробка API поверх GPT-3, який працює з коробки, але також є гнучким і налаштованим.

Вони також обговорюють нову співпрацю OpenAI та Weights & Biases, яка дозволяє користувачеві реєструвати свої проєкти тонкого налаштування GPT-3 у W&B за допомогою одного рядка коду.

Designing New Energy Materials with Machine Learning

Rafael Gomez-Bombarelli, що був одним із спікерів на саміті SigOpt AI & HPC, у своїй розмові із ведучими подкасту досліджує мету поєднання машинного навчання та атомістичного моделювання для розробки матеріалів.

Bring Your Code To Your Streaming And Static Data Without Effort With The Deephaven Real Time Query Engine

У цьому епізоді Піт Годдард, засновник і генеральний директор проекту Deephaven, міркує на тему джерел потокових даних та складності їх інтеграції зі статичними даними в уніфікованому синтаксисі.

Why He Left His Data Engineering Job at Facebook (Meta) (Benjamin Rogojan)

Гість подкасту — Ben Rogojan, Data Engineering Solutions Architect з досвідом в архітектурі даних і статистиці. Він виконував проєкти для клієнтів у сфері охорони здоров’я, фінансів, SaaS та технологій, а раніше працював інженером даних у Facebook. Одне з гострих питань випуску — чому ж він залишив роботу у якості Data Engineering у Facebook?

Accurate Predictive Modeling with Maarit Widmann

Цікавий епізод на тему прогнозного моделювання. Спікери обговорюють, як ефективно використовувати матриці плутанини та інші інструменти, як отримати точні показники відтоку, та що робити, якщо ваші дані здаються неправильними.

Наукові статті та видання

GPT-NeoX-20B: An Open-Source Autoregressive Language Model

GPT-NeoX-20B — це авторегресивна мовна модель із 20 мільярдами параметрів, чиї ваги будуть вільно та відкрито доступні для громадськості через дозвільну ліцензію. У цій статті описується архітектура моделі та навчання, оцінюється її продуктивність та обговорюються ширші наслідки її випуску.

A Theoretical Comparison of Graph Neural Network Extensions

У цій статті автори вивчають та порівнюють різні розширення нейронної мережі Graph, які підвищують експресивну силу GNN за межами тесту Вайсфейлера-Лемана.

Causal Machine Learning and Business Decision Making

Причинно-наслідкові знання мають вирішальне значення для прийняття стратегічних та організаційних рішень. Стандартні підходи машинного навчання, навпаки, залишаються суто кореляційними та заснованими на передбаченні, що робить їх непридатними для вирішення широкого спектру проблем управлінських рішень. Автори пропонують використовувати підхід зі змішаними методами та проводять дослідження, яке стверджує, що причинно-наслідковий зв’язок є критичною граничною умовою для застосування ML у бізнес-аналітичному контексті.

ASHA: Assistive Teleoperation via Human-in-the-Loop Reinforcement Learning

Створення допоміжних інтерфейсів для керування роботами за допомогою довільних, багатовимірних, шумних входів (наприклад, зображення погляду з веб-камери) може бути складним. Особливо, коли це передбачає визначення бажаних дій користувача за відсутності природного інтерфейсу за дефолтом. Reinforcement Learning є природним рішенням цієї проблеми та дозволяє інтерфейсу адаптуватися до окремих користувачів.

Відео

Create Realistic 3D Models with AI

Від кількох зображень до 3D-моделі за допомогою штучного інтелекту! Змістовне відео про нейронний рендеринг, а саме про нейронну модель рендеринга об’єктів з онлайн-зображень (NeROIC), яку створив Snapchat.

Sparse Nonlinear Models for Fluid Dynamics with Machine Learning and Optimization

Моделі потоків рідини зменшеного порядку мають важливе значення для прогнозування та оптимізації інженерних систем, які включають робочу рідину. Алгоритм розрідженої ідентифікації нелінійної динаміки (SINDy) використовується для розробки нелінійних моделей для складних потоків рідини, які врівноважують точність та ефективність. У відео досліджуються останні інновації, пов’язані із цим.

Unsupervised Brain Models — How does Deep Learning inform Neuroscience?

Враховуючи, що глибокі моделі можуть вирішувати багато завдань сприйняття з надзвичайною точністю, чи можливо, що ми зможемо дізнатися щось про те, як працює мозок, перевіряючи наші моделі? Відповідь на це питання можна знайти у відео.

The Journey from Data Scientist to MLOps Engineer

Розгортання моделей у продакшн є складним завданням, але MLOps — це більше, ніж це. MLOps — це зробити команду AI корисною та ітеративною з самого початку. Герой відео Ale Solano розповідає про свій шлях переходу від спеціаліста з Data Science до інженера MLOps.

Computer Vision and Perception for Self-Driving Cars (Deep Learning Course)

Автор цього відео навчить вас, як реалізувати ряд прийомів, пов’язаних із Computer Vision та сприйняттям самокерованих автомобілів.

AlphaCode Explained: AI Code Generation

AlphaCode — це нова масивна мовна модель DeepMind для генерації коду. Він є схожим на OpenAI Codex, але існують певні відмінності. Це відео дасть розуміння, як працює AlphaCode і які його ключові відмінності.

OpenAI GLIDE AI: Astounding Power!

Це відео є візуальним відображенням наукової статті, у якій досліджуються моделі дифузії для задачі синтезу текстових умовних зображень. Автори порівнюють дві різні стратегії наведення: наведення CLIP і наведення без класифікатора, та створюють магічні зображення за допомогою AI.


***


На сьогодні це все, дякую за увагу!

Щоб не пропустити мій наступний дайджест, клікайте «Підписатися на автора» одразу під текстом.

Якщо ви бажаєте працювати у колі однодумців над складними data-centric проєктами — приєднуйтесь до команди Xenoss! Працюючи в компанії, розробники у складі невеликих high-seniority команд мають змогу стратегічно впливати на розвиток продукту клієнта на всіх етапах.

Серед наших найгарячіших вакансій:

Full-Stack Engineer (Node.js/React)

Senior Front End SDE (React.js)

Senior Back End SDE (Java)

Стежити за новинами Xenoss можна у соц-мережах — LinkedIn та Facebook.

Сподобалась стаття? Натискай «Подобається» внизу. Це допоможе автору виграти подарунок у програмі #ПишуНаDOU

👍ПодобаєтьсяСподобалось4
До обраногоВ обраному0
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Create Realistic 3D Models with AI

зад телевизора без входных фоток этого зада выглядит прям как шаманство
полагаю для этого надо было скормить немало данных о 3д моделях разных пепелацев
наверняка будут кейсы с артефактами из-за этого, но вот уберутся ли они если предоставить на вход дополнительное фото проблемного места?..
очень интересное шаманство...

Підписатись на коментарі