AI & ML дайджест #0: Amazon атакует, deep learning для спутниковых снимков, углубления и сжатия нейронных сетей

Этот дайджест посвящен последним новостям и разработкам в области машинного обучения и искусственного интеллекта. В этой области все меняется очень быстро, и уследить за тенденциями становится все сложнее и сложнее: регулярно запускаются стартапы, публикуются новые статьи, релизится код новых разработок. Поэтому предлагаю следить за одной из самой бурно развивающейся сейчас областью в Computer Science вместе.

Каждый дайджест будет разбит на три основные категории:
— Популярные статьи, новости и интервью;
— Туториалы и опен-сорс код, который можно запустить;
— Теоретические материалы и публикации.

В этом выпуске: что делают с машинным обучением в Facebook, Google, Twitter и Amazon, тренды deep learning из конференции ICLR 2016, код для генерации изображений из текстового описания и перенос знаний из одной нейронной сети в другую, статьи про обучение активационных функций, сжатие нейронных сетей и RNN для распознавания изображений.

Новости и статьи

История о том, что происходит внутри OpenAI, компании, в которую вложено миллиард долларов и которая должна сделать искусственный интеллект общедоступным и безопасным

Сундар Пичаи, СЕО Google рассуждает о скорой смене технической парадигмы «вычислений» на «размышления» ИИ.

Мифы о искусственном интеллекте и их опровержения.

Как в Facebook учат ИИ создавать ИИ вместо того, чтобы руками учить и тестировать более 300000 моделей в месяц.

Запущен интересный проект по поиску на картах, используя снимки со спутников.

Алгоритм достигает более высокой степени точности по сравнению со специалистами по распознаванию речи по губам.

Amazon включается в гонку машинного обучения и заявляет, что их библиотека работает в 2 раза быстрее, чем от Google.

Twitter выкладывает в открытый доступ свой инструмент для работы с потоковыми данными Heron.

Замечательная статья Андрея Карпаты о обучении с подкреплением (reinforcement learning).

Обзор трендов в глубоком обучении из конференции ICLR 2016.

Программирование

Код для генерации изображений по их описаниям, например, «a stop sign is flying in blue skies».

Вышел новый релиз библиотеки cuDNN для глубокого обучения на GPU, снова значительно ускорена работа сверточных и рекуррентных нейронных сетей.

Код для распознавания и детекции объектов (дороги, переходы, реки, здания) на снимках из карт.

Туториал по переносу знаний из одной нейронной сети в другую (transfer learning).

Запущенный Microsoft тренд на углубление нейронных сетей до 100 и даже до 1000 слоев продолжается (используя один трюк), теперь сетки по этому же принципу увеличивают в «ширину».

Список реализаций алгоритмов «Объект2Вектор», может пригодится для анализа и классификации разной визуальной и текстовой информации.

Как запрограммировать аутоэнкодеры, используя библиотеку Keras.

Полушуточная статья про Fizz Buzz на нейронках.

POS (Part-of-speech) tagger от Google, реализация на TensorFlow.

Более удобный интерфейс для TensorFlow (как Keras или Lasagne для примера).

Теория

Очень интересный способ «обучения» активационных функций прямо из данных, используя интерполяцию сплайнами.

Residual Neural Networks «на пальцах».

Использование «расширенных» сверток (dilated convolutions) для сверточных сетей, в частности, задачи попиксельной детекции объекта.

Альтернативный подход к распознаванию изображений, вместо стандартной связки convolution+pooling используют рекуррентный слой. Работает не намного хуже стандартных CNN.

Нейронная сетка как фрактал — обучение ультраглубоких архитектур на основе похожести кусков сети.

Несколько статей о том, как «сжимать» нейронные сети, которые обычно имеют миллионы параметров:
— Первая описывает способ сжать уже обученную сеть в 250 раз с потерей точности всего в 1%;
— Вторая предлагает обучать сетку только стремя параметрами: {-1, 0, 1}.


Если у вас есть интересные материалы, которые не попали в этот дайджест или вы хотите увидеть их в следующем, пишите на rachnogstyle@gmail.com, и мы добавим их.


Следующий выпуск: AI & ML дайджест #1

👍НравитсяПонравилось0
В избранноеВ избранном0
Подписаться на автора
LinkedIn



Підписуйтесь: Soundcloud | Google Podcast | YouTube


14 комментариев

Подписаться на комментарииОтписаться от комментариев Комментарии могут оставлять только пользователи с подтвержденными аккаунтами.

Спасибою Отличный дайджест

Спасибо за положительные отзывы, я буду продолжать :)

спасибо за хорошую подборку!

Спасибо за ссылки! Могу еще добавить, что есть отличный портал научных статей Корнельского университета. Масса свежих статей по ML и AL в частности: arxiv.org

Спасибо. Нашел пару интересный статей. Прогнозирую в скором времени хайп по AI во всех сферах, вплоть до ранжирования посетителей на сайте.

Этот хайп уже в самом разгаре

Сейчас это хайп как хайп доткомов в 2000. Слишком много инвестируется не по делу только под одно слово AI. Может быть резкое обрушение всех типа AI проектов так как результат они не дадут. Сейчас снова в моде нейросети типа deep network learning вообще без понимания что нейросети могут, а что нет, поэтому их пытаются тулить туда где они не нужны.

Проблема в том, что deep learning это просто representation learning, т.е. обучение фич для подачи их в тот же классификатор, идея которого родом из 1957. И вполне четко понятно, чего от этого классификатора ждать, и работает он круто для определенных задач и на определенных данных, просто не надо это называть AI :)

просто не надо это называть AI :)
Вот только журналисты об этом другого мнения и так как их читаем намного больше людей, чем мнения специалистов, то общественное мнение опять уведет индустрию черти куда.

Отличный дайджест, спасибо.

Робіть ще. Годно.

О, спасибо за такой дайджест.

Неплохо было бы еще и опросник по этой тематике сделать
так как интерес в этом технологическом русле только растет

А какой именно опросник вы имеете в виду?

Подписаться на комментарии