Сразу же после JavaDay Kyiv 2016 у самых стойких и жаждущих новых знаний будет замечательная возможность посетить тренинг Евгения Борисова: Welcome to Spark.
Тот, у кого в руке молоток, во всём видит гвоздь! Глупо?
А что если это не молоток, а универсальный инструмент, который может быть и бензопилой, и пылесосом и зубной щёткой?
В мире Big Data есть Hadoop и целый зоопарк инструментов, которые на него пашут и каждый заточен подо что-то своё, а ещё там недавно появился Spark, который можно применять для любых целей.
Если вы хотите писать в Hadoop с различных СУБД, стримить всякие источники в реальном времени, параллельно делать с данными какую-нибудь сложную обработку и не при помощи каких-то батчей, скриптов и sql запросов, а при помощи мощного функционального языка — добро пожаловать в Spark!
Данный тренинг познакомит вас с основными компонентами экосистемы Hadoop, а также раскроет перед вами возможности Spark-а.
Вы узнаете, как он работает, какие задачи он способен выполнять, как им правильно пользоваться.
Мы обсудим проблемы и решения, с которыми поначалу сталкиваются неопытные Spark разработчики. Разберемся с его синтаксисом и всякими хитростями, а главное я покажу, как можно писать Spark на Java при помощи известных вам фрэймворков, инструментов и концепций. Inversion of Control, design patterns, Spring framework, Maven/Gradle, Junit никуда не уходят, наоборот, вы увидите, что они могут помочь сделать ваше Spark приложение более элегантным, читабельным и привычным.
Будет много заданий, live coding-а и в конечном итоге вы выйдете с этого тренинга с достаточными знаниями, чтобы начать самостоятельно работать на Spark-e в привычном мире Java.
Программа
Введение в мир BigData
● Data locality
● Map reduce
● Проблема старых имплементаций, новый подход
● Импелементации Hadoop
● Cloudera
Hadoop и его зоопарк инструментов
● HDFS
● HBase
● YARN
● Hue
● Sqoop
● Flume
● Hive
● Impala
● Oozie
Теорминимум по Scala (не волнуйтесь, писать будем на Java!)
● Singleton objects
● Функциональное программирование
● Анонимные параметры
● Таплы
● Matcher pattern
Освежаем знания по Spring (для работы со Spark)
● Ознакомление со всеми модулями (Core, AOP, REST, MVC)
● Когда надо писать свои BeanPostProcessor-ы
● Как работать больше чем с одним контекстом
● Как настраивать бины, если часть нужной им информации приходит через аргументы main-а
Writing Spark with Java
● Ознакомление с основными модулями Spark
● Как Spark работает в кластерном режиме
● Spark Submit
● Spark API
● Scala vs Java
● Использование Spring при роботе со Spark
● Unit-test для Spark
● От REST-сервиса к Spark-у (написание цельного приложения)
Про тренера:
Отзывы участников предыдущих тренингов Жени
«Женя, хочу сказать Вам спасибо за интересный и увлекательный тренинг. У вас классный, живой стиль подачи информации. Особенно меня впечатлили Ваши быстрые мастер классы в Intellij и способность красочно, аллегорично, но при этом все также четко, быстро и информативно, объяснить, что происходит в, не такой уж и тривиальной, жизни бинов). Желаю Вам удачи и творческих успехов!»
«Спасибо за хорошо изложенный материал, чувствуется профессионализм в преподавании). Тренер хорошо чувствует аудиторию, слушать не напряжно)»
«Женя превосходный коуч и специалист! Спасибо!»
«Понравилось то что мы рассматривали не просто сухое применение библиотек, а начиная с вопросов почему это надо и как это реализовано»
«Женя, большое спасибо за офигенный тренинг, очень круто проапгрейдился на нем, надеюсь, еще попаду на твои конфы и тренинги в будущем»
«Женя спасибо большое за интереснейшие два дня! ... Отличный, быстрый, эмоциональный и яркий стиль доклада — у тебя действительно можно поучиться этому, постараюсь хотя бы отчасти перенять это мастерство. Приятно слушать , понятно, и вовлекающе. Это — заоблачный уровень ;)»
«Хотел бы выразить больше СПАСИБО Женя лично. Как джава тренер — он профессионал, которых на самом деле не много. Дает очень большое количество материала, причем полезного материала, за маленькое количество времени. Очень важным моментом хочется отменить — слушать его было интересно на протяжении всего дня. ... Отличная работа с аудиторией — т.к. дает кроме материала еще и задачки ‘пошевелить мозгом’»
3 коментарі
Додати коментар Підписатись на коментаріВідписатись від коментарів