×Закрыть

Evgeny Borisov: Welcome to Spark

Відбулось
10 — 11 червня 2016
Початок
10:00
Місце
Львів, вул. Олени Степанівни, 45, офіс компанії EPAM
Вартість
3150 грн.
Підуть

Той, у кого в руці молоток, в усьому бачить цвях! Нерозумно?
А що якщо це не молоток, а універсальний інструмент, який може бути і бензопилою, і пилососом, і зубною щіткою?

У світі Big Data є Hadoop і цілий набір інструментів, які на нього працюють і кожен загострений під щось своє, а ще там недавно з’явився Spark, який можна застосовувати для будь-яких цілей. Якщо ви хочете писати в Hadoop з різних СКБД, стрімити всякі дані в реальному часі, паралельно робити з даними якусь складну обробку і не за допомогою якихось батчів, скриптів та sql запитів, а за допомогою потужної функціонального мови — ласкаво просимо до Spark!

Цей тренінг познайомить вас з основними компонентами екосистеми Hadoop, а також розкриє перед вами можливості Spark-у. Ви дізнаєтеся, як він працює, які завдання він здатний вирішувати, як їм правильно користуватись.

Ми обговоримо проблеми та їх рішення, з якими спочатку стикаються недосвідчені Spark розробники. Розберемося з його синтаксисом і всякими хитрощами, а головне я покажу, як можна писати Spark на Java за допомогою відомих вам фреймворків, інструментів і концепцій. Inversion of Control, design patterns, Spring framework, Maven / Gradle, Junit нікуди не йдуть, навпаки, ви побачите, що вони можуть допомогти зробити ваше Spark застосування більш елегантним, читабельним і звичним.

Буде багато завдань, live coding-у і в кінцевому підсумку ви вийдете з цього тренінгу з достатніми знаннями, щоб почати самостійно працювати на Spark-у в звичному світі Java.

Програма:

Введення до світу Біг Дати

• Data locality
• Map reduce
• Проблема старих імплементацій, новий підхід
• Імплементації Хадупу
• Cloudera

Hadoop і набір його інструментів

• HDFS
• HBase
• YARN
• Hue
• Sqoop
• Flume
• Hive
• Impala
• Oozie

Теормінімум зі Scala (не хвилюйтесь, писатимемо на Java!)

Singleton objects
• Функціональне програмування
• Анонімні параметри
• Тапли
• Matcher pattern

Освіжаємо знання по Spring (для роботи зі Spark)
Ознайомлення з усіма модулями (Core, AOP, REST, MVC)
Коли треба писати свої BeanPostProcessor-и
Як працювати більше ніж з одним контекстом
Як налаштовувати біни, якщо частина потрібної їм інформації приходить через аргументи мейн-у

Writing Spark with Java

• Ознайомлення з основними модулями Spark
• Як Spark працює в кластерному режимі
• Spark Submit
• Spark API
• Scala vs Java
• Використання Spring при роботі зі Spark
• Юніт тести для Spark
• Від REST-сервісу до Spark-а (написання цільного застосування)

Про спікера:

Євгеній Борисов, Big Data Technical Leader в NAYA Technologies
Працює на Java вже понад 15 років, пройшовши шлях від простого програміста до Java-архітектора. Сьогодні Євген активно консультує та веде проекти, повязані з використанням мови Spark у Java, Scala та Python.

Придбайте квиток: borisovtraining.ticketforevent.com

Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Подписаться на комментарии