Онлайн-курс “Data Engineering” від robot_dreams (подія в архіві)

⚙️ Дізнайтеся, як обробляти петабайти даних та побудуйте власну Data Platform, яка здатна масштабуватися.

Про курс:

Курс для тих, хто хоче навести лад в архітектурі даних та опанувати ключові інструменти дата-інженера на практиці.

На курсі ви:

✔️ розглянете архітектуру сучасних розподілених систем і вивчите готові рішення для дата-інженерів, опануєте HDFS для розподіленого зберігання файлів і MapReduce для розподілених обчислень

✔️ опануєте ключові інструменти з робочого столу Data Engineer, зокрема Apache Airflow для розробки, планування та моніторингу процесів, Hadoop для обробки та збереження великих обсягів даних, Docker для роботи з контейнерами, Amazon S3 для взаємодії з даними у хмарі

✔️ на практиці навчитеся розгортати Big Data кластери локально та у хмарному середовищі

📗 як курсовий проєкт: розробите пайплайн даних для аналізу в AWS або локально з оркестрацією Apache Airflow, щоб закріпити всі набуті навички та отримати фідбек від практика

Лектор:

Дмитро Андросов, Data Engineer у Lyft

• працював Data Engineer в EPAM Systems та Data Warehouse Engineer у Fozzy Group
• займається дизайном та архітектурою моделей даних
• бере участь у створенні рішень для обробки Big Data для сервісу, що має > 23 млн користувачів
• в рази прискорив роботу конвеєрів даних і суттєво зменшив кількість їх вильотів за допомогою власних Infrastructure-as-Code Big Data рішень

Цей курс для:

🔸 DEVELOPERS,
які знають Python, працюють з Git і хочуть розібратися в архітектурі великих даних, оптимізувати ETL-процеси та SQL-запити до БД і перейти в Data Engineering

🔸 DATA ANALYSTS,
які знають SQL, працюють з невеликими обсягами даних і хочуть розширити стек для роботи саме з Big Data, скоротити час на підготовку даних до аналізу й автоматизувати цей процес

🔸 DATA ENGINEERS [BEGINNERS],
які вже працюють у сфері інженерії даних, але хочуть поглибити знання, автоматизувати процеси для підвищення ефективності й будувати надійні, масштабовані Big Data проєкти

🔸 DATA SCIENTISTS,
які вже працюють з побудовою моделей і хочуть ефективніше опрацьовувати різноформатні дані, інтегрувати ML-моделі в production-середовища та автоматизувати pipeline обробки даних

Повна програма та реєстрація 📌