Онлайн-курс “Data Engineering” від robot_dreams (подія в архіві)

⚙️ Дізнайтеся, як обробляти петабайти даних та побудуйте власну Data Platform, яка здатна масштабуватися.

Про курс:

Курс для тих, хто хоче навести лад в архітектурі даних та опанувати ключові інструменти дата-інженера на практиці.

За 19 занять ви:

✔️ розглянете архітектуру сучасних розподілених систем і вивчите готові рішення для дата-інженерів, опануєте HDFS для розподіленого зберігання файлів і MapReduce для розподілених обчислень

✔️ опануєте ключові інструменти з робочого столу Data Engineer, зокрема Apache Airflow для розробки, планування та моніторингу процесів, Hadoop для обробки та збереження великих обсягів даних, Docker для роботи з контейнерами, Amazon S3 для взаємодії з даними у хмарі

✔️ на практиці навчитеся розгортати Big Data кластери локально та у хмарному середовищі

📗 як курсовий проєкт: розробите пайплайн даних для аналізу в AWS або локально з оркестрацією Apache Airflow, щоб закріпити всі набуті навички та отримати фідбек від лектора-практика

Лектор:

Ілля Хороших
Data Platform Engineer у Lyft

• працював як на аутсорсі в EPAM, Luxoft, Newxel, так і в продуктових компаніях — Lyft
• реалізував серію пайплайнів для одного з найбільших виробників спортивного одягу, яка обробляла декілька терабайтів даних за 30 хвилин
• бере участь у створенні рішень для обробки Big Data для сервісу, що має понад 23 млн користувачів
• розробляв систему автоматичного калібрування ML-пайплайнів для компанії, що займається email security

Цей курс для:

🔸 DEVELOPERS,
які знають Python, працюють з Git і хочуть розібратися в архітектурі великих даних, оптимізувати ETL-процеси та SQL-запити до БД і перейти в Data Engineering

🔸 DATA ANALYSTS,
які знають SQL, працюють з невеликими обсягами даних і хочуть розширити стек для роботи саме з Big Data, скоротити час на підготовку даних до аналізу й автоматизувати цей процес

🔸 DATA ENGINEERS [BEGINNERS],
які вже працюють у сфері інженерії даних, але хочуть поглибити знання, автоматизувати процеси для підвищення ефективності й будувати надійні, масштабовані Big Data проєкти

🔸 DATA SCIENTISTS,
які вже працюють з побудовою моделей і хочуть ефективніше опрацьовувати різноформатні дані, інтегрувати ML-моделі в production-середовища та автоматизувати pipeline обробки даних

Програма курсу та реєстрація 🔗

💡 Усі статті, обговорення, новини про Python — в одному місці. Приєднуйтесь до Python спільноти!