Вітаю спільното.
Власне питання в заголовку топіка.
Вивчено основний фундамент: Python, SQL, Pandas, Scrapy, Bash, Linux.
І тепер хочу розпочати з Big Data інструментів: Hadoop, Spark, Kafka.
Бачу в більшості вакансій вимагають Spark/PySpark. Hadoop рідше, і з Java/Scala.
Чи варто вчити Hadoop, а вже потім Spark? І чи зручно з ним працювати використовуючи Python, а не Java/Scala?
Чи взагалі він ще актуальний в 2024, окрім легасі?
Вивчай Spark і Kafka
По хадупу, бажано хай лвл розуміти що таке hdfs та yarn
Напряму з ними майже ніхто не працює, spark юзає їх інтерналі
Не факт що саме їх ти будеш викоростовувати на реальних проектах
якщо в клауді то замість hdfs скоріш за все буде S3(AWS), GCS(Google cloud)
замість yarn може бути k8s, mesos etc.
на співбесідах дуже рідко по hadoop питають, і то, очікують лише хай лвл розуміння
Чи варто вчити Hadoop
Не варто
Чи взагалі він ще актуальний в 2024
скажімо так — малоактуальний
легасі?
Так, або контори по типу Приватбанку чи Водафона, здається єдині вакансії від них де бачив згадку про Хадуп
Grissh
Andrii Malchyk
2 коментарі
Додати коментар Підписатись на коментаріВідписатись від коментарів