+

🤦🏼‍♀️

Дякую.
Завдання, які будуть важкими для backend engineers, на мою думку, більше стосуються оптимізацій пайплайнів, їх архітектури, обробки специфічних форматів даних. Але ці задачі все одно не будуть неможливими, для їх виконанни просто треба досить багато практики і часу.
Відмінність стосується природи великих даних — ті ж самі 5Vs.

Що вас конкретно цікавить з приводу Airflow?
Я зіштовхувалась з ним на одному з проектів, але багато працювати не приходилось тому, що це Python стек.

Деякі компанії так роблять, і це більше пов’язано з ресурсами, але трушну big data роблять не так :)

Тому що математика і алгоритми це база для будь-якої спеціальності в software engineering, це здається досить очевидним. А big data engineering це і є software engineering, в яке входять і мови програмуванні і інструменти.
А для Data science, якщо говорити дуже загально, треба специфічні розділи математики, в які йде більший упор, ніж в розробку. Плюс там загалом інші принципі побудови workflow продукта, інші типи задач

Дякую дуже! :)
Повністю з тобою згодна

Scala core, Spark, Hadoop і інфрастуктуру навколо (Hive, Impala, etc.). Чисто функціональні дуже рідко використовуються в специфічних проектах, я особисто не зустрічала.
В big data дуже багато використовуєтсья Spark, а він підтримує версії Scala з відставанням,
тому питання сумісності поки що не дуже активно піднімається.