Вопрос к (Big) Data engineers

Добрый день.

Коллеги, которые давно занимаются (Big) Data, и доросли до уровня Senior (или выше), скажите, как много задач по инженирии/программирования/архитектуры вы делаете?

Я пришел в (Big) Data из Software Engineers год назад, потому что мне начали нравиться задачи с обработкой данных, а не проектирование API (никого не хочу обидеть). Для справки: есть хороший опыт в Python/DevOps.

Но сейчас я начинаю наблюдать, что все меньше техничных топиков мне нужно, что бы расти по «лестницу», а больше SQL/Cloud services/BI и так далее. Например, на одном из курсов, спикер который работал в Microsoft и Amazon несколько лет, на позиции Data engineer, недавно скинул статью, где на пальцах рассказывают как работает concurrency and parallel processing, со словами «Никогда этого не понимал». Я думал это база для Data engineer.

Вообще, заметил, что в почти каждой тулзе которую использовал, я лезу во внутрь и смотрю, как она устроена. И это мне иногда намного интересней, чем ее использовать.

С одной стороны мне интересна техническая сторона обработки (больших) данных, но я все больше вижу, что большинство задач обработки можно решить зная базовый Python и использую разные SaaS Cloud решения.

Может я работаю не на «тех» проектах.

Поделитесь мыслями коллеги.