Как обстоят дела с Big Data в Украине?

Хотелось бы поднять вот такой вопрос: как обстоят дела с Big Data в Украине?

Стремительно ли развивается данная область, и стоит ли делать профессиональный упор в это русло?

С чего спрашиваю: просто в той же Европе, Америке — всё прекрасно : огромное кол-во вакансий, интересных проектов, а вот в Украине как-то затык, совсем скудно. Поэтому хотелось бы узнать, да и просто поговорить со знающими людьми)

Заранее всем спасибо.

👍НравитсяПонравилось0
В избранноеВ избранном0
LinkedIn
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Это самое глупое что я слышал за этот вечер

Hadoop не сдувается, он просто переехал в Cloud

1. Был Hive on Tez в HDP/HDF — в данном случае имею ввиду MPP роль
2. Была Impala в CDH — естественно MPP
3. Смерджили акции — и всё равно на рынке будет и Импала, и Hive on Tez. Они не взаимозаменяемы. Поэтому уверен Вам ничего не угрожает — компетенции не пропадут

Можно ли перейти в биг дата если я разработчик ETL/warehouse ??или же нужно сперва программировать на джаве несколько лет?

Можно, но опыт программирования желательно иметь. И желательно в Python/Scala. Одного знания SQL будет мало.

Up
Интересно было бы услышать текущие реалии. Как сейчас обстоят дела?

Big Data у Львові, Sigma Software, вакансія на інтернатуру:
university.sigma.software/...​big-data-internship-lviv

то в роіссі вакансія?

Big Data у Львові, Limelight Networks, ось пару вакансій:
www.limelight.com/...id=IM138499725&rpid=19912
www.limelight.com/...id=IM145460725&rpid=19910

Там є і Hadoop і Spark і все чого тільки душа бажає.

Думаю налоговой будет интересно

В Киеве тоже есть огромное количество проектов. И очень малое количество людей, которые могут потянуть эти проекты.

К примеру мы в команду искали человека 2 месяца. И с опытом работы с BigData(в нашем случае со Spark-ом, но и Hadoop бы подошёл) к нам пришло аж 0 человек. Только у одного в резюме было написано «Spark», но как оказалось это у него кто-то на каком-то проекте использует. Так что, вакансий больше, чем спецов, что очень хорошо подогревает зп. То же касается и конференций, зачастую там даже спикерами выступают далёкие от этого дела люди, и несут всякую ересь.

Сама сфера развивается очень стремительно, и из-за её специфики требует много ресёрча как данных, так и технологий, так как иногда недельный ресёрч и ещё месяц разработки помогает значительно снизить затраты на кластера.

Если ты хочешь попробовать с этими технологиями, но у тебя нет опыта — смело отправляй резюме на любую вакансию, и так и пиши: «хочу, не умею, но буду стараться». И если ты человек толковый, то есть не маленький шанс, что тебя возьмут.

Об этом всё можно писать статью и не одну. Но лучше не читать, а пробовать в этом всё варится. Feel free:
jobs.dou.ua/...eminders/vacancies/21543

успехов в поисках
мысленно себя пнул что может стоит доделать последнюю лабу в EDX курсе и повесить его на линкедин ))

А можно ссылку на курс — какой именно?))

но я не уверен что он будет достаточным что бы начать прям работать самостоятельно
но какое то представление составить наверно можно

спасибо! я не прямо с курса ломанусь в бигдата проджектс, скорее хочу развиваться в эту сторону, для себя в первую очередь, интересно) Благодарю :)

Все ж сразу синьоров хотят, хотя в самих спарках и хадупах ничего мегасложного нет.

требует много ресёрча как данных, так и технологий, так как иногда недельный ресёрч и ещё месяц разработки помогает значительно снизить затраты на кластера.
!!!

Нет, не синьеров. А адекватных людей, которые более-менее попадают под требования в вакансии.

Согласен с тобой, в том, что в Spark и Hadoop нечего сложного нет. Возможно они посложнее и масштабнее общей массы технологий, но всё приходит с практикой. Главное — работать.

Что ты хотел сказать знаками восклицания — я не особо понял :)

Ну я видел вакансию украинского аутсорсера, где желательным был опыт участия в разработке этого зверинца. Потихоньку требования становились попроще.

Что ты хотел сказать знаками восклицания — я не особо понял.
Поддержал мысль, что вдумчивый ресерч может много сэкономить

Думаю попробовать, но явно не в ближайшем будущем)
Просто если инвестировать время на изучение, то уже с умом, и в то, что не потеряет актуальность

А можно вопрос ?
А вам так писали («хочу, не умею, но буду стараться»), вы брали кого-то ?)

Берут, если один хрен обучать новой технологии с нуля.

как обстоят дела с Big Data в Украине?
так же как и везде — Big Data называют все что угодно

P.S. вот кстати интересная, на мой взгляд статья, относительно помешательства на сабже
habrahabr.ru/post/303802

Не будучи придирчивым, всё же статья немножко устарела. Да, это правда, BigData — лишь вуаль. Но воспринимайте это как высокую моду — пара п...сов пройдёт по сцене, это никто не наденет. Зато потом вдохновлённый товарищь сделает одежду по мотивам для нас с вами. Именно так стоит воспринимать BigData, re:Invent, Spark Summit и иже с ними. Уверяю вас, 4V это не обязательно «овердофига объёма» :)

статья немножко устарела
— Абрам, где ты достал себе такой костюм?
— В Париже.
— А это далеко от Бердичева?
— Ну, примерно, две тысячи километров будет.
— Подумать только! Такая глушь, а так шьют хорошо!

— Доктор, моему соседу 70 — он говорит что с девками у него класс. А мне 60 — почему у меня хуже?
— Ну вас же язык есть? Вот и вы говорите

Стремительно ли развивается данная область, и стоит ли делать профессиональный упор в это русло?
Опишите что вы понимаете под термином Big Data.
Вакансии с такими словами есть, наверное, в половине из топ-25 контор, но это не факт что их представление совпадает с вашим.

К вашим словам : hsto.org/...d7fc911b857a4b6fcf5b9.jpg

А вообще, для меня это определённые подходы по обработки данных разных типов и больших объёмов с помощью определённого инструментария (иначе сформулировать трудно).

Свежая, интересная вакансия от DataArt:
Deep Machine Learning Developer

как обстоят дела с Big Data в Украине?
Deep Machine Learning Developer
Я не в курсе конкретной вакансии, поэтому могу судить только по ее описанию.
Вы вообще понимаете что Machine Learning и Big Data — это совсем про разное?

Big Data:
A 2011 McKinsey Global Institute report characterizes the main components and ecosystem of big data as follows:[44]
Techniques for analyzing data, such as A/B testing, machine learning and natural language processing
Big Data technologies, like business intelligence, cloud computing and databases
Visualization, such as charts, graphs and other displays of the data

databases
jobs.dou.ua/...s/ciklum/vacancies/30238 — БигДата же
.
То что машинное обучение __может быть__ (почему «может быть», вы бы поняли открыв статью 44) __частью__ «Big Data задачи», не значит что любое машинно обучение автоматом делает задачу «Big Data задачей».

Вы в институте логику учили?

Google 4V of big data. Остальное уже опционально

Тут є BigData: jobs.dou.ua/companies/intro-pro-llc
Наразі навіть шукають когось на Hadoop

Вы знаете основной закон хороших вакансий? Их нигде не публикуют, а закрывают путем личного общения с хорошими кандидатами.

BigData — модное и денежное направление, поэтому бОльший процент вакансий не доходит до Доу/Джина/РаботыЮа. По факту в каждой более-менее крупной компании есть ребята, которые этим занимаются.

судя по количеству каментов — никак

А Вы читали что там за вакансии ??
там например есть Middle Manual QA и еще 70% не имеющих никакого отношения к БД

И фронтенд инженер))))

там большая часть из разряда Middle PHP Developer for Future Binary Investments

В Сигме есть, в ЕПАМе. Я не интересовался сабжем — но знаю людей, говорят в Киеве норм есть вакансий по сусекам.

Подписаться на комментарии