Сучасна диджитал-освіта для дітей — безоплатне заняття в GoITeens ×
Mazda CX 5
×
👍ПодобаєтьсяСподобалось0
До обраногоВ обраному0
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Перегін даних різний буває: об’єм, realtime/offline, data sources, data transformation, залежність даних від різних сорців, агрегація чи роздроблення і т.д..
В залежності від того вибирають: big data frameworks, enterprise patterns frameworks (camel vs spring integration) чи без нічого або ще щось.

Spring. Несмотря на все преимущества (если вообще есть) Talend, нельзя забывать про фактор автобуса.

Причем тут Spring к обработке данных? Spring — экосистема, построенная на множестве проектов: Spring DI, MVC (REST), Data, Security, Spring Boot etc.

Бачив його тільки на одному проекті.
Нічого хорошого сказати не можу.
Як і взагалі хороших відгуків по нього не чув.
Навіщо він вам? Чого не вистачає?
Чи так аби просто в резюме добавити?

Просто я не senior и даже не middle, но сказали проект поднять и технологии выбрать. Вот кроме как на форуме спросить не у кого. Вот и задаю глупые вопросы))

Я даже знаю, почему сказали именно тебе. Ты единственный, кто не знает что это невозможно.

спринг батч хорош для любых задач, но достаточно сложный для новчиков
зы: с таленд не работал

Что за данные? Какое количество? Что подразумевается под обработкой?

Что лучше выбрать для обработки данных Spring или Talend?

MS Excel же!

а бигдаты эт немного про другое

Что лучше выбрать для обработки данных Spring или Talend?

1) Спринг — это про построение приложений в общем, а не про обработку данных (или биг данных).
2) Таленд — это какая-то хна, скорее всего надстройка над опенсорс решениями. То есть вам нужно будет изучить ее особенности + опенсорс решения на которых она построена.

Может у кого есть опыт работы с большим количеством данных?

А теперь самое важное: Больших это сколько? Какая у вас стоит задача?

А как же Spring Batch?

Хм, таки да :) Просто когда говорят «Спринг», то Спринг Батч — это далеко не первый «компонент» спринга про который вспоминаешь.
Но он скорее для организации флоу. То есть если вам нужно сделать «однообразную перепаковку», то он подойдет для некоторых объемов данных, особенно если у вас все остальное приложение на спринге.

И остаются вопросы:

Больших это сколько? Какая у вас стоит задача?

Нужно разработать более менее универсальную систему для переноса данных между различными ERP системами. Но наверное, это все-таки не биг дата))

Нужно разработать более менее универсальную систему для переноса данных между различными ERP системами.

СпрингБатча должно хватить с головой.
Но вполне возможно что и он вам не нужен. Попытайтесь ответить для себя на вопрос: Какую узкую проблему должен вам решить фреймворк?
В случа со СпрингБатчем — это «более-менене стандартное описание шагов трафера данных».

Возможно вам еще стоит взглянуть на Spring Integration и/или Apache Camel. Они текже могут быть полезны. Но надо понимать, что я не знаю требования к вашей системе.

Если это односторонний одноразовый перенос из 1С 8, то вряд ли нужны какие-то специализированные фреймворки.

Если большое количество данных, то лучше напрямую с базой данных. То есть основные действия, требующие грамотного проектирования, произойдут на базе. А именно — выбор адекватных типов данных, правильное построение индексов, нарушение требований нормальных форм (формирование предвыборок в отдельные таблицы) и т.д, и т.п.

Кстати, а что такое большое количество? Потому что 100 000 записей — это кот наплакал.

Нужно разработать более менее универсальную систему для переноса данных между различными ERP системами. Но наверное, это все-таки не биг дата))

Попытка разработать универсальную систему чего-либо — безумна даже для охотников за единорогами и писателями убийц фейсбуков. Если бы существовало что-то универсальное, программисты бы уже лет 50 как стали редкой вымирающей профессией.

Даже для двух систем написать нормальный переход — задача не одного года. Хотя бы потому, что выполнять переходы для ERP нужно по живому, под «воодушевляющие» вопли менеджмента «не работает, давай переходи обратно».

Спасибо за совет, но заказчик требует, будем пытаться)) Хоть по срокам буду ориентироваться.

По срокам это никогда. Посылайте такого заказчика к конкурентам — не ошибётесь.

Підписатись на коментарі