Розробка ·
2 грудня 2012, 14:10
1757
Кто в Украине использует Hadoop Map/Reduce?
Расскажите какие задачи Вы решаете с их помощью?
Підписуйтеся на Telegram-канал «DOU #tech», щоб не пропустити нові технічні статті
👍ПодобаєтьсяСподобалось0
Facebook
LinkedIn
50 коментарів
Додати коментар Підписатись на коментаріВідписатись від коментарівАгрегация логов для репортинга.
в основном для ETL: обработка десятка Тб логов ежедневно для последующего BI/ad-hoc анализа в хранилище... правда не в Украине, но думаю, вопрос не особо к территории был привязан :)
Мы используем Hadoop платформу для анализа логов проприетарного приложения. В теории там их будут миллионы и миллионы ежедневно =)
Миллионы это гигабайт данных, можно на домашнем нетбучике анализировать без всяких хадупов.
Миллионы в день, вряд ли
Почему? Какие принципиальные ограничения? Вот я сейчас пилю програмку она обрабатывает200-400 миллионов транзакций в сутки, логирую я все что только можно, потом все это перевожу в бинарный формат, компрессую и за пол года получилось 100ГБ данных, и все это успешно анализирую на своем ноутбучеке.
А какой бинарный формат используется? Protobuf?
Начинал с авро, но потом сделал свою реализацию колонкового хранилища, получилось в раза 3 быстрее, не знаю почему.
Почему же? Опишите проблему
Спасибо кэп. Заказчики походу тупые, мы (девелоперы) тоже. Всего лишь надо было на нетбуке анализировать...
получается что так
Переливка (ETL) кликстрима из HDFS в вертикальную базу данных для последующего анализа.
Да просто сделать join двух больших файлов (десятки/сотни гигабайт, когда в память ну никак не лезет) удобнее всего залив их на S3 и запустив небольшой PIG скрипт на Amazon EMR. Даже просто логи анализировать неплохо.
Весной (кажется) Вадим Залива (Codeminders) делал семинар в Киеве на эту тему, человек 30 было. Вот у них можно и спросить — dou.ua/...users/krokodil
С помощью hadoop гоняем данные для корпусной лингвистики, information extraction и сопутствующих вещей + загрузка некоторой части данных в облака Амазона. Задача отлично легла на такую модель, увеличение пропускной свособности свелось к простому наращиванию железок в кластерах.
Який софт використовуєте для NLP з Hadoop?
Luxoft. Если совсем по-простому, на входе выгружаем данные из Oracle в XML. Потом многоступенчатые преобразования XML с помощью XLT. Затем загрузка XML в Oracle.
вы делаете XSLT преобразования в хадуп?
Если там миллионы или миллиарды файлов, то почему бы и нет.
Подход MapReduce здесь вполне применим.
Другое дело, зачем наплодили миллионы файлов, но раз уж так получилось...
Так же закономерен вопрос оптимально ли хранить/серриализовать в XML большие обьемы
Навскидку на ум приходит Apache Avro.
У нас в HDFS все данные хранятся в сжатом и криптованном виде. В одном файле — много XML документов.
Да, все промежуточные результаты хранятся в HDFS.
Мы используем CDH3 Update 4 (cdh3u4).
Есть проект нового поисковика с социальной компонентой, Elasticsearch, Hadoop, Ruby.
Мне аж интересно стало, а вы Elasticsearch насколько плотно используете и как впечатления от данного инжайна?
Начали в первые и недавно, делаем конвертацию из MySQL Cassandra в Elastic для индексации, и поиска.
?
engine
Я вот анализирую десятки миллионов статей на своем компе. Лучше начать с рук а не хадупа.
Ну можешь начать свою оптимизацию например с выбрасывания монго с ее write lock и питона который сливает по производительности джаве в 30 раз.
Сложно сказать где у тебя грабли, но однозначно если у тебя все в памяти тормозит на 10к документов, то для миллиона тебе хадуп не поможет
Можете описать свой алгоритм: что на вход, что на выход, какие действия, сколько проходов по данным?
ISD в некторых проектах в Днепропетровске. В Киеве тоже целый ряд компаний.
А какие задачи решаются?
Распределённые. :-)
По анализу больших объёмов данных.
-
Копают данные пользователей FaceBook. Так копают, что это получилась лучшая антиреклама FaceBook, которую я видел/слышал.
Искали с лета и ищут до сих пор. Потому что очень мало кто этой темой владеет.
Теперь параноики побегут удалить свои анкеты
Или просто не будут сорить данными о своей приватной жизни лишний раз. И правильно.
Параноя-параноей, но privacy никто не отменял. И никто не отменял желающих влезть в чужую жизнь без согласия человека.
Прямым текстом откровенно рассказали, что по данным из FaceBook и из других источников (сопоставляя данные о личности) вычисляют примерный район проживания и уровень доходов человека.
Вам оно надо, чтобы о вас это знали неизвестно кто?
Это уже, конечно, край. Но я и без того дико сомневаюсь в том, что стОит какие-то данные о себе выкладывать в сеть.
Системы помнят всё. Мало ли как это захотят использовать через N лет, мало ли чего вы будете стыдиться через N лет (например, радикальных взглядов в молодости), мало ли что вам захотят припомнить такого, через что вы прошли и хотели бы умолчать. Люди меняются, а данные о прошлом остаются.
Социальные сети можно использовать с пользой для себя, если соблюдать осторожность. Не писать лишнего, не публиковать лишнего, не добавлять в друзья кого попало и прочее. Но обычно люди этого не понимают и сорят данными как только могут.
вы о продуктах или о программистах, которые пишут продукты с использованием map/reduce для иностранных заказчиков?
-