Если не секрет — рассматривали ли Hadoop как вариант ?
Из того что вижу то описанная задача это решается через hdfs, kerberos, sentry, ranger, atlas (если не хотите идти в клауд)
Спросили ;) они забыли спросить про TCP/IP стек и DNS :)
Видео будет. Я так понимаю обрабатывается.
Как и обещал презентация по Big Data aggregation techniques
www.slideshare.net/...tation-33353662
Особенно когда вопрос с формами :( Только в самом конце мог его нормально пройти. Перебор полный, о чем кстати написал в BB. Ответа, к сожалению, небыло.
Pivotal отлично так работает уже много лет :) и все довольны