Стоит ли готовиться к перепрофилированию в Machine Learning?

Приветствую!

Несколько лет назад я начал замечать возросшее количество статей в сети связанных с такими, как некоторые называют, buzzwords как «machine learning», «data science», «deep learning». Не проходит и недели как на news.ycombinator.com появляются статьи, в которых тема так или иначе связана с вышеупомянутыми тегами. Как по мне, наиболее точно причина раскрыта в статье на wired:

www.wired.com/...-artificial-intelligence

Если коротко, то оптимизация существовавших еще с конца предидущего столетия алгоритмов и дешевизна вычислительных ресурсов + значительно большее количество данных (поисковики, социальные сети) позволило наконец использовать машинное обучение для решения бизнес проблем.

Вот еще несколько статей, которые косвенным образом касаются поднимаемой мною темы:

techcrunch.com/...11/11/no-ui-is-the-new-ui
www.nirandfar.com/...s-as-assistants-work.html
www.wired.com/...old-school-text-messages

Много инициатив указывают на то, что взаимодействие с пользователем будет происходить через старый-добрый текст. Только на этот раз это будут NLP AI системы. Пример:

twitter.com/...status/654483471356727296

В нем журналист показывает возможности нового ИИ от фейсбука «Манипенни».

Возросший интерес к Slack с его отрытой интеграций с другими сервисами подводит к мысли, что в будущем будет существовать один-два «хаба» (возможно, нативные и веб апликухи от эпла или гугла), в которых будут просто, скажем, «каналы», как в Telegram (да еще и боты), с которыми будут взаимодействовать пользователи посредством текста. Эти «бото-каналы» будут управляться ИИ или ИИ+саппорт (как в moneypenny сейчас).

Представьте, что новая сеть ресторанов не будет идти в студию за разработкой веб-сайта, моб. клиента и бекенда, а будет платить за разработку ИИ канала (бекенд?) в такой вот хаб. Этим хабом может быть все что сейчас наиболее популярно в конкретном регионе, например, телеграм среди стран СНГ, либо WeChat или LINE если азиатский рынок. Либо Facebook Messenger или WhatsApp если хотите охватить глобальную аудиторию.

Можно предположить, что роль фронтендщиков (веб и мобайл) в таком будущем существенно сократиться, а роль бекендщиков претерпит существенных изменений.

Я имею диплом магистра отечественного университета по специальности «Computer Science». Учась в университете, я не особо уделял внимая математическим дисциплинам. Порой я испытывал трудности в понимании нового материала, но несколько вечеров в обнимку с учебником позволяли мне сдавать необходимые зачеты и в конце экзамены. С другой стороны, я уделял больше внимания ключевым дисциплинам CS, что, собственно, и помогло мне устроиться на работу на 4 курсе.

За время, которое я провел на работе (последние 4 года) я успел подзабыть большинство материала. Взамен, мое внимание чаще всего сфокусировано на *sigh* фреймворках и других базвордах. Недавно мне попалась на глаза статья:

byterot.blogspot.com/...all-of-the-craftsman.html

В ней автор как раз пишет о печальном тренде, которым «пропитаны» современные программисты (и я тоже 😟); называет нас «ремесленниками» (с чем я не могу не согласиться), и указывает нам на тренд, который заставит нас изменится. Этим трендом есть как раз сабж моего топика.

Он (тренд) заставит нас перейти от состояния «craftsman programmer» к «scientific programmer» (собственно, откуда мы и пришли). Ведь если сейчас мы даже иногда опускаем значение структур данных при проектировании приложений (да, грешу), то бегло просмотрев entry-level курсы по машинному обучению на курсере мы видим, что не только структуры данных там используются на порядок сложнее, так и алгоритмы и методы взаимодействия с этими структурами данных требуют знания матана 1-2 курса универа, мат. статистики, теории вероятностей и других. То есть, все то, что я так старательно забывал из-за ненадобности.

Мысли автора этой статьи, собственно, и натолкнули меня создать этот топик. Мне интересно, что думает комьюнити по этому поводу.

Стоит ли сейчас рассматривать необходимость переквалификации в ML как неотвратимое будущее нашей профессии?

👍НравитсяПонравилось0
В избранноеВ избранном0
LinkedIn
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Понравился ваш топик, интересный вопрос вы подняли. В соседней теме линковал уже, вот заметка лида из Uber, в которой он делает предсказания на 2016 в ключе вашей темы:

bit.ly/ConversationalCommerce

Вот хорошая заметка для тех, кто хочет в эту область войти: habrahabr.ru/...119&utm_content=link2post

Але краще не входити )) Цитата із статті:

Сам я как огня пытаюсь шарахаться от таких контрактов. Работаю ли я сам, или в какой-то фирме, которая взяла заказ на разработку.

И таких контрактов-предложений как минимум 99% на рынке. Остаются 1% за которые и грызуться, понимающие в этой области. Кто не урвал из этих 1% пытаются натянуть ежа на глобус, сходить туда-не-знаю-куда и принести-то-не-знаю-что.
Причем когда сам, таких заказчиков можно послать на хутор за бабочками. А вот когда в офисе, то часто как с 7 взаимноперпендикулярными прозрачными красными линиями.
Люди насмотряться современных фантастических фильмов и хотят себе такое же. Просто прогресс сейчас идет с такой скоростью, что люди перестали различать, где фантастика и бред, а где реальность. Для большого количества людей уже просто пользоваться браузером — нетривиально и сложно — в их ощущениях — само что-то такое чудесное происходит (божественное). И они не могут понять, почему браузер не может догадаться сам, что они имели в виду и что они хотят, если он божественен.

Перепрофілюватись треба лише у тому випадку, якщо Ви розумієте, що це Ваше. Якщо ж ціль — гроші, краща робота і т.д., то можна обійтись банальним ознайомленням з доступними інструментами аналізу даних(є гарні GUI типу Orange, KNIME, які за десять хвилин зроблять за Вас чорну роботу). Я не вірю в людей, які, не люблячи математику, можуть щось хороше з нею робити :-) А ML — це багато в чому статистика і числові методи.
Погоджуюсь з людьми нижче, що «ремесленники» нікуди не зникнуть, і вони теж будуть завжди потрібні.

Я зажди рекомендую починати ось з цього www.for-stydents.ru/...-analiza-v-2-h-tomah.html

Machine Learning можна порівняти до їзди на машині. Той хто дуже добре знає, як ремонтувати машину не факт, що зможе добре нею їздити. Я можу гарантувати, що гонщики формули 1 гірше знають будову машини, ніж в найближчому автосервісі, але це не заважає їм ганяти на машинах. Зараз є досить багато різних фреймворків, які можна використовувати не особливо заглиблюючись в технічні тонкощі. Причому їх є достатня кількість як для Java, Python, C#, і навіть на javascript. І є відносно чіткі інструкції на тему, як їх використовувати. І по складності використання як на мене вони порівнювані з іншими фреймворками і технологіями. Наприклад щоб підняти машину Больцмана на Encog з використанням C# в мене пішов тиждень часу. Приблизно стільки часу в мене пішло на колупання в NCQRS. По складності вони однакові, просто складність знаходиться в різних вимірах.

Дело в том, что вся эта бигдата достаточно примитивна по своей сути, и часто сводится к использованию правильных инструментов. Все равно все алгоритмы разрабатываются учеными — девелоперы тупо и рутинно кодят. А стать одновременно хорошим дата сайнс инженером и софтвейр девелопером, полагаю, очень трудно.

То, что называют ремеслом — не так уж и плохо. Ваша работа создавать хорошие абстракции и правильно соединять их между собой. Но что-то я не вижу вокруг толп программистов, которые могут на постоянной основе точно оценить и распланировать свою работу на пару недель вперед и успеть сделать «рутинную и простую» работу в срок. Есть еще над чем работать всем.

Уточню, что тема очень интересная и безусловно трендовая. И никому не повредит хотя бы чуток нахвататься знаний из buzzword-областей

да ладно???
Если взять «примитивный back-propagation», в котором ты не понимаешь почему для обратного распространения ошибки вычисляется экстремум, то нах ты нужен в этой отрасли, ибо первый же затуп в локальном экстремуме или неправильно подобранный коэффициент ускорения обучения или же неправильное количество ассоциативных нейронов (ВСЕ ЭТО КОНФИГУРИРУЕМЫЕ ПАРАМЕТРЫ) и ты ничему не научишь сеть

и ты ничему не научишь сеть
Научишь. Обучение дойдет до некоего локально екстремума и будет работать в соответсвии с ним.
Но, если прилепить ГА и иметь достаточно мощное железо, то можно автоматизировать оптимальный подбор параметров на обучающей выборке.
Правда тут возникает еще один поганый вопрос. Будут-ли так оптимизированные на выборке параметры давать приемлемые результаты на реальных данных.
И всплывает вопрос корректной подготовки обучающих и тестовых выборок, где без знаний деталей работы применяемых алгоритмов никуда не деться.

Та там крапас параметров !
Вот типа ДЛ : rpackages.ianhowson.com/...man/h2o.deeplearning.html
или лесок : rpackages.ianhowson.com/...man/h2o.randomForest.html

xD

ща у мну прикольные тестовые задания висят в норм проекты, уже походу просроченые, а подцепил какойто вирусняк — сорок температура под вечер и подштыривает все время. Вообще не реально шото делать, не то что ковыряться в тестовых выборках и параметрах модели. Если как Антон говорит «закинуть по дефолту» так это лажа 1000%, нафиг оно надо ?

И всплывает вопрос корректной подготовки обучающих и тестовых выборок, где без знаний деталей работы применяемых алгоритмов никуда не деться.
++++++++

А если по теме : я подумываю може надо валить из ДС в «уеб» и программирование ? :) Ну типа пытона синтаксис вроде шарю, дык подучить Джанго и можно валить в «уеб»... Оно как бы совсем и не интересно те сайты делать, но просто навсяк пожарный пусть будет...

А если по теме : я подумываю може надо валить из ДС в «уеб» и программирование ? :) Ну типа пытона синтаксис вроде шарю, дык подучить Джанго и можно валить в «уеб»... Оно как бы совсем и не интересно те сайты делать, но просто навсяк пожарный пусть будет...
Вот только через несколько лет тебя это тупое программирование всякого бреда так достанет, что захочется вернуться. Причем ты уже выдрессировал свой мозг работать интенсивно и он возмутиться, когда не получит дозы.
Так что лучше учи английский и бери заказы на западе.
А и с «человек предполагает, а господь располагает». Я уже хотел забить на речь и даже уже начал делать заказы по визуальным образам. Но, господь — он еще та сволочь. В общем попал я на проект по распознаванию речи и теперь за 3 месяца надо нагнать всё, что я не знаю и надеялся забыть, то что знал. Это жесть — мозг кипит.
Так что будь готов к тому, что как только ты плотно уйдешь в ВЕБ, тебе предложат проект из датасаенс, от которого ты не сможешь отказаться и придется быстро-быстро нагонять то, что пропустил.
А стать одновременно хорошим дата сайнс инженером и софтвейр девелопером, полагаю, очень трудно.
Обычно практически все хорошие дата сайнс иненеры и хорошие программисты. Ибо хрен ты разработаешь алгоритм без приличного умения программировать (как минимум вопросы параллелизации ты должен понимать очень прилично и уметь их применять).
Представь у тебя железо на 8 ядер (в приличных местах на тысячи ядер). Когда ты разрабатываешь и отлаживаешь ты можешь сидеть и смотреть на монитор 3 месяца, пока комп посчитает в 1 поток или распараллелить на это 1000 ядер и через полчаса получить результат.
Дальше, алгоритмы нетривиальны и без примения ООП и функционального подхода ты свой код не прочитаешь и через неделю. В итоге, хорошее знание нескольких языков программирования необходимо. Это С++, matlab, R, python, perl, как минимум. Кроме того, необходимо уметь хорошо читать код, написанный другими, ибо часто вместо того, чтобы ваять собственный велосипед можно заюзать код из инета, но нужно его прочитать и понять, что именно он делает.

Никакого неотвратимого будущего не будет, «ремесленники» будут востребованны еще долго.
Тем не мение, если есть свободное время, почитать чтонить, или там пройти курсеровский курс очень даже не повредит, чтобы не смотреть на область как баран на ворота.
Я кстати получил огромное удовольствие от стендфордского курсеровского курса, так что оно не только полезно, но еще и приятно.

Если хочешь в эту область уйти, то ничего сложного особо в ней не. Знаний за полгода-год наберешь. Но. В странах постсовка таких задач нет и не будет.
Дальше, в нормальных странах и своих специалистов море.
По этому, чтобы успешно пойти по этой области тобой должны быть выполнены следующие предусловия:
1. Очень хороший английский, не читаю и перевожу со словарем, а свободно общаюсь с американцами, индусами, англичанами, немцами и могу обсудить любый вопросы, от рабочих до кто выйграет в этом году в бесбол.
2. Законченная профильная аспирантура в нормальной стране с результатом в виде «пхд».
3. За время аспирантуры написано несколько десятков статей и опубликовано на конференциях и журналах высшего ранга. Тот же IEEE.
Это были только необходимые условия, но никак не достаточные.

Ну а дальше, не забывая про удачу искать заказы, гранты.

То есть, по вашему, если описанное мною будущее имеет большие шансы сбыться, то будущие программисты вынуждены будут иметь PhD?

О нафантазировал. Прочитай еще раз внимательно то, что я написал. И вспомни чем отличаются необходимые условия от достаточных. В институте тебе это рассказывали.

Похоже, кто-то задирает нос от переизбытка матана в организме. И сам путает понятия необходимого и достаточного.

По этому, чтобы успешно пойти по этой области тобой должны быть выполнены следующие предусловия:

Специалистов практиков по ML очень и очень мало — не хватает катастрофически, а данных накоплено очень и очень много. Я знаю, что говорю, так как работаю во французском ML стартапе.
Теперь, что надо чтобы начать карьеру ML:
— Английский на уровне норм общения ( корректные времена и пр ) , понимание английской речи
— Математика на уровне 2-3 курсов + минимум ML курс на Coursera ( с сертификатом ).
— Python/R минимум. Scala+Spark идеально.
— Желание сидеть за компов от 12 часов в день и шерстить бесконечные данные ...
— Все
С этим багажом знаний оторвут с руками ....

При наличии PHD и публикаций — будет очень длинная очередь с большими, жирными офферами от топовых компаний ...

Ну так давай заказы, буду делать тебе, себе процент возьмешь.
Английский у меня только письменный, основной инструмент matlab и плюсы.

Я не являюсь менеджером проекта — давать заказы не могу :) Напишите в привате свой email, скиньте ссылку на CV — я перешлю мененджеру проекта ...

от рабочих до кто выйграет в этом году в бесбол.
А еще иметь 2 метра роста и вес 160 кг.
Очень похоже на отговорку для самого себя, почему еще не получилось. Порог входа не такой высокий, PhD врядли будет требоваться. Как и публикации. Особенно касается местных писак из СНГ в журнале «Огонек» при заборостроительном университете.
PhD врядли будет требоваться.
Как тебе сказать, не то, чтобы требуется, но сильно желателен. И сильно желательны статьи в профильных местах, причем те, которые рейтинговые для всего мира. По речи — это конфы Икасп, Интерспич и журнал IEEE.
почему еще не получилось
Что не получилось? Я в этой области уже более 20 лет.

Ну если подаваться на самый высокий уровень — да, если пониже или аутсорс, то необязательно. В том же Luxoft ищут Data scientist, там глядишь и до машинного обучения недалеко. Дорогу осилит идущий.

до машинного обучения недалеко
Есть большая разница между тем, чтобы тупо заюзать уже готовую либу и досконально понимать как и почему она работает.
В первом случае с результатом как повезет, во втором можешь модифицировать алгоритмы либы так (или написать сам), чтобы получить удовлетворительные результаты.
Вот для второго и понадобятся все знания, что ты набрал за все время работы в конкретной области.
Да, кроме того, хоть подход и называется одной фразой «машинное обучение», но в каждой области применяются в корне разные подходы и алгоритмы. Например, между распознаванием речевых и визуальных образов общего только применение Байеса с его классической формулой условной вероятности. Больше общего ничего.

Надо не внезапно перепрофилироваться, а учиться. Всё время.

Чтобы, в частности, вот это:

знания матана 1-2 курса универа, мат. статистики, теории вероятностей
не было проблемой.

Пока слова «сопряжение», «тензор», «инволюция», «категория» будут синонимом «чего-то страшно непонятного» — да, с перепрофилированием будут сложности. А вот когда вы начнёте для оценки степени опьянения решать интегро-дифференциальные уравнения,- вот тогда заживём.

Я учусь все время (книги, онлайн курсы, блог посты), только в категорию материала, что я изучаю, пока не входила математика. И да, «готовиться к перепрофилированию» означало не внезапно в будущем предстать перед фактом необходимости, а начинать уже сейчас (читай, сменить некоторые приоритеты в подборе материала для персонального обучения).

один профессор говорил типа так — основная работа ресерчера это создать архитектуру приложения, а кодинг можна отдать студентам (дешево или вообще бесплатно). если вы занимаетесь кодингом — вы выполняете работу студентов. Это одна из причин невысоких зарплат програмистов в европе. но с другой стороны, основной тренд сейчас это «успешность любой компании зависит от того насколько она смогла понять что она теперь и ИТ компания» или другими словами в любой современной компании ИТ технологии помогают вырваться на рынке вперед конкурентов, поэтому потребность в тех же кодерах очень высока и сохранится ближайшие лет 10-20 так что даже кодеры без работы сидеть не будут.

бачили ми як ті прохвесори понаписували «архітектуру пріложенія»
бред то все. Максімум що треба це зрозумілий опис алгоритмів

Максімум що треба це зрозумілий опис алгоритмів
Часто это займет время большее, чем если написать самому, кто разработал. Ибо описание будет или для таких же, как этот разработчик и обычному программисту ничего не понятно или книжка страниц в 300.
Уже сталкивался с этим и не раз. Дешевле и качественее получается, если разработчик алгоритма сам его и реализует, причем наружу выставит 3 функции: setcfg, getcfg, process. А программисты уже встроят вызов этих функций в большое и красивое приложение.

Ученые — тоже снобы)

если че — гугл считает что они не ит компания.

Автоматизированный анализ данных по качеству приближается к результатам лучших команд аналитиков, далеко обставляя их по времени. Automating big-data analysis

In two of the three competitions, the predictions made by the Data Science Machine were 94 percent and 96 percent as accurate as the winning submissions. In the third, the figure was a more modest 87 percent. But where the teams of humans typically labored over their prediction algorithms for months, the Data Science Machine took somewhere between two and 12 hours to produce each of its entries..
Он (тренд) заставит нас перейти от состояния «craftsman programmer» к «scientific programmer» (собственно, откуда мы и пришли). Ведь если сейчас мы даже иногда опускаем значение структур данных при проектировании приложений (да, грешу), то бегло просмотрев entry-level курсы по машинному обучению на курсере мы видим, что не только структуры данных там используются на порядок сложнее, так и алгоритмы и методы взаимодействия с этими структурами данных требуют знания матана 1-2 курса универа, мат. статистики, теории вероятностей и других. То есть, все то, что я так старательно забывал из-за ненадобности.
Существует проверенное временем разделение на ученых и инженеров. Оно не случайное — и, думаю, в ближайшем будущем не исчезнет.
Ученый — придумывает новое. Он получает деньги за то, что ведет исследования. При этом требований к результату и сроков его получения не существует. Как и гарантии позитивного результата вообще. Это не решение актуальных бизнес задач — а ставка на будущее, на прорыв, который позволит обогнать конкурентов. Наука требует много денег, риск неудачи высок, но в долгосрочной перспективе это окупается.
Инженер — не открывает ничего нового. Он хорошо знает существующие решения, технологии, компоненты и комбинирует их для решения конкретной бизнес-задачи. С гарантированным результатом и в заданные сроки. Его решение то же может быть оригинальным и инновационным: но нового в нем будет не более 20% — а на 80% это будут уже проверенные решения.
Например: инженер вместо очередного велосипеда придумал Сегвей. Но как бы не говорили что это революционно новое изобретение — он состоит из давно придуманных элементов (колеса, гироскопы, сенсоры и т.д.). Просто надо было догадаться соединить их именно так — и в этом и есть профессионализм инженера.
А ученый в это время работал над открытием антигравитации. Сегвей ему не интересен. В этом и разница.

То есть, вы хотите сказать, что просто появятся новые фреймворки, типа, AI.js или ML.js (аналоги которых, я уверен, уже несколько лет как есть), написанные PhD топовых университетов работающих в компаниях типа Google или DeepMind, и программисты просто добавят себе в профиль на линкеде новый базворд? И рекрутеры будут тогда искать уже «ML Ninja» или «AI Samurai»! 😬

Уже есть. Посмотри видео из предыдущего поста:Azure Machine Learning. Даже кода писать не надо! Визуально соединил готовые алгоритмы и получил сервис в облаке, который будет подсказывать, например, какой фильм смотреть следующим.
Есть готовые библиотеки для распознавания речи, текста, лиц, жестов, эмоций. Есть «виртуальные собеседники» типа Элиза:
ru.wikipedia.org/wiki/Элиза
Суть работы инженера в том, что для него уже все придумали ученые. А зачастую придуманное учеными уже даже реализовали другие инженеры.
Если девелопер изобретает свой алгоритм — значит он придумывает велосипед, вместо того, что бы купить готовый.

Ну что же, тогда, возможно, вы правы, и нам (девелоперам) не следует переживать.

Переживать не следует: на одного ученого, который что-то придумает нужна толпа инженеров и много лет что бы сделать что-то практически применимое. Например, транзистор ученые придумали еще в 1956 году — а первый персональный компьютер инженеры собрали только в 1970.
Конечно, если есть желание серьезно изучить математику и пойти в науку разрабатывать алгоритмы — то это гораздо круче, чем просто быть хорошим девелопером.

Например, транзистор ученые придумали еще в 1956 году — а первый персональный компьютер инженеры собрали только в 1970.
Ух какой ИМХО неудачный пример к данному контексту :(
Во-первых, 56-й — это год получения Нобелевки, думали и придумали его значительно раньше. Привязка транзистора к персональному компутеру и 70-му году — я наверно чего-то не понял. Он же не без дела пылился на полке наццать лет. Транзистор использовали везде, где существовали электронные схемы, усилители, в первую очередь — радио, ТV и радиолокация. Уже в начале 60-х IBM-кие машины 7000-й серии стали использовать транзисторы. Интересно, что в военных целях тогда ученые с инженерами не сильно преуспели: транзистор очень чувствителен к электромагнитному импульсу, одному из поражающих факторов ядерного взрыва. Возможно, именно этой его «уязвимостью» обЪясняется ссылка на 70-е как время расцвета транзисторов — политика «разрядки» и затем «сокращения стратегических вооружений».
Самое ИМХО тут интересное, что принцип работы и область применения полевого транзистора и электронной лампы весьма схожи. Во многих случаях эл.схемы даже переделывать не надо было. Не означает ли это, что его изобрели таки инженеры :) ? сделавшие по дороге несколько открытий и отхватившие Нобелевку? И кстати аналогичный вопрос о микросхемах ... :)

К чему я веду — на самом деле нет такого четкого разделения на работу ученого и инженера (девелопера и дата аналитика, если хотите), все завязано куда сложнее. И не всегда люди «изобретают велосипед» из-за плохой информированности; часто старый девайс просто больше не устраивает по каким-то причинам (лампы — транзисторы — микросхемы — БИС, потому что пришло время компутеров). Такая тенденция (разделения) характерна в основном для совка и его ученика — постсовка. Обратите внимание, что пишет английская википедия о Бардине: «John Bardeen (May 23, 1908 — January 30, 1991) was an American physicist and electrical engineer, the only person to have won the Nobel Prize in Physics twice...» А Шокли, разделивший Нобелевку, у них оказывается вааще за манагера и рукамиводителя был, хотя в натуре — физик и изобретатель: «William Bradford Shockley Jr. (February 13, 1910 — August 12, 1989) was an American physicist and inventor. Shockley was the manager of a research group that included John Bardeen and Walter Houser Brattain, the duo who invented the transistor.»

Уже есть. Посмотри видео из предыдущего поста:Azure Machine Learning. Даже кода писать не надо! Визуально соединил готовые алгоритмы и получил сервис в облаке, который будет подсказывать, например, какой фильм смотреть следующим.
Есть готовые библиотеки для распознавания речи, текста, лиц, жестов, эмоций. Есть «виртуальные собеседники» типа Элиза:
Если бы было так просто. как только ты захочешь заюзать что из этого, всплывет столько нюансов, что или ты изучишь в деталях то, что заюзал или на выходе будет ничего.
При механическом юзании ты получишь результат в виде равномерного распределения — rand(), ну может randn() - нормального.

Я лично пробовал использовать название_библиотеки.js когда встала задача определять тональности текста. И это вылилось в то, что в базовой версии библиотеки все было сделано базово и работало неудовлетвориельно. Мне все равно пришлось думать о том, как дообучать алгоритм...опять же, ML меня победил

пришлось думать о том, как дообучать алгоритм...опять же, ML меня победил
Именно так.

А то! В джаве это MLib например. Там и SVM и back propagation есть и еще много чего, и это все можно распределить на терабайты данных.

При этом требований к результату и сроков его получения не существует. Как и гарантии позитивного результата вообще.
Это устаревшее видение из прошлого века. Сейчас уже не так. Обычно требуется в нужный срок удовлетворить требования и дать позитивный результат.

Насчет buzzwords — это Вы правильно поняли.
Big Data, Machine Learning, Data Science, Business Intelligence, Artificial intelligence — это все именно модные базворды. Так же как Web 2.0, Responsive, Interactive, Agile.
На самом деле за красивыми словами стоит выполнение примитивных операций над большими объемами данных, применение алгоритмов матстатистики, разработанных еще в прошлом веке, и красивое представление результата.
В качестве примера можно представить как домохозяйка заходит на ютуб, а он ей показывает что вышел новый сериал. И она думает «вот только вчера мне соседка про него говорила — а ютюб уже знает что он мне понравится. Вот до чего компьютеры умные стали — почти как люди!»
Или другой пример: камеры следят за покупателями супермаркета и потом компьютер подсказывает переставить какие-нибудь товары поближе к выходу.
Наверняка существуют специалисты, которые разрабатывают новые алгоритмы (например того-же поиска в Гугле). Но уверен что это скорее ученые, чем инженеры. И научились они этому не за год и не сами.
Зато инженер может с успехом применять готовые алгоритмы и запросто сделать то, что сеилз опишет клиенту как Machine Learning или даже Artificial intelligence. Вот пример:
azure.microsoft.com/...on/videos/overview-of-ml
Я бы сказал что специалист, который обрабатывает данные, ближе к бухгалтеру, чем к инженеру. Поэтому девелоперу переквалифицироваться в «дата аналитики» это скорее дауншифтинг, чем развитие.

Я, в принципе, понимаю разницу между «data science» и «machine learning». Вопрос касается, как раз, второго.

Не могу согласится. Если, к примеру, собирать данные о погоде в течении года и данные о продажах садовых принадлежностей, то можно строить интересные модели и предлагать гибкую систему скидок конечному покупателю. Разве это дауншифтинг? Читал недавно на силиконе, что люди с помощью такой идеи успешно повышали продажи и доказали, что идейка рабочая

Если, к примеру, собирать данные о погоде в течении года и данные о продажах садовых принадлежностей, то можно строить интересные модели и предлагать гибкую систему скидок конечному покупателю. Разве это дауншифтинг?
Для девелопера придумывать систему скидок для покупателей? Ну может не дауншифтинг, а переквалификация в маркетолога — но уж точно не разработка софта.

Ок, вашу идею понял и принимаю. Но какова вероятность к 40 остаться без работы, если ты просто девелопер, при условии, что уже сейчас девочки и мальчики в 13 лет успешно кодируют и даже зарабатывают на своих разработках, а к 19 уже тим лиды? Моя логика проста: способность делать сложные вещи-это как минимум гарантия трудоустройства в будущем. Чем ниже порог вхождения, тем больше конкуренции и как итог, старые и больные(не способные адаптироваться к переменам) будут списаны на пенсию

Моя логика проста: способность делать сложные вещи-это как минимум гарантия трудоустройства в будущем.
Логично, что инженер, способный проектировать сложные системы и имеющий большой опыт для избегания «граблей», будет всегда востребован. В отличии от «формошлепа», который пачками клепает сайты или мобильные приложения. И от специалиста по Machine Learning, который умеет набросать в визуальном редакторе алгоритмы и показать красивые диаграммы в Экселе.

Мы сейчас смешиваем разные специализации... Кто-то получает удовольствие сдвигать байты вправо-влево, записывать и читать из аккумулятора и оптимизировать программу с 1кб до 500 байт и такие специалисты очень востребованы. Кто-то находит нужную информацию в тоннах текста со всего интернета, а кто-то занимается архитектурами приложений. Учитывая, что железо сейчас стоит копейки и что вы не храните состояние на back-end, вы просто горизонтальто масштабируетесь, пока хватает кеша. А если у вас есть совсем много кеша, то Amazon сделает вашу жизнь легкой и приятной, позволяя не думать об архитектуре в принципе.

MS молодцы, тут без комментариев, но та частота, с которой они теряют пользовательские данные в облаках служит им плохую службу. Amazon тоже теряет, но не так часто:) За Googlом не слежу, ничего сказать не могу

помню знакомый продавец футболок рассказывал что пик продаж это март-апрель, после этого футболки продаются плохо. если продавец садовых принадлежностей не знает своего сезонного спроса — то он занят не своим делом )))) Ну и еще кореляция погоды и продаж садовых принадлежнойстей прикалывает — на выходный будет солнечно, поэтому купите новую лопату со скидкой прямо сейчас )))

Я не полностью рассказал историю, энти ребята еще прикрутили данные о погоде к Adwords и рекламировали лопатки и грабельки, когда да, погода прогнозировалась на посадку картошки:)

Ну и еще кореляция погоды и продаж садовых принадлежнойстей прикалывает
Особенно в том ключе, что самые мощные суперкомпы у самых продвинутых ученых на сегодня способны эту самую погоду предсказать максимум на три дня с достаточной достоверностью

Wallmart собирала и хранила информацию о транзакциях (фактах купли-продажи в своих магазинах) несколько десятков лет. Пока кому-то не пришла в голову мысль еще раз проанализировать это хранилище, добавив в алгоритмы поиска данные о погодных катаклизмов. В результате было обнаружено, что перед приходом урагана росли объемы продаж не только фонариков (это ожидаемо), но и сладкого печенья и сухих завтраков.
В результате, в магазинах этой сети перед наступлением урагана эти товары выдвигались ближе к витринам и кассам. Спрос вырос.
Продавцы и маркетологи, не видевшие этой тенденции, занимались своим делом ? ;-)
А аналитики, применившие методы Data Mining, — они ученые, маркетологи или ИТ-инженеры?

Так обосрать эту область надо постараться.
До того, что

но и сладкого печенья и сухих завтраков.
 и воды, можно догадаться и без применения
аналитики, применившие методы Data Mining
.
Так что твой пример только о том, насколько всем в этой сети похер на рост прибыли и даже владельцам.

Хе. Бытует мнение, что супермаркеты работают на покупателей. Что неверно по определению — их клиенты в действительности поставщики и производители. Именно им они оказывают услуги по розничной продаже их товаров.
Это как эдакий сландо в «металле». Хочешь разместиться поближе к кассе — заплати дополнительно (типа как выделить объяву цветом). Хочешь повесить рекламку над свои товаром — доплати. Хочешь повысить цену на свой товар — ради бога, супермаркет автоматом пересчитает ее и в т.ч. процент наценки.
Существуют, разумеется, и тонкости. Супермаркет не будет заказывать больше товара, чем он в состоянии продать. Также плохо, когда товар закончится. Это довольно интересная, хотя и не особо наукоемкая, область, однако к выкладке (как в примере) отношения не имеющая.
В выкладке как раз действует обратное правило — самые ходовые товары выставляются в самых дальних частях, чтобы покупатель по дороге «зацепил» что-то еще.

В выкладке как раз действует обратное правило — самые ходовые товары выставляются в самых дальних частях, чтобы покупатель по дороге «зацепил» что-то еще.
В результате, в магазинах этой сети перед наступлением урагана эти товары выдвигались ближе к витринам и кассам. Спрос вырос.

Вот только

Data Mining
ни к первому ни ко второму отношения не имеет. Хотя «британские учоные»...

Ну собственно я это и написал к тому, что тот пример — жуткая макетинговая чушь.

Вот я буяню здесь, коогда подобную чушь начинают приводить в пример применения

Data Mining
.
Прсото выбешивает, когда в мире куча нерешенных проблем, что можно решать уже имеющимися инструментами, но все время подавляющее большинство пытается микроскопом гвозди забивать, а вот тем, где микроскоп реально нужен никто не хочет заниматься.

Помню подобный заказ. Такой вот владелец какой-то сети хотел считать посетителей магазина, но не простым методом — датчики на входах и выходах. А кривыми и дешевыми камерами на потолке. Причем хотел получить результат через 3 месяца. Понятно, был послан (исполнителем предполагался не один человек, а большая аутсорсинговая контора в Минске). Причем предложение о дешевых датчиках категорически отверг.

Вы так круто все разложили по полочкам, что ответ очевиден — да, надо переквалифицироваться. Я как человек, который периодически пишет домашние проэкты и парсит аналы интернетов в поисках крупиц информации, уже порядком устал каждый раз мастерить DOM парсер для каждой страницы. Максимум, во что вылилась моя рацуха-это рекурсивный парсер. Поэтому на уровне идеи понимаю, что по-хорошему мне нужен умный NLP парсер, да квалификация не позволяет реализовать. В перспективе планирую садиться и основательно изучать ML, благо идей где применить хватает. Пробовал изучать ML на курсах Coursera три года назад, но стало скучно. Теперь я понимаю почему-тогда у меня не было понимания где я хочу применить полученные знания. Когда есть реальная задача, которую хочется решить, мотивация вырастает в разы!

Простите, что вы парсите у интернетов?

Скачиваю весь интернет и паршу:)

Псс, паринь, погрепать инторнет не ннада? habrahabr.ru/post/268205 ;)

Подписаться на комментарии