Є ідея гри чи геймінг-сервісу? Реєструйся на онлайн-хакатон 7.08! Призовий фонд — $3000
Software Developer / Data Scientist
  • Навіщо розвивати українську мову в ІТ-секторі

    Дякую, підтримую!

  • Мапа розвитку в Data Science, або Як стати дослідником даних

    Дякую за відгук!
    Ви праві, тут дійсно ні слова про Business Intelligence. Це тому, що Business Intelligence та Data Science вирішують різні завтдання. Якщо грубо узагальнити, то на мою думку BI — це більше про описову статистику та, напевно, трохи про статистичне висновування. DS більше про статистичне висновування, моделювання та оптимізіцію. Деякі ресурси з цієї статті можуть бути корисні і для BI. Наприклад, книжка «The Functional Art» Альберто КаЇро. Але загалом, якщо хочете почати кар’єру в BI, то ця дорожня мапа не годиться. Я не спеціалізуюсь на BI, не юзаю Tableau, Power BI тощо.

    Поддержал: Serhii Kupriienko
  • Мапа розвитку в Data Science, або Як стати дослідником даних

    Дякую за відгук!

  • Мапа розвитку в Data Science, або Як стати дослідником даних

    Привіт, дякую :)

    Поддержал: Marta
  • Мапа розвитку в Data Science, або Як стати дослідником даних

    Дякую за відгук! Згоден, зараз є дуже багато пейперів і немає сенсу застрягати на якомусь незрозумілому.
    Взагалі вміння працювати з пейперами — це скіл. Це не тільки про математичну підготовку, а і про вміння планувати свій робочій процес. Можна знайти 1-5 зрозумілих і дотичних до задачі пейперів, такі що я можу одразу закодити. Узагальнити їх і перевірити на скільки ідеї в них спрацюють для вирішення конкретної задачі. Потім знову і знову ітеративно рухатись від ідей до коду. Хоча це залежить від специфіки роботи. У ресьорчерів, напевно, більше часу йде на пейпери і ознайомлення зі state-of-the-art рішеннями для яких немає, а може і не буде готових бібліотечних рішень в умовному sklearn. То треба заглиблюватись в деталі і реалізовувати самостійно. А хтось може вирішити свою задачу лінійною регресією і не перейматись через формули.

  • Мапа розвитку в Data Science, або Як стати дослідником даних

    Так, згоден. Все дуже залежить від проєкту, компаній, спеціалізації в рамках DS тощо. Комусь математика більше потрібна, комусь менше. Комусь важливіша теорія ймовірності, комусь матаналіз. Я, наприклад, можу реалізувати backpropagation, але крайній раз робив це на курсах, на роботі ще жодного разу не доводилось реалізовувати його руками. Джун може починати з простіших речей, а попрацювавши 1-3 роки і з даними і моделями набереться досвіду і математику у вільний час прокачає. Було б бажання.

    Поддержали: Anton A, Tetiana Khoroshun
  • Мапа розвитку в Data Science, або Як стати дослідником даних

    Будь ласка

  • Мапа розвитку в Data Science, або Як стати дослідником даних

    Дякую за відгук!

    А скільки вам часу зайняло від початку навчання до роботи дослідником даних? 1-2 роки?

    Так, приблизно 1.5-2 роки. З різною інтенсивністю. Більшість цього терміну я працював розробником, тож на DS/ML залишалось не так багато часу як хотілося. Під час відпусток вчив інтенсивніше. В якийсь момент я відчув що досяг певного рівня знань і треба прогресувати далі, але тоді не встигатиму на роботі. Тому пішов з роботи і ще на кілька місяців сфокусувався виключно на DS. Такий собі ривок. Після цього знайшов нову роботу вже аналітиком даних. Пошук роботи зайняв 1-2 місяця. І для цього я переїхав в Київ, бо в Дніпрі значно менше джуніорівських вакансій.
    Але нікого не закликаю звільнятись) Це суто мій спосіб свічнутись + я тоді заздалегідь фінансово підготувався до кількох місяців безробіття.
    Можливо можна швидше це зробити. Нижче в коментах порадили лаконічніший список курсів. Але я нікуди не поспішав, тримав той темп навчання, який мені підходить :)

    Чи виникали під час процесу сумніви щодо доцільності навчання?

    Що саме ви маєте на увазі? Доцільності якогось конкретного курсу/книги? Почав, а потім засумнівався чи треба закінчувати? Таке було, декілька книг припинив читати бо не сподобались (в цій статті я їх не згадував). Але не дуже люблю незавершені справи, деякі курси ставив на паузу і повертався до них пізніше, коли було натхнення :)

    Були деякі сумніви чи в тому я взагалі напрямку рухаюсь; чи не сфокусувався я на якомусь фрагменті не помічаючи інші важливі напрямки; чи не застряг я на технологіях/підходах, які застарілі, або дуже рідко використовуються, тому звужують кількість можливих вакансій. Це типові проблеми самоосвіти. На мою думку з цим може допомогти гарний офлайн курс чи ментор, хтось, хто складе притомну, всеохоплюючу, систематизовану дорожню мапу до навичок, які затребувані на ринку праці.

    Якщо ви питаєте чи були у мене сумніви щодо доцільності вчитись і свічнутись з розробника в DS, то не було. Мені це таки цікаво. Навіть попри те, що я тимчасово просів по зп, ставши джуном в новій професії.
    Під час пошуку роботи були певні сумніви, що можливо я ще мало вмію і тому варто ще трохи повчити, а тим часом ще попрацювати розробником. Але я радий що не довелось цього робити. Я себе мотивував тим, що кожна година яку я витрачу на розробку — це година, яку я змарнував не витративши на DS, я все ще на годину далі від мети.

  • Мапа розвитку в Data Science, або Як стати дослідником даних

    Дякую за відгук! Підписався на канал

    Поддержал: Vladimir Gavrish
  • Мапа розвитку в Data Science, або Як стати дослідником даних

    З приводу Савенкова дійсно, в нього є і освіта фізика, дякую що виправили. Але ж він все одно залишається гарним прикладом, що людина може розвиватись гармонійно. Доклавши зусиль можна досягти успіху в різних сферах.

    Поддержал: Tetiana Khoroshun
  • Мапа розвитку в Data Science, або Як стати дослідником даних

    Камон) Дякую за відгук!

    Но я в жизни не поверю, что человек, в жизни не решивший ни одного нелинейного диф.уровнения 2го порядка, не доказавший ни одной теоремы, не умеющий в голове прикинуть как на ассимптотике поведет себя функция, сможет действительно понять в

    Так, не зможе. Саме для таких людей я навожу посилання на mathprofi, наприклад:
    mathprofi.ru/...​ija_vtorogo_poryadka.html
    mathprofi.ru/...​nie_vtorogo_poryadka.html
    Звісно це нелегко. Але всі колись починають. Хтось після школи, хтось зараз почне)

    Пройдя курс уку и год не трогав математику, ты уже ничего не вспомнишь.

    На скільки реально рік не стикатись з математикою працюючи в DS? Я навожу курси, з яких можна починати. І ніде не стверджую, що на цьому треба зупинитись. Навпаки заохочую поглиблювати свої знання.
    Звісно можна почати з отримання диплома фіз-факу чи мех-мату. Проте я сам не йшов цим шляхом і не можу радити його іншим, я нічого не знаю про такий шлях. Хоча на справді, я розглядаю для себе варіант отримати ще одну освіту, наприклад, в УКУ. Але знову ж таки. Тут я фокусуюсь на тому, як «войти в DS». Для отримання офера і старту кар’єри є різні варіанти. Я виклав той що спрацював для мене.

    Вот только ценность ее конечно чуть выше фотки котиков в инстаграме, ибо такого рода статей уже было опубликовано больше, чем коммитов в репозиторий ядра линукса.

    Той самий аргумент справедливий по відношенню до багатьох речей. Наприклад, про онлайн курси з ML чи програмування можна сказати, що їх «больше, чем коммитов в репозиторий ядра линукса». Проте особисто мені цікаво проходити різні курси, бо попри те що люди висвітлюють одну і ту саму тему, вони висвітлюють її по-різному, через призму власного досвіду. Принаймі я ще не зустрічав двох лекторів, які розповідали б одне й те саме однаково. Кожен досвід унікальний.

    Моя стаття стала реакцією на прохання конкретної людини описати як свічнутись. Значить як мінімум одній людині це може бути цікаво :)

    І в мене була ще одна причина написати цю статтю. Я знаю що повно подібних матеріалів англійською та російською мовами. Проте я прихильник створювати свій україномовний контент.

    п.с. дякую за посилання на інші курси. Я особисто не проходив Machine Learning Andrew Ng (shame on me), тому вирішив не радити його від себе, оскільки тут я ділюсь тільки власним досвідом. Але від всіх хто його проходив, я чув лише позитивні відгуки. З курсом від ODS я знайомий і кілька разів згадую в моїй статті. Корисний курс. Зрештою так, вибір є :)

  • Мапа розвитку в Data Science, або Як стати дослідником даних

    Дякую за відгук!

    якщо говорити про «геть з нуля», то я думаю спочатку треба витрати місяць на МатПрофі і місять на туторіал Пайтона — потім рухатись далі буде набагато легше.

    Згоден. Особисто я почав з пайтона, основ статистики (не викладали у ВНЗ) і двох книжок по ML: «Make Your Own Neural Network» та «Introduction to Machine Learning with Python». Книжки саме для новачків. Я статистику почав вчити з курсів на Prometheus. Проте на МатПрофі є і статистика, і функції, і похідні, і теорія ймовірності. Корисний сайт.

    Поддержали: Anton A, Kostyantyn Kravchenko
  • Данные важнее, чем модели. Как выглядят эффективные процессы в Data Science

    Днями вийшла цікава стаття towardsdatascience.com/...​lls-for-2020-a5a53226b168
    Є думка, що дослідникам даних варто знати Agile. Можливо варто прийти до певного симбіозу CRISP-DM зі Scrum, наприклад, щоб можна було разом з тімою девелоропів нарізати таски на спрінти в 1-3 тижні, трекати разом з усіма прогрес, релізитись, коротше синхронізуватись і жити в тому ж темпі, в мирі і злагоді з усіма стейкхолдерами)
    Може хтось поділитись досвідом взаємодіє аналітиків з девелоперами і на скільки сумісні CRISP-DM та Agile у вашій практиці?

  • Данные важнее, чем модели. Как выглядят эффективные процессы в Data Science

    Все що я нижче напишу суб’єктивно, не претендую на оптимальність такої дорожньої мапи, разом з тим я саме таким чином мігрував з розробки ПЗ в аналітику даних. Будь які поради і зауваження вітаються :) Можливо в твоєму випадку ти вже маєш певні знання і більшість моїх порад будуть вже зайвими :)

    Підготовку я би умовно поділив на три складові:
    — вивчення необхідних аналітику інструментів;
    — вивчення певних розділів математики і статистики;
    — безпосередньо сам DS і ML.

    Хронологічного порядку тут не має, вчити можна в будь якому. Та і сам поділ умовний бо часто курси та книги в тій чи іншій мірі одночасно охоплюють і теорію, і інструменти, і безпосередньо DS та/або ML. Отже джерела:

    Що стосується інструментів у моєму випадку це python, numpy, pandas, matplotlib, jupyter, sklearn, keras тощо.

    Python я вчив по книзі та Stack Overflow :) На жаль забув назву книги, але мова популярна і книг та курсів 100500.

    У Jupyter Notebook інтуїтивно зрозумілий інтерфейс і все досить просто, якісь курси не потрібні) До речі jupyter notebook не обов’язково ставити локально, достатньо мати інтернет і для швидких експериментів можна ранити його online, наприклад, на Google colab colab.research.google.com. Там вже є більшість базових для DS/ML python модулів і можна доставити потрібні, можна підключити Google диск і тримати там дані, є якась інтеграція з GitHub, загалом зручна штука.
    Якщо хочеться переглянути notebook на GitHub, інколи GitHub тупить і не відображає їх, тоді лінку на файл на GitHub можна підгрузити і переглянути тут) nbviewer.jupyter.org

    З Numpy можна ознайомитись тут habr.com/ru/post/352678
    З Pandas тут m.habr.com/...​/company/ods/blog/322626
    Та курс від Мічіганського університета, як юзати pandas та інші python ліби саме для дослідження даних ru.coursera.org/...​earn/python-data-analysis

    Matplotlib та інші інструменти для візуального аналізу даних:
    habr.com/...​/company/ods/blog/323210
    Курс по візуалізації від Мічіганського університета
    ru.coursera.org/learn/python-plotting
    Курс по візуалізації від Анатолія Бондаренко (засновник та керівник порталу Texty.org.ua). В цьому курсі не має програмування, але це цікавий курс про те як краще візуалізувати дані, щоб візуалізація була зрозуміла іншим людям.
    courses.prometheus.org.ua/...​s/IRF/DV101/2016_T3/about

    sklearn. Цю лібу часто використовують в підручниках/курсах з основ ML, тому що вона надає високорівневе API, яке дозволяє користуватись багатьма алгоритмами класичного ML, не замислюючись над деталями реалізації чи деталями алгоритма. Хоча, якщо ви розберетесь з алгоритмами — це дозволить вам свідомо краще підбирати гіперпараметри моделі і це чудово) Отже sklearn і основи ML можна вивчити на курсі від Мічіганського університету www.coursera.org/...​ine-learning/home/welcome
    Ще є розкішна книга видавництва O’Reilly www.oreilly.com/...​to-machine/9781449369880
    Схоже тут можна зареєструватись та завантажити без СМС та з реєстрацією) www.twirpx.com/file/2164153

    Ще про деякі алгоритми ML є цикл цікавих статей habr.com/...​/company/ods/blog/322534

    Якщо на старті ви плутаєтесь в усьому зоопарку ML моделей, є статті які простою мовою без технічних деталей класифікують всі ці алгоритми
    vas3k.ru/blog/machine_learning

    Після знайомства з класичним ML, можна ознайомитись з Deep Learning.
    Є курс від Олеся Петріва (крутий фахівець з VideoGorillas). Загалом курс по основам ML, але на останньому тижні розглядаються і приклади CNN та LSTM, з цього можна почати своє знайомтсво з Deep Learning.
    courses.prometheus.org.ua/...​s/IRF/ML101/2016_T3/about
    Ще э розкішна книжка Deep Learning with Python
    eng drive.google.com/...​4debJXwkzgYrjp84xn-h/view
    rus drive.google.com/...​CBZh5fG0MXTyyDekiGzy/view

    Після того, як ви ознайомились з основами і поширеними моделями, при бажанні можна глянути на екзотичніші речі типу Reinforcement Learning, Fuzzy Logic, Genetic algorithm тощо. Деякі з них типу Reinforcement Learning можна розглядати як цілу спеціалізацію, глибоко дослідити і можливо зробити кар’єру як спеціаліст саме в цьому напрямку. Деякі, наприклад, Genetic algorithm можуть стати в нагоді у звичайному ML чи навіть простих статистичних моделях без навчання. Наприклад, для підбору гіперпараметрів чи параметрів моделі, якщо з якихось причин ваша цільова функція є не типовою, а своєрідною комплексною метрикою з конкретної предметної області, важлива для бізнесу, але з математичної точки зору вона не диференціюється і тому ви не можете оптимізувати параметри популярним градієнтним спуском.
    Але це все скоріше подальший розвиток в сторону алгоритмів. Знайти першу роботу в DS/ML можна і без цього.

    В принципі на цьому етапі немає поділу на спеціалізації типу Computer Vision, NLP, аналіз часових рядів тощо. Це загальні штуки які потрібно розуміти любому початківцю для пошуку роботи.

    Власне сама робота — чудовим спосіб навчання новому :) Навіть якщо вас поки не беруть на роботу вашої мрії в Boston Dynamics, чи куди ви там хочете, спробуйте влаштуватись в якийсь стартап чи що. Скоріш за все ви там здобудете корисний досвід!

    Ще крім засвоєння алгоритмів варто навчитись збирати та опрацьовувати дані. Веб скрапінг, інтеграція з API, перевірка невалідних/відсутніх значень, трансформація категоріальних ознак в кількісні чи навпаки, масштабування та нормалізація значень, генерація нових значень, наприклад з допомого moving average тощо. Загалом збір і опрацювання даних займає 80% і не менш важливі ніж розуміння алгоритмів. До речі для трансформації даних вам можуть згодитись знання з математики і статистики.

    Якщо треба підтягнути знання зі статистики, є курс з основ описової та вивідної статистики: навчить що таке вибірка, медіана, дисперсія, розподіл, кореляція, p-value тощо
    courses.prometheus.org.ua/...​IRF/Stat101/2016_T3/about
    Цей курс передбачає знання мови програмування R
    По R є курс (лінка нижче). Я не проходив його повністю, навіть половини достатньо, щоб читати приклади коду з курсу про статистику вище. Свої рішення я реалізовував на Python.

    Курс по R stepik.org/course/497/promo

    Якщо треба підтягнути знання з теорії ймовірностей, є курс від МФТІ на курсері www.coursera.org/...​heory-basics/home/welcome
    Від них же є курси з комбінаторики, графів, теорії ігор тощо. Але це саме математичні курси, вони розповідають не тільки те, що практично застосовується в DS та ML. Але потім, коли будете розглядати алгоритм, наприклад, Naive Bayes класифікатора — знатимете звідки ноги ростуть)

    З приводу матричного множення та диференціювання важко щось порадити, бо я це вивчив ще в ВНЗ.
    Якщо є бажання попрактикуватись з диференціюванням мені свого часу став у нагоді сайт mathprofi.ru
    Але на мою думку для початкового рівня знайомства з DS та ML це занадто. Є прикольна книжка, де автор нагадує що таке матричне множення і диференціювання і в той же час демонструє для чого вони потрібні в ML, реалізуючі from scratch просту нейронну мережу www.yakaboo.ua/...​v_4Xm0WrXHARoCysUQAvD_BwE
    Просте зрозуміле пояснення, але книжку не всі будут купувати, тож feel free гуглити статті на DOU, наприклад :)

    До речі з приводу купівлі книжок, порада для тих хто з Дніпра і любить паперові книжки, є класний книжковий магазин «Скорпіон», де можна знайти гарні книжки про Machine Learning та Big Data.

    Є ще купа ресурсів, які корисно відвідувати для тренування і навчання:
    www.kaggle.com
    arxiv.org
    towardsdatascience.com
    machinelearningmastery.com
    тощо

    Наостанок додам, що окрім самостійного навчання по книгам та окремим онлайн курсам, може бути корисно знайти ментора, гарний офлайн курс чи широкий послідовний онлайн курс, який проведе вас крок за кроком через всі потрібні знання для створення повного pipeline роботи з даними, від збору даних, до їх очистки, аналізу, підготовки фіч для тренування, до вибору самої моделі, тренування її, тюнінгу і оцінки результатів. Можливо ще зберігання даних і розгортання всього цього добра. Власне кожен степ того workflow, які розглядаються в цій статті на DOU. Такі об’ємні курси сформують цілісну картину.

    З оффлайн курсів можу порадити Hillel ithillel.ua
    У них можуть бути курси в різних містах України, залежно від того чи набереться в вашому місті група бажаючих. Ймовірно якість і програма курсу залежить від того, хто викладає. В мене був викладач Олександр Коробов (Київ) і мені дуже сподобалось.
    І ще для тих хто з Дніпра, у вас є компанія ISD, яка спільно з SOLVVE іноді проводять безкоштовні курси з ML. Не впевнений що у них це якісь систематичні курси, можливо вони їх проводять коли є потреба когось навчити і взяти до себе на роботу найкращих з групи. Переглядайте об’яви на їх FB сторінці www.facebook.com/isditcompany

    Власне у мене все. Буду радий почитати ваші зауваження. Особливо цікаво почитати досвід міграції в DS чи ML тих хто так само спершу працював розробником, бізнес аналітиком тощо. І тих хто цілеспрямовано навчався саме на аналітика даних, статистика, математика, можливо я упускаю якісь важливі знання/скіли, які дає академічна освіта. І тих хто вже давно працює в цій галузі, які ще скіли корисно розвивати для професійного росту?
    Можливо, якщо буде час і натхнення, структурую свій лонгрід, врахую зауваження і зроблю повноцінну статтю)

  • Данные важнее, чем модели. Как выглядят эффективные процессы в Data Science

    Дякую за статтю. Лаконічно, але разом з тим змістовно і гарно написано

  • «Зарплата інженера-програміста в оборонній сфері — $600-700». Як працюють військові розробники в Україні

    Его начальство хочет, чтобы мои дети платили им налоги после захвата этой территории. Они не отдадут такого приказа.

    Не зовсім зрозуміло нашо збирати податки з ваших дітей, якщо можна привласнити ваш бізнес, житло, автівку тощо, віддати все це власним дітям, вони теж і не гірше за вас зможуть сплачувати податки з привласненого бізнесу) а вас і ваших дітей згноїти на підвалі, наприклад. «Розкулачення» — давня забава східних «братів». А взагалі можна розібрати заводи і вивезти з окупованих територій в РФ, а місцевим залишити депресивний регіон типу Абхазії і мрії про «світле майбутнє». А так звісно «какая разница», та ніякої) Окупанти ж приходять щоб покращити ваше життя, інших справ у них не має)

  • «Зарплата інженера-програміста в оборонній сфері — $600-700». Як працюють військові розробники в Україні

    Политическая элита приказала армии убивать население этого региона (если понадобится — и мирное) пока не удастся снова собирать налоги из этой территории.

    І саме тому, надихнувшись бажанням збирати побільше податків з регіонів, «київська хунта» запровадила децентралізацію, надавши можливість регіонам самостійно витрачати значну долю зібраних податків. Л — логіка.

  • «Зарплата інженера-програміста в оборонній сфері — $600-700». Як працюють військові розробники в Україні

    > Его начальство хочет, чтобы мои дети платили им налоги после захвата этой территории. Они не отдадут такого приказа.

    Думали деякі комерси з Донбасу, поки МГБ не віджало в них АМТ, а самих комерсів посадило на підвал. Або мешканці Донбасу, які теоретично могли б платити податки, але чомусь були закатовані і вбиті через українську символіку. Напевно їх податки в ДНР були не потрібні)

  • «Зарплата інженера-програміста в оборонній сфері — $600-700». Як працюють військові розробники в Україні

    Так пишите, ніби це щось погане :D

  • (UPD: Тема закрыта) Психологическое исследование

    > часть вопросов нет однозначного ответа

    може це не баг, а фіча))
    Власне був би я студентом психологічного факультету з самоповагою, я б питав порад з приводу правильності складань опитування у свого... учага увага... куратора дипломної роботи :) Не у піддослідних, просто тому що їх рівень знань з психології зазвичай трохи вище нуля. Як казав Доктор Хаус, з паціентами не обов’язково спілкуватись) Це як питати юзерів як краще написати SQL query :)
    Я розумію, що є люди, яким важко інтерпретувати слова «Обычно я получаю от жизни радость». Моживо вони хотіли б бачити більш точну оцінку замість «обычно», можливо медіану, квартелі і середньоквадратичне відхилення)) Можливо гістограму розподілу життєрадісності всіх людей на планеті, серед яких вони могли б точно визначити своє положення відносно медіани і так їм було б зрозуміліше, чи вони «обычно» отримують радість від життя, чи ні :) Головне над кожним питанням розмірковувати не меньше 5 хвилин, бо раптом ви щось не так інтерпретували)

    Я от про що подумав, можливо настав час, щоб на dou з’явилась стаття «Інтерпретація слів спонукає мене бути експертом з психологічних опитувань і розповідати людям про їх недоліки в інтернетах, бо я краще знаю як треба», десь поруч з «Офісний шум сильно выводит из себя». А може й ні :)

    Поддержал: Anna Klintsova
← Сtrl 12 Ctrl →