У Тексти є код на GitHub github.com/texty і інколи вони проводять вебінари і викладають відео на youtube youtu.be/nIVJLid4PVk
За решту не знаю
Є ще проекти як Тексти ( texty.org.ua/tag/dezinformatsija ), які серед решти займаються інформаційною безпекою. Наприклад, аналізують ЗМІ на предмет російської пропаганди. Звісно що такі штуки роблять не руками (або не лише руками), а юзають web scraping, публічні API і Natural language processing (NLP).
Можливо чимось таким займається і держава, наприклад, департамент Юлії Лапутіної в СБУ, але я цього не знаю)
Згоден, на udemy та coursera є класні англомовні курси по програмуванню. Плюс по завершенню можна буде додати собі в профіль на LinkedIn сертифікати про проходження цих курсів.
Дякую вам за захист держави!
Успіху вам в новій професії і дякую за статтю і згадані проєкти (IT BRO, Veteranius, Open Doors), можливо це надихне і допоможе ще комусь з ветеранів знайти собі нове ремесло на гражданці.
1. Noosphere Engineering School створили проекти ArtOs для ЗСУ і My Pol для поліції noosphereengineering.com/projects
2. Миротворець створили ШІ для розпізнання терористів і їх посібників по фото identigraf.center
3. Ukrainian Cyber Alliance (FalconsFlame, Trinity, RUH8 та CyberHunta) — кіберактивістів, які протидіють російській агресії
4. Inform Napalm займаються розвідкою на основі відкритих даних (Open source intelligence). Детальніше про OSINT можна почитати в бложику, або в телеграм каналі Molfar molfar.bi/contacts
Це з того що згадав. Якщо хтось знає інші проекти киньте посилання, охоче почитаю.
Дякую, підтримую!
Дякую за відгук!
Ви праві, тут дійсно ні слова про Business Intelligence. Це тому, що Business Intelligence та Data Science вирішують різні завтдання. Якщо грубо узагальнити, то на мою думку BI — це більше про описову статистику та, напевно, трохи про статистичне висновування. DS більше про статистичне висновування, моделювання та оптимізіцію. Деякі ресурси з цієї статті можуть бути корисні і для BI. Наприклад, книжка «The Functional Art» Альберто КаЇро. Але загалом, якщо хочете почати кар’єру в BI, то ця дорожня мапа не годиться. Я не спеціалізуюсь на BI, не юзаю Tableau, Power BI тощо.
Дякую за відгук! Згоден, зараз є дуже багато пейперів і немає сенсу застрягати на якомусь незрозумілому.
Взагалі вміння працювати з пейперами — це скіл. Це не тільки про математичну підготовку, а і про вміння планувати свій робочій процес. Можна знайти
Так, згоден. Все дуже залежить від проєкту, компаній, спеціалізації в рамках DS тощо. Комусь математика більше потрібна, комусь менше. Комусь важливіша теорія ймовірності, комусь матаналіз. Я, наприклад, можу реалізувати backpropagation, але крайній раз робив це на курсах, на роботі ще жодного разу не доводилось реалізовувати його руками. Джун може починати з простіших речей, а попрацювавши
Будь ласка
Дякую за відгук!
А скільки вам часу зайняло від початку навчання до роботи дослідником даних?1-2 роки?
Так, приблизно
Але нікого не закликаю звільнятись) Це суто мій спосіб свічнутись + я тоді заздалегідь фінансово підготувався до кількох місяців безробіття.
Можливо можна швидше це зробити. Нижче в коментах порадили лаконічніший список курсів. Але я нікуди не поспішав, тримав той темп навчання, який мені підходить :)
Чи виникали під час процесу сумніви щодо доцільності навчання?
Що саме ви маєте на увазі? Доцільності якогось конкретного курсу/книги? Почав, а потім засумнівався чи треба закінчувати? Таке було, декілька книг припинив читати бо не сподобались (в цій статті я їх не згадував). Але не дуже люблю незавершені справи, деякі курси ставив на паузу і повертався до них пізніше, коли було натхнення :)
Були деякі сумніви чи в тому я взагалі напрямку рухаюсь; чи не сфокусувався я на якомусь фрагменті не помічаючи інші важливі напрямки; чи не застряг я на технологіях/підходах, які застарілі, або дуже рідко використовуються, тому звужують кількість можливих вакансій. Це типові проблеми самоосвіти. На мою думку з цим може допомогти гарний офлайн курс чи ментор, хтось, хто складе притомну, всеохоплюючу, систематизовану дорожню мапу до навичок, які затребувані на ринку праці.
Якщо ви питаєте чи були у мене сумніви щодо доцільності вчитись і свічнутись з розробника в DS, то не було. Мені це таки цікаво. Навіть попри те, що я тимчасово просів по зп, ставши джуном в новій професії.
Під час пошуку роботи були певні сумніви, що можливо я ще мало вмію і тому варто ще трохи повчити, а тим часом ще попрацювати розробником. Але я радий що не довелось цього робити. Я себе мотивував тим, що кожна година яку я витрачу на розробку — це година, яку я змарнував не витративши на DS, я все ще на годину далі від мети.
З приводу Савенкова дійсно, в нього є і освіта фізика, дякую що виправили. Але ж він все одно залишається гарним прикладом, що людина може розвиватись гармонійно. Доклавши зусиль можна досягти успіху в різних сферах.
Камон) Дякую за відгук!
Но я в жизни не поверю, что человек, в жизни не решивший ни одного нелинейного диф.уровнения 2го порядка, не доказавший ни одной теоремы, не умеющий в голове прикинуть как на ассимптотике поведет себя функция, сможет действительно понять в
Так, не зможе. Саме для таких людей я навожу посилання на mathprofi, наприклад:
mathprofi.ru/...ija_vtorogo_poryadka.html
mathprofi.ru/...nie_vtorogo_poryadka.html
Звісно це нелегко. Але всі колись починають. Хтось після школи, хтось зараз почне)
Пройдя курс уку и год не трогав математику, ты уже ничего не вспомнишь.
На скільки реально рік не стикатись з математикою працюючи в DS? Я навожу курси, з яких можна починати. І ніде не стверджую, що на цьому треба зупинитись. Навпаки заохочую поглиблювати свої знання.
Звісно можна почати з отримання диплома фіз-факу чи мех-мату. Проте я сам не йшов цим шляхом і не можу радити його іншим, я нічого не знаю про такий шлях. Хоча на справді, я розглядаю для себе варіант отримати ще одну освіту, наприклад, в УКУ. Але знову ж таки. Тут я фокусуюсь на тому, як «войти в DS». Для отримання офера і старту кар’єри є різні варіанти. Я виклав той що спрацював для мене.
Вот только ценность ее конечно чуть выше фотки котиков в инстаграме, ибо такого рода статей уже было опубликовано больше, чем коммитов в репозиторий ядра линукса.
Той самий аргумент справедливий по відношенню до багатьох речей. Наприклад, про онлайн курси з ML чи програмування можна сказати, що їх «больше, чем коммитов в репозиторий ядра линукса». Проте особисто мені цікаво проходити різні курси, бо попри те що люди висвітлюють одну і ту саму тему, вони висвітлюють її по-різному, через призму власного досвіду. Принаймі я ще не зустрічав двох лекторів, які розповідали б одне й те саме однаково. Кожен досвід унікальний.
Моя стаття стала реакцією на прохання конкретної людини описати як свічнутись. Значить як мінімум одній людині це може бути цікаво :)
І в мене була ще одна причина написати цю статтю. Я знаю що повно подібних матеріалів англійською та російською мовами. Проте я прихильник створювати свій україномовний контент.
п.с. дякую за посилання на інші курси. Я особисто не проходив Machine Learning Andrew Ng (shame on me), тому вирішив не радити його від себе, оскільки тут я ділюсь тільки власним досвідом. Але від всіх хто його проходив, я чув лише позитивні відгуки. З курсом від ODS я знайомий і кілька разів згадую в моїй статті. Корисний курс. Зрештою так, вибір є :)
Дякую за відгук!
якщо говорити про «геть з нуля», то я думаю спочатку треба витрати місяць на МатПрофі і місять на туторіал Пайтона — потім рухатись далі буде набагато легше.
Згоден. Особисто я почав з пайтона, основ статистики (не викладали у ВНЗ) і двох книжок по ML: «Make Your Own Neural Network» та «Introduction to Machine Learning with Python». Книжки саме для новачків. Я статистику почав вчити з курсів на Prometheus. Проте на МатПрофі є і статистика, і функції, і похідні, і теорія ймовірності. Корисний сайт.
Днями вийшла цікава стаття towardsdatascience.com/...lls-for-2020-a5a53226b168
Є думка, що дослідникам даних варто знати Agile. Можливо варто прийти до певного симбіозу CRISP-DM зі Scrum, наприклад, щоб можна було разом з тімою девелоропів нарізати таски на спрінти в
Може хтось поділитись досвідом взаємодіє аналітиків з девелоперами і на скільки сумісні CRISP-DM та Agile у вашій практиці?
Все що я нижче напишу суб’єктивно, не претендую на оптимальність такої дорожньої мапи, разом з тим я саме таким чином мігрував з розробки ПЗ в аналітику даних. Будь які поради і зауваження вітаються :) Можливо в твоєму випадку ти вже маєш певні знання і більшість моїх порад будуть вже зайвими :)
Підготовку я би умовно поділив на три складові:
— вивчення необхідних аналітику інструментів;
— вивчення певних розділів математики і статистики;
— безпосередньо сам DS і ML.
Хронологічного порядку тут не має, вчити можна в будь якому. Та і сам поділ умовний бо часто курси та книги в тій чи іншій мірі одночасно охоплюють і теорію, і інструменти, і безпосередньо DS та/або ML. Отже джерела:
Що стосується інструментів у моєму випадку це python, numpy, pandas, matplotlib, jupyter, sklearn, keras тощо.
Python я вчив по книзі та Stack Overflow :) На жаль забув назву книги, але мова популярна і книг та курсів 100500.
У Jupyter Notebook інтуїтивно зрозумілий інтерфейс і все досить просто, якісь курси не потрібні) До речі jupyter notebook не обов’язково ставити локально, достатньо мати інтернет і для швидких експериментів можна ранити його online, наприклад, на Google colab colab.research.google.com. Там вже є більшість базових для DS/ML python модулів і можна доставити потрібні, можна підключити Google диск і тримати там дані, є якась інтеграція з GitHub, загалом зручна штука.
Якщо хочеться переглянути notebook на GitHub, інколи GitHub тупить і не відображає їх, тоді лінку на файл на GitHub можна підгрузити і переглянути тут) nbviewer.jupyter.org
З Numpy можна ознайомитись тут habr.com/ru/post/352678
З Pandas тут m.habr.com/.../company/ods/blog/322626
Та курс від Мічіганського університета, як юзати pandas та інші python ліби саме для дослідження даних ru.coursera.org/...earn/python-data-analysis
Matplotlib та інші інструменти для візуального аналізу даних:
habr.com/.../company/ods/blog/323210
Курс по візуалізації від Мічіганського університета
ru.coursera.org/learn/python-plotting
Курс по візуалізації від Анатолія Бондаренко (засновник та керівник порталу Texty.org.ua). В цьому курсі не має програмування, але це цікавий курс про те як краще візуалізувати дані, щоб візуалізація була зрозуміла іншим людям.
courses.prometheus.org.ua/...s/IRF/DV101/2016_T3/about
sklearn. Цю лібу часто використовують в підручниках/курсах з основ ML, тому що вона надає високорівневе API, яке дозволяє користуватись багатьма алгоритмами класичного ML, не замислюючись над деталями реалізації чи деталями алгоритма. Хоча, якщо ви розберетесь з алгоритмами — це дозволить вам свідомо краще підбирати гіперпараметри моделі і це чудово) Отже sklearn і основи ML можна вивчити на курсі від Мічіганського університету www.coursera.org/...ine-learning/home/welcome
Ще є розкішна книга видавництва O’Reilly www.oreilly.com/...to-machine/9781449369880
Схоже тут можна зареєструватись та завантажити без СМС та з реєстрацією) www.twirpx.com/file/2164153
Ще про деякі алгоритми ML є цикл цікавих статей habr.com/.../company/ods/blog/322534
Якщо на старті ви плутаєтесь в усьому зоопарку ML моделей, є статті які простою мовою без технічних деталей класифікують всі ці алгоритми
vas3k.ru/blog/machine_learning
Після знайомства з класичним ML, можна ознайомитись з Deep Learning.
Є курс від Олеся Петріва (крутий фахівець з VideoGorillas). Загалом курс по основам ML, але на останньому тижні розглядаються і приклади CNN та LSTM, з цього можна почати своє знайомтсво з Deep Learning.
courses.prometheus.org.ua/...s/IRF/ML101/2016_T3/about
Ще э розкішна книжка Deep Learning with Python
eng drive.google.com/...4debJXwkzgYrjp84xn-h/view
rus drive.google.com/...CBZh5fG0MXTyyDekiGzy/view
Після того, як ви ознайомились з основами і поширеними моделями, при бажанні можна глянути на екзотичніші речі типу Reinforcement Learning, Fuzzy Logic, Genetic algorithm тощо. Деякі з них типу Reinforcement Learning можна розглядати як цілу спеціалізацію, глибоко дослідити і можливо зробити кар’єру як спеціаліст саме в цьому напрямку. Деякі, наприклад, Genetic algorithm можуть стати в нагоді у звичайному ML чи навіть простих статистичних моделях без навчання. Наприклад, для підбору гіперпараметрів чи параметрів моделі, якщо з якихось причин ваша цільова функція є не типовою, а своєрідною комплексною метрикою з конкретної предметної області, важлива для бізнесу, але з математичної точки зору вона не диференціюється і тому ви не можете оптимізувати параметри популярним градієнтним спуском.
Але це все скоріше подальший розвиток в сторону алгоритмів. Знайти першу роботу в DS/ML можна і без цього.
В принципі на цьому етапі немає поділу на спеціалізації типу Computer Vision, NLP, аналіз часових рядів тощо. Це загальні штуки які потрібно розуміти любому початківцю для пошуку роботи.
Власне сама робота — чудовим спосіб навчання новому :) Навіть якщо вас поки не беруть на роботу вашої мрії в Boston Dynamics, чи куди ви там хочете, спробуйте влаштуватись в якийсь стартап чи що. Скоріш за все ви там здобудете корисний досвід!
Ще крім засвоєння алгоритмів варто навчитись збирати та опрацьовувати дані. Веб скрапінг, інтеграція з API, перевірка невалідних/відсутніх значень, трансформація категоріальних ознак в кількісні чи навпаки, масштабування та нормалізація значень, генерація нових значень, наприклад з допомого moving average тощо. Загалом збір і опрацювання даних займає 80% і не менш важливі ніж розуміння алгоритмів. До речі для трансформації даних вам можуть згодитись знання з математики і статистики.
Якщо треба підтягнути знання зі статистики, є курс з основ описової та вивідної статистики: навчить що таке вибірка, медіана, дисперсія, розподіл, кореляція, p-value тощо
courses.prometheus.org.ua/...IRF/Stat101/2016_T3/about
Цей курс передбачає знання мови програмування R
По R є курс (лінка нижче). Я не проходив його повністю, навіть половини достатньо, щоб читати приклади коду з курсу про статистику вище. Свої рішення я реалізовував на Python.
Курс по R stepik.org/course/497/promo
Якщо треба підтягнути знання з теорії ймовірностей, є курс від МФТІ на курсері www.coursera.org/...heory-basics/home/welcome
Від них же є курси з комбінаторики, графів, теорії ігор тощо. Але це саме математичні курси, вони розповідають не тільки те, що практично застосовується в DS та ML. Але потім, коли будете розглядати алгоритм, наприклад, Naive Bayes класифікатора — знатимете звідки ноги ростуть)
З приводу матричного множення та диференціювання важко щось порадити, бо я це вивчив ще в ВНЗ.
Якщо є бажання попрактикуватись з диференціюванням мені свого часу став у нагоді сайт mathprofi.ru
Але на мою думку для початкового рівня знайомства з DS та ML це занадто. Є прикольна книжка, де автор нагадує що таке матричне множення і диференціювання і в той же час демонструє для чого вони потрібні в ML, реалізуючі from scratch просту нейронну мережу www.yakaboo.ua/...v_4Xm0WrXHARoCysUQAvD_BwE
Просте зрозуміле пояснення, але книжку не всі будут купувати, тож feel free гуглити статті на DOU, наприклад :)
До речі з приводу купівлі книжок, порада для тих хто з Дніпра і любить паперові книжки, є класний книжковий магазин «Скорпіон», де можна знайти гарні книжки про Machine Learning та Big Data.
Є ще купа ресурсів, які корисно відвідувати для тренування і навчання:
www.kaggle.com
arxiv.org
towardsdatascience.com
machinelearningmastery.com
тощо
Наостанок додам, що окрім самостійного навчання по книгам та окремим онлайн курсам, може бути корисно знайти ментора, гарний офлайн курс чи широкий послідовний онлайн курс, який проведе вас крок за кроком через всі потрібні знання для створення повного pipeline роботи з даними, від збору даних, до їх очистки, аналізу, підготовки фіч для тренування, до вибору самої моделі, тренування її, тюнінгу і оцінки результатів. Можливо ще зберігання даних і розгортання всього цього добра. Власне кожен степ того workflow, які розглядаються в цій статті на DOU. Такі об’ємні курси сформують цілісну картину.
З оффлайн курсів можу порадити Hillel ithillel.ua
У них можуть бути курси в різних містах України, залежно від того чи набереться в вашому місті група бажаючих. Ймовірно якість і програма курсу залежить від того, хто викладає. В мене був викладач Олександр Коробов (Київ) і мені дуже сподобалось.
І ще для тих хто з Дніпра, у вас є компанія ISD, яка спільно з SOLVVE іноді проводять безкоштовні курси з ML. Не впевнений що у них це якісь систематичні курси, можливо вони їх проводять коли є потреба когось навчити і взяти до себе на роботу найкращих з групи. Переглядайте об’яви на їх FB сторінці www.facebook.com/isditcompany
Власне у мене все. Буду радий почитати ваші зауваження. Особливо цікаво почитати досвід міграції в DS чи ML тих хто так само спершу працював розробником, бізнес аналітиком тощо. І тих хто цілеспрямовано навчався саме на аналітика даних, статистика, математика, можливо я упускаю якісь важливі знання/скіли, які дає академічна освіта. І тих хто вже давно працює в цій галузі, які ще скіли корисно розвивати для професійного росту?
Можливо, якщо буде час і натхнення, структурую свій лонгрід, врахую зауваження і зроблю повноцінну статтю)
Тут більше коментарів розробників youtu.be/r0NlARY59l0
defence-ua.com/...suv_dzvin_video-3236.html