Може надзвичайне, а може і черговий "AI winter«(обов’язково поцікавтесь цим терміном) — повторення того, що вже відбулося декілька разів.
Кожен раз коли відбувається прорив в якійсь.. науці/виробництві (чи те, що подається як прорив — на недавньому подкасті доу про ChatGPT було декілька реплік в цьому напрямі), спочатку з’являються.. явно завищені очікування.
Потім під ці завищені очікування інвестори виділяють надвеликі кошті, що ще більше роздувають очікування від розвитку того, у що вкладають.
Далі з’ясовується що очікуваний ефект — дійсно завищений. І більшість(якщо не усі) проекти які в це вкладались — падають\банкрутують. І чим більше вклали — тим гучніше це падає.
А далі під час «затишшя» — якщо цим і користуються, то вкрай в обмеженому (в порівнянні з початковими очікуваннями) обсязі.
З одним лише ШІ цей повний цикл вже здійснився, що найменше тричі з 1960х років.
Чуть ли не на каждый абзац из этой статьи (включая про путь основателя/ создателя продукта) у него есть по меньшей мере хотя бы одно видео на его YouTube канале.
По вопросу, из относительно недавнего(с поправкой на то, что это не про написать, а про рассказать) могу выделить это: (с 40м20с) www.youtube.com/...tch?v=H2AzzPce29M&t=2420s
так звані, як їх там називають, цензори — це ті хто «перевіряв» повідомлення з твітів на предмет порушення правил і банили користувачів (в тому числі аккаунти відомих осіб, політиків і т.л.). Десь була інформація, що більшість із звільнених — це саме вони.
У нас в усіх топових інтернет магазинах дуже часто на один і той же товар встановлюється однакова ціна. Магія :-)
Це ймовірніше за все результат окремої угоди між виробником/постачальником товару і магазинами, де його продають. Наприклад, щось на кшталт такого:(взято з сайту, де продають акумулятори для авто)
Ціна на Акумулятор .... офіційно встановлена виробником та є регламентованою для усіх продавців. Заниження цін продавцями продукції порушує дилерську угоду, що передбачає занесення недобросовісних продавців в чорний список, а придбана в таких продавців продукція не підлягає сервісному обслуговуванню. Кожен товар має унікальний ідентифікаційний номер, завдяки якому можна дізнатися його місце придбання.
тому що, безконтрольне «змагання цінами» магазинів між собою — не вигідне ні постачальникам/виробникам, ні магазинам.
Я думаю що скрапінг це гарна штука щоб почати заробляти новачку в IT. Завдань на фрілансі повно
З мого досвіду (займаюсь webscraping з 2015 року) ця теза — зараз вже неактуальна.
За декілька останніх років поріг входу в webscraping збільшився радикально з майже нуля до чогось ближче до рівня black hat хакерів.
Років 10 тому дійсно — в ті часи більшість сайтів можна було зіскрейпити маючи базові знання html, python і задати потрібний селектор xpath/css (антиботів, 302 на сторінку з captcha і. т.д. — тоді у широкому вжитку не було).
З року ~2017 сайти почали суттєво ускладнюватися, не в останню чергу завдяки поширенню React, Vue і інших javascript фреймворків, де дані на сторінках були вже не прямо в html тегах, а десь всередині script тегів в якійсь javascript змінній, або завантажувались динамічно.
З ~2019 — google зробив recaptca безкоштовним для використання і тепер captcha може з’явитись про спробі зіскрейпити навіть блог на безкоштовному хостингу (раніше використання captcha було дорогим дли тих, хто хотів зробити сайт недоступним для webscraping). В подальшому інші antibot рішення, націлені на захист сайтів від webscraping — стали більш поширеними, доступними і складнішими.
З 2020 з початком карантину кількість проектів/замовлень webscraping на фрилансі радикально зменшилась, а кількість бажаючись стати фрілансерами (в тому числі через webscraping) — значно збільшилась.
З 2020 і станом на зараз проект з категорії webscraping опублікований на Upwork отримує 50+ бажаючих/кандидатів за добу (ситуація не сприятлива для новачків в IT).
На що звертати увагу при скрейпінгу
Якщо розробник робить webscraping для компанії/замовника — то тут можна повністю зосередитись на технічній стороні цього питання.
Але якщо розробник хоче створити продукт на базі webscraping тоді доведеться самостійно приділяти увагу іншим аспектам цієї справи (юридичному в тому числі).
Тут є ряд нетехнічних нюансів.
Публічні дані.
Існує навіть прецедент програної справи LinkedIn проти компаній, які парсили публічні профайли користувачів.
З попередніх судів (в тому числі і з бідьш ранніх судів з lindedin) зараз в західних юрисдикціях є більш-менш зрозуміле визначення того, що є публічними даними.
Публічними даними (якщо зовсім спростити) є те, що.. може бути отримано без авторизації/реєстрації.
Власне через це, зараз в найбільших соціальних мережах більшість суттєвої інформації доступно лише авторизованим користувачам, які погодились на певні умови використання.(декілька років тому це було не так)
Для авторизації тут попросять логін/пароль, email, номер мобільного і/або прив’язку аккаунту іншого сервісу.
Згода користувача з умовами використання — тобто те, на що більшість користувачів погоджуються відразу не читаючи (а там ймовірніше за все є пункт, який забороняє webscraping).
І тут вже не має значення кількість користувачів у системі, дві сотні чи два мільярди — якщо інформація доступна лише авторизованим користувачам, то вона вже не є публічною.
Безпекові ризики.
В Україні вже є прецедент, коли розробник хотів зробити щось корисне з відкритими даними за допомого webscraping, але дещо пішло трішки не так dou.ua/forums/topic/24731
Так чи інакше автором має бути враховано, що дані, які він так охайно позначає на карту — цілком можуть бути використані.. зовсім іншими людьми для зовсім інших цілей.
Можливо дехто вважає такі ризики перебільшенням, але особисто мене в нинішніх обставинах не дуже приваблює перспектива опинитися у черзі/пробці за пальним разом з ще декількома сотнями водіїв, які були майже одночасно зкеровані в цю одну заправку з цього сайту, координати якої доступні не тільки водіям і не тільки з України.
Приклад: мобільні додатки (БРСМ Нафта, АВІАС, Socar)
На сайтах двох з них опубліковані умови використання за якими поширення інформації з їх додатків/сайту можливе лише за їх письмової згоди.
У автора є їх письмова згода? Просто цікаво.
І звісно, якщо присутня саме авторизація з мобільного додатку — то ці дані вже не дуже й публічні.
Проблема в том, что компании могут не захотеть(и, вероятнее всего, не захотят) отдельно приспосабливаться к кандидату-фрилансеру, даже если у него достаточно знаний/опыта/мотивации для вакансии.
А кандидат-фрилансер может не захотеть приспосабливаться к работе в украинских компаниях за счет значительно сниженной ЗП.
По моему опыту (Я вообще ни одного дня в местных компаниях не работал, только напрямую в иностранных, и до этого — фриланс на англоговорящих заказчиков):
Когда наш(украинский) рекрутер видит в резюме, что у кандидата много лет опыта во фрилансе и мало(почти нету) опыта работы в местных более менее узнаваемых компаниях, то у представителей компании помимо обычного «нанять сеньора по цене джуна» появляются следующие мысли:
1. На самом деле у него нету нескольких лет опыта фриланса, максимум полгода-год опыта или нету его вовсе (т.е. на что-то более чем на ЗП джуна — претендовать он уже не может,
спасибо выпускникам 3х-месячных курсов, которым порекомендовали «нарисовать» пару-тройку лет фриланс опыта в резюме для поиска первой работы в IT).
Не самое лучшее «первое впечатление».
2. А какой же реальный у кандидата-фрилансера опыт(лет)?
У одних — полно заказов и фрилансер работает над несколькими из них одновременно, а у других заказов может и не быть месяцами.
В одном случае скажут, что работать на несколько заказчиков одновременно — это очень плохо, компания будет из-за этого нести риски (поэтому ЗП мы снизим «ненадолго»).
В другом скажут, что время «простоя», когда не было заказов, включать в опыт нельзя.. (поэтому ЗП мы снизим «еще чуть чуть»).
3. Если кандидат случайно «проболтается», что его основной опыт во фрилансе — это задачи, которые он решил в одиночку, то в компании наверняка сделают отдельный акцент на том, что работа в команде(именно в их команде) — это совершенно другой(в организационном плане) опыт, которого у кандидата — естественно нет (ЗП — ну, Вы поняли)
4. Предположим, кандидату-фрилансеру удалось убедить рекрутера и менеджмент компании в том, что у него действительно достаточно релевантного опыта и знаний.
Возникает следующий вопрос: Зачем успешному фрилансеру, привыкшему к большим забугорным рейтам нужна работа в местных компаниях где, объективно, рейты ниже?
Вероятнее всего в компании начнут думать, что у кандидата, что-то случилось и работа ему нужна позарез(а значит ЗП можно еще снизить).
5. В некоторых случаях у менеджмента компании может.. вызвать беспокойство(иди даже опасение) наличие у кандидата-фрилансера опыта общения с заказчиками(с англоговорящими в том числе).
Абсолютно любой фриланс (даже если это самые простые fixed price задачи с общим бюджетом до 100$) также подразумевает самостоятельное: поиск задачи/заказчика, согласование условий задачи с заказчиком, самостоятельное получение оплаты от заказчика и т.д.
У опытного фрилансера опыт такого общения с англоговорящими заказчиками вполне может быть сопоставим с опытом, который есть у самой компании — в компании может возникнуть... ощущение риска того, что кандидат-фрилансер потом эти навыки применит за спиной компании (особенно если их не удовлетворит ответ на вопрос из п.4).
Для сравнения — специалист, работающий только в местных компаниях, который по мере профессионального роста ни разу во фриланс не сворачивал — вполне может дорасти до уровня senior с нулевым опытом такого общения.
Даже не доходя до этапа технического собеседования очевидно, что после п.1-5 — разница между ожиданиями кандидата-фрилансера и тем, что предложит или не предложит компания может быть.. очень существенной.
Если бы у кандидата основной релевантный опыт был не во фрилансе, а в «соседней местной IT компании через дорогу» — рекрутер мог бы тихонько связаться с коллегой с предыдущего места работы и всё выяснить и таких проблем бы не возникло.
Наличие длительного фриланс опыта из-за специфики такого опыта — зачастую не воспринимается нашими(и не только нашими) компаниями как наличие такого же по длительности опыта, необходимого для их вакансии.
Именно поэтому для кандидата-фрилансера прохождение этапа технического собеседования — по сути является единственным способом доказать компании-нанимателю необоснованность п.1-5.
Кандидату-фрилансеру его нужно не просто пройти — а показать уровень на голову выше ожидаемого, что бы компенсировать влияние п.1-5.
С учетом того, что у нашего кандидата-фрилансера заявлено
Наши компании проводят техническое собеседования, и я его никогда не прохожу. В последний раз я готовился к техн собеседованию в 2013 году в приватбанк
..но приходится их всех игнорировать потому что у них всех есть техническое собеседование которое я ни разу за последние 8 лет не прошел
Я считаю, что его шансы попасть в компанию — очень низкие.
Почему меня не нанимают наши компании?
Частично на этот вопрос Кожаев уже отвечал:
Более того, если вы захотите вернуться в офис, фриланс может оказаться минусом. Был такой случай: пригласили меня на работу, найдя по статьям. Поговорили, вроде всё здорово. Но потом тот, кто меня нанимал, пишет: «Извини, тебя взять не можем. Главный начальник против человека с длительным фриланс-опытом». Да, понюхавших свободы не все хотят — слишком уж независимые. Это ещё называют отсутствием командного духа, читай: прогнуть на бесплатные овертаймы нельзя.
Цитата из dou.ua/...s-of-different-companies
Работаю уже пол года ... работал только на проектах с использованием puppeteer (js библиотека для скрейпинга)
Очень хочу развиваться как back-end программист, но..
Вакансії webscraping — надзвичайно велика рідкість в Українському ІТ.
~150 ваканcій с вересня 2020р (з підписки djinni — webscraping, scrapy). Більше половини з них — Junior або досвід менше 2х років.
Коли шукав в Україні вакансії webscraping з 2017 до 2020 — більше 3 вакансій в місяць ніколи не знаходив.
Кількість вакансій back-end за цей період — в десятки разів більша порівнянні з вакансіями webscraping.
Для мене є зовсім незрозумілим, як в таких обставинах ТС не може отримати роботу в back-end?
А как накопить на квартиру?...О себе: город Харьков, доход 2500$, не женат, детей нет
Отсутствуют существенная информация:
1. Данные о расходах:
a) один случай если расходы в месяц в пределах, например, ~$400 т.е. ~$2100/месяц доступно для накопления.
б) совсем другой если расходы более ~$2000, и оставшиеся ~$500 через раз — то в расходы, то в накопления.
в) иной случай если много расходов, которые особо не уменьшить (семья, нетрудоспособные родственники и т.д.)
2. Сроки приобретения жилья: а)до года; б)до трех лет ; в)более трех лет
3. тип желаемого жилья — Новострой/панелька/хрущевка, место — Харьков/Киев/жилье за границей или «наоборот» пригород/село...
Под каждую комбинацию вариантов — свой алгоритм действий.
...Нотация Р-схем в СССР доктором физмат-наук Игорем Вячеславовичем Вельбицким в далёком 1975 году... Но не сложилось, СССР канул в Лету, оставив нам в наследие Р-технологию (и много чего ещё)
В 1987 Вельбицкий создал.. Технософт — учреждение при Национальной академии наук Украины, которое занимается этими вопросами.
Публикации по этой теме были в девяностые, нулевые и десятые года т.е. полностью abandonware эти Р-схемы не стали.
В более поздних публикациях Вельбицкого и в ранее упомянутом ГОСТ
1. альтернативный способ подачи алгоритмов
2. альтернативная форма написания программ на уже существующих на тот момент языках.
В ранних реализациях Р-схем — вертикальные/горизонтальные линии, вершины, дуги — записывались в текстовом виде вместе с командами/кодом (например как в приложении 5 к ГОСТ
Если эти Р-схемы — действительно настолько перспективные и инновационные, то почему после 40+ лет работ в этом направлении Вельбицкого и его последователей — о них мало кто знает?
Наверняка существует причина того, после 40+ лет работ эта технология Р-схем — так и не стала распространенной.
Дуже інформативна стаття.
Трохи мого досвіду:
З моменту як у 2011 році я був запрошений на першу співбесіду в українську IT компанію і станом на зараз — я жодного дня не працював в українському IT.
Увесь мій коммерційний досвід — це виключно freelance на англомовних замовників і робота безпосередньо в іноземних компаніях.
З цієї статті виходить, що особисто я є носієм нетипової для нашої країни «холодної» культури (за межами України я ніколи не був).
Це цілком пояснює мою успішність в роботі з іноземцями і повну відсутність в мене будь-яких досягнень в українському IT.
Я думаю, що малось на увазі акції публічних компаній, які вклалися в OpenAI
Враховуючи те, що той же ChatGPT розміщений на інфраструктурі Azure, який належить Microsoft (публічна компанія), то успіх(чи неуспіх) монетизації усіх продуктів OpenAI — в першу чергу позначиться саме на акціях Microsoft.