Как ИТ-специалисты работают удаленно на карантине. 📷 Фотообзор
  • Изучение Web scraping

    ну если вы не умеете в логические выводы, то я ничем помочь не могу. вытаскивайте дальше хтмл и «посложнее» с помощью 64 строчек на жс.

  • Изучение Web scraping

    так я о технической и говорю.

  • Изучение Web scraping

    отлючите в своем браузере js — и поживите с недельку

    регулярно это делаю.

  • Изучение Web scraping

    есть еще — агрегаторы чего-нить.

    за которые можно как минимум получить штраф или присесть. сразу отказываю таким. как и в случае с украинскими хакерами — скрепинг бывает наказуем, порой даже безобидный.

  • Изучение Web scraping

    телепатия да, Дар.

    не дар, а опыт.

    я всего лишь привел типичное сейчас решение для большинства случаев, и простых, в виде чистого html и посложнее

    чистый хтмл можно вообще чем угодно стянуть и распарсить, для этого не нужен ноджс.

  • Изучение Web scraping

    то врядли у них есть ценная свежая информация которая интересна.

    а кто решает, что есть ценная и интересная информация?
    вы ради интереса поинтересуйтесь проектами за пределами украины. понятно, что стянуть прайсы и обьявления олх — предел мечтаний, но во всем остальном мире задач «немного» поболее.

  • Изучение Web scraping

    но обычно все-таки — интересует свежайшая информация

    а кто сказал, что на таких сайтах не свежая информация?

  • Изучение Web scraping

    ну, вам видней зачем нам понадобилось описанное решение

    вы пытаетесь обобщить частное.

    вам виднее конечно

    я в этом уверен.

  • Изучение Web scraping

    если это серьезный проект, то там запросто может просто стоять какая-то имперва. в таком случае будет дешевле нанять индуса шоб он сам все руками копировал...
    коммерческий уровень требует коммерческого подхода и без вливания средств на серьезные инструменты тут не обойтись.
    как правило крупные данные просят забрать с каких-то старых, как говно мамонта, сайтов с табличной версткой и с самой простой пагинацией.

  • Изучение Web scraping

    на сайтах тьма js. не выполнив их все в браузере — вы не получите итоговой страницы

    брэхня, в половине случаев данные можно вытянуть даже ничего не подгрузив. через умелый пост\гет или апи.

    только в простых случаях, которых — все меньше.

    брэхня, такой работы как раз больше всего.
    да и для таких случаев используется хедлесс селениум в связке все с тем же скрэпи, или отдельно скрепи сплеш, если там не забористый жс.

  • Изучение Web scraping

    далеко не всегда.

    Поддержали: Olexandr Vovchok, Dmitriy Mozgovoy
  • Изучение Web scraping

    да на него элементарно больше инструментов, гайдов и там удобнее работать с сырыми данными.

    Поддержал: Olexandr Vovchok
  • Изучение Web scraping

    в зависимости от яп выбираете инструмент
    руби — nokogiri, kimurai итд
    питон — bs4, scrapy, lxml итд
    перл — тоже какие-то инструменты популярные
    пхп — туда же
    жс — туда же
    на всем остальное смысла пробовать нет. лучший вариант на текущий день — питон.
    сюда же плюсуйте всякие либы по типу реквеста, регекса, селениума.
    это что касается инструментов, а дальше там поле непаханное чего надо уметь\знать.
    начните с этого
    automatetheboringstuff.com/2e/chapter12
    стоящих книг единицы, 99% всех книг по веб скрепинг\кроулингу\дата экстракшн — индусский мусор(вот эти все пестрые пактовские книги). курсы как правило бесполезны и однообразны. все познается из блогов\знакомств\документации и набивая попутно шишки. да вы даже можете что-то подчерпнуть элементарно читая книги по другим доменам.
    для начала попробуйте сделать из книги выше, потом пройтись по курсу
    www.coursera.org/learn/python-for-web
    до части с джанго, но он не для полных новичков, как раз еще прикрутите прокси для доступа к мейл ру сервисами
    скрэпи туториал можете глянуть
    docs.scrapy.org/...​atest/intro/tutorial.html

    Поддержал: Olexandr Vovchok
  • ІТ бізнес проти введення надзвичайного стану. Спільна заява бізнес-спільноти

    То есть глуповатым зрителям втирается следующая картина
    — есть Юра Дудь — россиянин, стильный, модный, веселый, классный
    — а есть Антоха «украинец» из Желтых Вод — немодный, нестильный, отсталый, банальный

    и нежно намекают — вы с кем хотите быть с классной Россией или отсталой Украиной?

    Это такая технология — показывать украинцев и Украину в плохом свете.

    memepedia.ru/...​s/2018/07/oc3-768×507.jpg
    вы наверно из тех, кто считает, что coronavirus, если прочесть обратно, будет surivan or oc, что с хинди означает sunrise and eye и тут есть массонский след? тогда вопросов не имею.

  • ІТ бізнес проти введення надзвичайного стану. Спільна заява бізнес-спільноти

    квоты, там где они неуместны, почти никогда не работают, в особенности это видно по частному сектору. взять, например, квоты в скандинавии, они выровняли пропорцию женщин в политике, но когда начали вводить квоты в частном секторе, то внезапно это не сработало.
    они ввели квоты на занимаемые позиции женщинами в топ менеджменте, квота была 40%. формально закон соблюдается, а в реальности фирмы просто начали обходить закон и сменили корпоративную структуру. кол-во женщин в норвегии на руководящих позиция с 2001 года увеличилось с 2% до 6%, но при этом в той же дании, где никаких квот не наблюдалось — произошел точно такой же прирост.
    абсолютно это же мы и наблюдаем с языковыми квотами. думали, что при введении квот попрет контент, а он не попер, думали, что повысят посещаемость кино, а в реальности поломали кому-то бизнес, думали, что повысится качество дубляжа, а оно не повысилось.
    квоты не только неэффективны, они так же нарушают принцип правового равенства и способствуют появлению новых и укреплению старых стереотипов.
    вот стараешься ты такой куда-то поступить — готовишься, поступаешь, гордишься поступлением, а потом бац и узнаешь, что на тебя просто есть квоты и тебе повезло попасть в пул. это на корню убивает ощущение того что ты что-то заслужил.

    тут много кто приводит в пример «безопасность», но почему-то сингапуру, с его мультинациональным населением, это не помешало сделать официальным языком и малайский(с носителями которого они кроваво рубились), китайский, английский, тамильский, при этом там мирно сосуществуют множество религий. они не отказались от других носителей — они их приняли и сделали частью одной большой системы. мы же наблюдаем обратное — украинизаторы пытаются всеми правдами и неправдами насадить другим людям язык, а не позволить им сосуществовать в одной системе.

  • ІТ бізнес проти введення надзвичайного стану. Спільна заява бізнес-спільноти

    точно так же и на тайване — все фильмы(за исключением местных детских и просто местных) в оригинальном дубляже с субтитрами на традиционном китайском. отдельно есть сеансы для любителей дубляжа. потребитель сам выбирает на что ему идти, все довольны.

  • ІТ бізнес проти введення надзвичайного стану. Спільна заява бізнес-спільноти

    тренируйте челюсть, она вам в дальнейшем пригодится.

    Поддержали: Kirill Tairov, Eugene Nuribekov
  • ІТ бізнес проти введення надзвичайного стану. Спільна заява бізнес-спільноти

    самое забавное, что у всех таких людей, топящих за квоты(которые при этом ругают совок за те же квоты) после окончания аргументов идет стабильно одно обьяснение

    це питання безпеки

    вам где-то эту методичку выдают?

  • ІТ бізнес проти введення надзвичайного стану. Спільна заява бізнес-спільноти

    сами квоты в такой вещи, как язык и являются проблемой. я за то чтобы отлично развивалось две ветки языка безо всяких там квот. если вы не можете рыночными механизмами продвинуть язык, на котором и так разговаривают больше половины населения, то проблема в вас, а не в языке.

    Поддержал: Denys Poltorak
  • ІТ бізнес проти введення надзвичайного стану. Спільна заява бізнес-спільноти

    а я и так тут, какие вопросы?

    Поддержал: Denys Poltorak
← Сtrl 123456...58 Ctrl →