Розробка · 16 квітня 2009, 10:42 1973

Alexander Skakunov, Founder в Місія на Марс

Как лучше всего парсить данные

Есть двойная задача:

1. Скриптом залогиниться на внешнем веб-сайте

2. Распарсить таблицу данных и сохранить себе в базу

Вопрос в том, есть ли какие-то волшебные средства для этого, упрощающие жизнь РНР-программера?

На данный момент решается через cURL + regexp. Недостаток — смена дизайна (например, что-то поменяли в HTML-разметке разбираемого блока) приводит к тому, что надо переделывать скрипт.

Теми: PHP

👍ПодобаєтьсяСподобалось0

До обраногоВ обраному0

Facebook

Twitter

Ctrl + Enter

Alexander Skakunov Founder в Місія на Марс 21.04.2009 17:22

Красиво.

Договор не всегда получится заключить (если нужно взять цифирки из сайта какого-нить гиганта типа Гугла или Пейпала), но идея правильная, спасибо!

Відповісти

Підтримати

anonymous 21.04.2009 17:19

Классический вариант решения
Подписывается двусторонний договор. Оговаривается формат трансфера данных. В договоре описывается порядок изменения структуры данных и уведомления об этом другой стороны. Оговаривается регламент процедуры и оговаривается доступность сервиса (резервные сервера) во времени.
Решаются проблемы:
1. Парсинга — тебе предоставляю данные, а не ты их откуда-то выколупываеш
2. Изменения формата — тебя уведомят «до того как»
3. бОльшую часть работы могут сделать не программисты (договор заключить и так далее). От программера требуется только согласовать техническую спецификацию. В идеале вааще попросить csv формат для заливки «на лету» в базу без всяких там DOM:)
4. При выполнении П.2 от программера требуебуется только расслабиться и наслаждаться жизнью:) — дня за 2 можно полностью управиться.

Или задача не стоит «договора»?

Відповісти

Підтримати

Alexander Skakunov Founder в Місія на Марс 21.04.2009 16:04

2 Vadim Voituk: хорошая штука этот SimpleHTMLDOM... Прямо jQuery для РНР.
Да, сайт, который надо парсить, не свой.

Идею я понял, спасибо, парни!

Відповісти

Підтримати

junior dev 17.04.2009 15:27

тогда нужно сделать мета-разметку, которая в случае будет нормализовать изменения, либо направлять парсер, в случае изменения данных будут меняться только мета данные,

если так сильно не хочеться парсер менять

Відповісти

Підтримати

crypto5 17.04.2009 14:58

Что то мне подсказывает что человек парсит совсем не свои сайты, и добавлять что то у него возможности нету.

Відповісти

Підтримати

junior dev 17.04.2009 08:21

например как ворд добавляет свои теги в HTML когда с помощью него создавать страницу, так же уктуально и для других скриптовых языков — есть каменты которые не значат для парсера вью, но могут значить для парсера данных

Відповісти

Підтримати

junior dev 17.04.2009 08:19

млжно раскидать non-html данные в DOM и тогда работать не зависимо от структуры

Відповісти

Підтримати

anonymous 17.04.2009 08:13

There is no magic.

Если поменялась структура страницы — прийдется чинить парсер. Никакая библиотека от этого не спасет.

Відповісти

Підтримати

Alexander Skakunov Founder в Місія на Марс 16.04.2009 12:07

2 Сергей Волошин: спасибо!

2 Soft: да, можно использовать DOM и XPath, этим путём и собирался идти. Просто мало ли — DOM изменится...

Відповісти

Підтримати

Vadim Voituk Principal Solutions Architect в Amazon Web Services 16.04.2009 12:02

simplehtmldom.sourceforge.net/manual.htm

Відповісти

Підтримати

Alexandr Gavriluk 16.04.2009 11:53

Скакунов Александр 1 час назад
Есть двойная задача:
1. Скриптом залогиниться на внешнем веб-сайте
2. Распарсить таблицу данных и сохранить себе в базу

Использовал PHP на уровне блондинки (тоесть с книжкой в руках для пары страничек), но разве там нет DOM-парсера для HTML?

Відповісти

Підтримати

Sergii Voloshyn Product Manager в DOU.ua 16.04.2009 10:58

Можеш ще глянути статті тут
www.parse.com.ua
www.parse.com.ua/...egory/tonkosti

або запитати в аторів цього сайту.

Відповісти

Підтримати

Підписатись на коментарі

Ваша пошта

Не підписуватись

Как лучше всего парсить данные

12 коментарів

Підписатись на коментарі