DNB API перестав віддавати JSON — довелося перейти на Selenium + AI

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Робив парсер для Dun & Bradstreet. Спочатку все було стандартно — requests, API, JSON, швидко і стабільно.

А потім воно просто перестало працювати.

Що зламалося

• API відповідає, але JSON пустий або кривий;
• іноді 200 OK, але даних нема;
• при цьому в браузері той самий запит працює нормально.

Тобто класика: API не впав — він просто перестав пускати бота.

Чому так

Скоріш за все:

• антибот-фільтри;
• перевірка headers / fingerprint;
• перевірка поведінки (cookies, JS і т.д.)

І requests тут вже не прокатує.

Що пробував

• крутити headers;
• додавати retry + delay;
• використовувати session.

Не допомогло.

Як вирішив

Повністю переписав під Selenium.

Тепер логіка така:

• відкриваємо DNB Business Directory;
• вводимо пошук;
• ходимо по сторінках;
• збираємо лінки;
• відкриваємо кожну компанію;
• дістаємо дані зі сторінки.

Тобто замість API — просто емулюємо користувача.

Чому це працює

Бо Selenium:

• виконує JS;
• працює з cookies;
• виглядає як реальний юзер.

І антибот його пропускає.

Додав ще AI

Після збору компаній виникла інша задача — зрозуміти, чим вони займаються.

Зробив окремий модуль 👉

Що він робить:

• бере сайт компанії;
• тягне кілька сторінок;
• чистить HTML;
• відправляє текст у Groq;
• отримує короткий опис + список послуг.

Бонус: перевірка на «поганий» контент

Перед AI є фільтр:

• gambling;
• adult;
• medical;
• affiliate і т.д.

Якщо щось знаходить — помічає сайт як ризиковий.

Фінальний пайплайн

• Selenium → збір компаній;
• парсинг профілів;
• отримання сайтів;
• скрапінг сайтів;
• AI-сумаризація;
• Excel.

Висновок

• якщо API «ламається» — це часто антибот;
• якщо в браузері працює — Selenium майже завжди врятує;
• AI добре доповнює парсинг, але треба обробляти ліміти.

Якщо коротко: перестав працювати API → зробив браузер → додав AI → стало навіть краще, ніж було 😄