Парсинг у 2026: Selenium ще ок чи вже варто переходити далі?

Хочу підняти тему автоматизації та парсингу, бо останнім часом все частіше стикаюсь із ситуацією, коли класичний підхід через Selenium починає «сипатись».

У мене є робочий скрипт, який парсить бізнес-реєстр (через Chrome + remote debugging, VPN, ручний запуск браузера і далі Selenium підключається до нього). Весь процес виглядає приблизно так:

• вручну відкриваєш браузер
• проходиш Cloudflare (якщо є)
• вмикаєш VPN
• після цього запускаєш скрипт

З одного боку, це працює і дає результат.

З іншого — виглядає як костиль на костилі:

• постійні проблеми з Cloudflare
• потрібно вручну готувати середовище
• таймаути, StaleElementReferenceException і т.д.
• будь-яка зміна DOM ламає логіку
• складно масштабувати

І от питання: чи це нормальна реальність, чи я просто використовую застарілий підхід?

Зараз є альтернативи:

• Playwright
• API (якщо вони взагалі є)
• headless браузери з антидетектом
• різні scraping-сервіси

Але у більшості реальних кейсів API немає, а захисти типу Cloudflare стають тільки складнішими.

Окремо момент: у моєму випадку поки що не було капчі — тільки Cloudflare. Але розумію, що це питання часу, тому цікаво заздалегідь:

• як ви проходите капчу в таких задачах?
• використовуєте сервіси типу 2captcha / anti-captcha чи намагаєтесь уникати цього взагалі?
• чи реально зараз будувати парсер так, щоб капча не з’являлась?

Особисто у мене відчуття, що Selenium вже не дуже підходить для стабільних продакшн-рішень, але при цьому він досі найпростіший старт.

Цікаво почути думку інших:

• хто зараз чим парсить складні сайти?
• чи переходили ви з Selenium на Playwright — чи є відчутна різниця?
• як вирішуєте питання Cloudflare / антибот-захисту?
• чи реально сьогодні робити стабільний парсер без ручних кроків?

Буду радий почути будь-який досвід — як позитивний, так і негативний.