Це, мабуть, самий клопітний момент
Але певні алгоритми публікації вдалося вистежити:
В основному, в телеграм є групи, де кожний користувач може публікувати будь-які повідомлення, та є канали — де публікується декілька форматів повідомлень від адмінів
У нас система збудована так, що до кожної такої групи чи каналу, можна додати особистий набір валідаційних правил, методів фільтрацій, функцій форматингу та інших ізольованих перевірок, для забезпечення найвірогіднішого матчінгу з бажаним шаблоном пропозицій, які вже потім попадають до бота
Всі групи/канали які мониторить бот — аналізуються кожного дня, з деякими з них налагоджена певна співпраця (в основном це канали, де публікують адміни), що, безумовно, полегшує обробку постів
Методи відбору теж завжди вдосконалюються
Для деяких джерел розглядаємо можливість «навчити» розрізняти потрібні повідомлення

І в агрегації джерел, напевно

Привіт, порівняння здебільшого відбувається по заголовку оголошення (іноді заголовок + ціна)
Тобто, можливий такий кейс, що люди виставляють оголошення, а потім з часом змінюють, наприклад, слова місцями
Так, це вже буде вважатися як нове оголошення в боті (хоча, по факту, буде дублюватися)
Проте, на такий випадок, додатково, існує механізм скарг, який допоможе відстежити та видалити подібні повідомлення