SPD Talk: Multi-Vector search in practice: ColBERT, ColPali & Scaling it

Single-vector RAG чудово працює для базових сценаріїв, але швидко впирається в обмеження, коли потрібна висока точність пошуку або робота зі складними документами, таблицями, діаграмами та візуальним контентом.

На цьому практичному технічному стрімі ми розберемо сучасний підхід до Information Retrieval на основі Multi-Vector моделей та архітектури Late Interaction. На реальних прикладах покажемо, як працюють ColBERT та ColPali, чим вони відрізняються від класичних embedding-based рішень і як використовувати їх для побудови точніших AI-систем.

Під час стріму ми:

🔹 порівняємо Single-Vector та Multi-Vector підходи до пошуку;

🔹 розберемо механізм Late Interaction та його переваги;

🔹 побудуємо token-level retrieval за допомогою ColBERT;

🔹 навчимося працювати з документами як із зображеннями через ColPali без OCR;

🔹 поговоримо про production-ready оптимізації: MUVERA, quantization, token pooling та multi-stage retrieval;

🔹 розглянемо компроміси між точністю, затримкою та вартістю інфраструктури.

Наприкінці учасники отримають практичне домашнє завдання та Google Colab notebook із підготовленим кодом для самостійного експерименту з multi-vector retrieval на оціночному датасеті. Ви зможете власноруч побудувати пошуковий пайплайн та оцінити, як різні конфігурації впливають на якість пошуку

Спікер:

Олександр Соколов, Senior Machine Learning Operations Engineer at SPD Technology

Олександр спеціалізується на розробці та впровадженні AI/ML-рішень, Information Retrieval системах, LLM-платформах та Retrieval-Augmented Generation (RAG). У своїй роботі займається побудовою production-ready AI-систем, оптимізацією пошуку та впровадженням сучасних підходів до роботи зі знаннями та документами.

Дата та формат:

Дата: 23 липня
Час: 19:00
Формат: онлайн-стрім на YouTube (за запрошенням)
Мова виступу: українська

Участь:

Подія благодійна.
Запрошуємо долучитися до стріму за донат від 300 грн у фонд KOLO на підтримку ЗСУ.

Як приєднатися:

1. Зареєструватися за посиланням
2. Зробити благодійний донат від 300 грн у фонд KOLO
3. Перевірити пошту після реєстрації — ми надішлемо лист із підтвердженням участі та посиланням для додавання події у календар.

Реєструйтеся, донатьте та до зустрічі на SPD Talk-стрімі!

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!