Чому один запит до ШІ перетворюється на десятки пошуків: як насправді працює retrieval-процес сучасних LLM

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Великі мовні моделі (LLM), такі як ChatGPT, Gemini чи Grok, дедалі рідше відповідають на складні запитання, спираючись лише на знання, отримані під час навчання. Більшість сучасних ШІ-асистентів поєднують мовну модель із системою пошуку, яка знаходить інформацію в Інтернеті ще до того, як модель починає формувати відповідь.

Користувач бачить лише готовий результат, але перед цим виконується цілий ланцюжок дій. Один запит може породити кілька додаткових пошукових запитів, кожен з яких перевіряє окремий аспект теми. Потім знайдена інформація об’єднується, оцінюється, після чого модель формує фінальну відповідь.

У цій статті зібрані спостереження, отримані під час експериментів дослідницької команди Rankfor.AI, яка аналізувала роботу ChatGPT, Gemini та Grok. Також ми порівнюємо ці результати з сучасними дослідженнями у сфері Retrieval-Augmented Generation (RAG), агентного пошуку та планування запитів.

Пошук більше не складається з одного запиту

Класичний вебпошук працює досить просто:

Запит користувача → Пошукова система → Результати

Сучасні ШІ-асистенти використовують значно складніший процес:

Запит користувача → Аналіз наміру → Планування пошуку → Кілька пошукових запитів → Збір інформації → Аналіз → Формування відповіді

Такий підхід дозволяє моделі розглянути проблему з різних боків ще до того, як вона почне генерувати текст.

Один запит перетворюється на багато

Під час наших експериментів ми неодноразово спостерігали явище, яке називають query fan-out. Його суть полягає в тому, що модель не виконує один пошук, а розбиває початковий запит на кілька окремих. Наприклад, користувач запитує:

Де купити одяг онлайн у Європі?

Замість одного пошуку модель може окремо шукати:

• великі європейські інтернет-магазини;
• маркетплейси;
• порівняння популярних брендів;
• умови доставки;
• політику повернення товарів;
• відгуки покупців;
• сервіси з продажу вживаного одягу.

Точний набір додаткових пошуків залежить від конкретної моделі та навіть може відрізнятися під час повторного запуску одного й того самого запиту. Але загальний принцип залишається однаковим: спочатку система збирає інформацію, а вже потім формує відповідь.

Інформація збирається з різних джерел

Сучасні мовні моделі використовують інформацію не з одного сайту, а одразу з багатьох джерел. Серед них можуть бути:

• офіційна документація;
• корпоративні сайти;
• сайти з відгуками;
• статті з порівняннями продуктів;
• форуми та спільноти;
• технічні блоги;
• відкриті державні реєстри.

Замість того щоб просто переказати один матеріал, модель намагається зіставити інформацію з різних джерел і побудувати узгоджену відповідь. Саме такий підхід лежить в основі сучасних RAG-систем.

Чому знайдена інформація не завжди потрапляє у відповідь

Одне з найцікавіших спостережень під час експериментів полягало в тому, що деякі компанії або сервіси з’являлися на проміжних етапах пошуку, але повністю зникали з фінальної відповіді.

Чому так відбувається, достеменно сказати неможливо, адже ChatGPT, Gemini та Grok не розкривають внутрішні алгоритми ранжування своїх моделей. Проте існує кілька цілком логічних пояснень:

• під час наступних пошуків модель знаходить переконливіші джерела;
• різні джерела можуть суперечити одне одному;
• рівень довіри до окремих фактів змінюється після аналізу всієї інформації;
• під час фінального узагальнення модель відкидає менш релевантні варіанти.

Тобто потрапити до результатів пошуку ще не означає опинитися у фінальній відповіді.

Чому ChatGPT, Gemini та Grok відповідають по-різному

Багато хто очікує, що однаковий запит дасть однакову відповідь незалежно від моделі. На практиці це майже ніколи не відбувається. Кожен асистент використовує власні алгоритми:

• по-різному планує пошук;
• працює з різними джерелами;
• інакше оцінює достовірність інформації;
• використовує власні механізми побудови відповіді.

Через це навіть за однакового запиту можна отримати різні рекомендації. Останні наукові дослідження також показують, що на результат впливають формулювання запиту, мова, обрана модель і навіть повторний запуск того самого питання. Іншими словами, єдиної «правильної» відповіді ШІ часто просто не існує.

Пошук стає агентним

Останні дослідження показують, що сучасні ШІ-системи дедалі більше нагадують невеликих програмних агентів. Вони не просто виконують пошук, а проходять кілька послідовних етапів:

1. визначають, якої інформації не вистачає;
2. запускають кілька незалежних пошуків;
3. аналізують отримані результати;
4. за потреби виконують додаткові пошуки;
5. лише після цього формують відповідь.

Такий підхід значно ближчий до того, як інформацію шукає людина, ніж до роботи класичної пошукової системи.

Чому це важливо для розробників

Якість сучасних ШІ-систем дедалі більше залежить не лише від самої мовної моделі, а й від того, наскільки добре працює механізм пошуку. На кінцевий результат впливають:

• розбиття запиту на підзадачі;
• якість пошуку;
• ранжування знайденої інформації;
• різноманітність джерел;
• обробка суперечливих фактів;
• ефективне використання контексту.

Частина проблем, які сьогодні називають «галюцинаціями» моделей, може виникати не під час генерації тексту, а значно раніше, ще на етапі пошуку або відбору інформації. Саме тому розуміння retrieval-процесу стає важливою навичкою для інженерів, які працюють із сучасними AI-системами.

Висновки

Фінальна відповідь, яку бачить користувач, є лише останнім етапом значно складнішого процесу. Перед тим як згенерувати текст, сучасні ШІ-асистенти часто аналізують намір користувача, розбивають запит на кілька окремих пошукових задач, збирають інформацію з різних джерел, оцінюють її якість і лише після цього формують відповідь.

Наші спостереження добре узгоджуються з сучасними дослідженнями Retrieval-Augmented Generation та агентного пошуку. У міру розвитку великих мовних моделей саме механізми пошуку та роботи з інформацією можуть стати не менш важливими, ніж самі мовні моделі.