Intelligent Search. Part 1: Від CTRL+F до реляційної семантики

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

NLP, QAS, RAG, CAG, TAG, NER, Query expansion, Intent recognition, семантичні ранкери, рекурсивні гібриди та багато іншого ви знайдете у другій частині цього матеріалу. Але спершу зробімо невеликий екскурс в історію...

Problem Definition

Поінформованість — це конкурентна перевага.

Ваш успіх прямо корелює зі швидкістю перевірки гіпотез — від того, як швидко ви відкинете зайве та дійдете до потрібного.

Гіпотези, зі свого боку, походять від аналітики, яка спирається на масив достовірної та релевантної інформації.

Ціни, попит, конкуренти, ринок, тренди, сприятливі та негативні фактори тощо — усе це формує ситуаційну обізнаність та прямо впливає на розвиток компанії.

Інтелектуальний пошук інформації, який є ключовим елементом пазла на шляху до успіху, — це не просто пошук, а цілий набір методів, заснованих на Natural Language Processing (NLP), обробці природної мови.

Це високотехнологічна гонка озброєнь, де переможець забирає все, а переможені сходять з дистанції.

Розвиток інтелектуального пошуку — це історія про зростаючу абстракцію, де когнітивне навантаження, пов’язане з формулюванням запитів, просіюванням результатів та синтезом відповідей, поступово перекладається з людини на машину. Ми простежимо цей трансфер інтелекту: від власноруч написаних баз знань на перфокартах до ядра міркувань «ШІ-агентів» з їхніми миттєвими відповідями. Цей шлях показує, як ми перейшли від простого пошуку відповідностей до справжнього діалогу з інформацією.

QAS: Оракули закритого домену

«Де грали „Редс“ у липні?»

Комп’ютери почали відповідати на запитання в подібній формі ще на початку 1960-х.

Історія інтелектуального пошуку починається не з вебсторінок, а з вузькоспеціалізованих систем, що відповідали на запитання (Question Answering Systems — QAS). Ці перші системи були дивами свого часу, але їхній світ був обмеженим. Вони працювали в «закритих» доменах, покладаючись на структуровані, власноруч створені бази даних, які наповнювали експерти в конкретній галузі.

Ключовими прикладами цієї епохи є:

• BASEBALL (1961): Одна з перших систем, яка відповідала на запитання про статистику вищої ліги бейсболу за один рік. Вона могла обробляти запити, як-от: «Хто не програвав у домашніх матчах?», — перетворюючи їх на запити до своєї структурованої бази даних.
• LUNAR (1971): Ця система відповідала на запитання геологів щодо аналізу місячних порід, привезених місіями «Аполлон». LUNAR була надзвичайно ефективною: на демонстрації в 1971 році вона змогла правильно відповісти на 90% запитань, поставлених людьми, які не були знайомі із системою.
• SHRDLU (кінець 1960-х — початок 1970-х): Проривна програма Террі Винограда, яка могла вести діалог про віртуальний світ, що складався з блоків. Вона розуміла команди («Візьми червоний кубик»), ставила уточнювальні запитання та відповідала на запити про стан свого світу, демонструючи синтез розуміння мови й моделі фізичного середовища.

Архітектурний принцип цих систем був простим: вони здійснювали семантичний парсинг, тобто перетворювали запитання природною мовою на формальний запит, який можна було виконати в їхній базі даних. Цей фундаментальний підхід — перетворення людської мови на машиночитну логіку — залишається актуальним і сьогодні, хоча й у значно складнішій формі.

Інтерлюдія ELIZA: Ілюзія розуміння

Неможливо говорити про ранню історію взаємодії людини з комп’ютером, не згадавши ELIZA Джозефа Вайзенбаума. Хоча ELIZA не була справжньою QAS — вона не мала бази знань і не «відповідала» на запитання у фактологічному сенсі, — її вплив був колосальним. ELIZA використовувала просте зіставлення за ключовими словами та підстановку шаблонів для імітації розмови з роджеріанським психотерапевтом.

Найвідоміший її скрипт, DOCTOR, сканував введення користувача на наявність ключових слів (наприклад, «мати», «сон»), а потім застосовував правила перетворення для створення відповіді, що часто була непрямим запитанням («Розкажіть мені більше про вашу сім’ю»). Це створювало ілюзію розуміння. Вайзенбаум був шокований, коли побачив, що люди, включно з його секретаркою, приписували програмі людські почуття та справжнє співпереживання.

Це явище отримало назву «ефект ELIZA» — наша природна схильність антропоморфізувати машини та приписувати інтелект системам, які лише дзеркально відображають наші власні слова.

Нічого не нагадує? 😉

Ця історія слугує важливим застереженням, яке залишається актуальним навіть сьогодні, в епоху взаємодії з великими мовними моделями (LLM). ELIZA показала, що для створення відчуття діалогу не завжди потрібне справжнє розуміння — іноді достатньо лише його майстерної симуляції.

Так і ChatGPT та йому подібні — це високоінтелектуальні мікрохвильовки, які імітують емпатію, адже це сприяє збільшенню вашої залученості та підвищенню LTV.

Великий Веб Вибух

Поява Інтернету призвела до незворотних змін. Модель закритого домену стала нежиттєздатною у світі величезних і постійно зростаючих масивів неструктурованого тексту. Завдання кардинально змінилося: тепер потрібно було знаходити відповіді не в акуратній базі даних, а в мільярдах цифрових документів.

Каталізатором цих змін стала конференція з пошуку текстів (Text Retrieval Conference, TREC), яка у 1999 році запровадила спеціальний трек з відповідей на запитання (QA-трек). Це сприяло дослідженням, стандартизувало методи оцінки та стимулювало розвиток QAS для відкритих доменів.

У цю епоху сформувалася нова архітектурна парадигма, яка є прямим предком сучасних систем:

1. Аналіз запитання: Визначення типу запитання (наприклад, «Хто?», «Коли?», «Де?») та очікуваного типу відповіді.
2. Пошук документів/параграфів: Використання технік Information Retrieval (IR) для знаходження релевантних документів.
3. Видобування кандидатів у відповіді: Пошук у знайдених текстах конкретних фрагментів (речень, фраз), які можуть бути відповіддю.
4. Валідація та ранжування відповідей: Оцінка та ранжування кандидатів для вибору найкращої відповіді.

Цей перехід від структурованих знань до неструктурованої інформації заклав основи для всіх сучасних пошукових систем. Замість того, щоб будувати ідеальну базу знань, інженери почали будувати ідеальний міст до безладного світу інформації.

Цей ранній період розвитку QAS демонструє фундаментальну інверсію в самому понятті «знання» для пошукових систем. Перші системи, як-от LUNAR, кодували знання — факти про бейсбол чи місячні породи — і використовували відносно прості лінгвістичні правила для доступу до них. «Інтелект» системи полягав у її здатності перекласти людське запитання на мову бази даних. З появою Інтернету ця модель стала неможливою. Джерелом істини став хаотичний масив документів, а не структурована база.

Пошукові системи змістили фокус з перекладу запитів користувачів на імовірнісний інформаційний пошук. Вони шукали інформацію замість того, щоб давати відповіді, і це було цілком природно на початковому етапі. Але час ішов, і насувався шторм.

Party’s Over

Гравці пошукового ринку були зайняті згрібанням фішок зі столу та рахуванням виграшів, не помітивши, як сама гра змінилася.

Вечірка не просто закінчилася: музику вимкнено, прибула поліція, а учасники поспіхом розходяться, хто куди...

Веб пройшов еволюцію від відкритих ресурсів до напівзакритих соціальних платформ. Хоча це й не призвело до падіння пошукового бізнесу, адже компенсувалося розквітом мобільного пошуку та глобальним трендом на локалізацію сервісів.

З погляду власників контенту, це був перехід від чистого SEO до SMM, коли акценти почали зміщуватися від класичної пошукової оптимізації до просування в рамках закритих соціальних платформ. Трафік на ресурси власників контенту зростав, змінилася лише його структура.

Але з початком ери ШІ відбулася серйозна трансформація — поява закритих генеративних платформ, де сама роль власника контенту змінилася. А органічний трафік на вебресурси помітно впав.

І продовжуватиме падати.

Таким чином, власники контенту змушені вирішувати задачі монетизації та оптимізації в рамках нових для себе екосистем, гучна хода яких стала відчутною для всіх навколо.

Блиск та нікчемність LLM

Поява LLM стала революцією. Вони продемонстрували разючу здатність розуміти та генерувати людську мову. Однак при використанні «в чистому вигляді» для завдань пошуку та відповідей на запитання вони мають фундаментальні недоліки, які роблять їх ненадійними для критичних застосувань.

Ключові обмеження LLM:

• Обмеженість знань (Knowledge Cutoff): Знання моделі — це статичний знімок даних, на яких вона тренувалася. Вони старіють у момент завершення навчання і не можуть враховувати події, що відбулися після цієї дати.
• Галюцинації: LLM схильні «вигадувати» факти, генеруючи правдоподібну, але абсолютно неправдиву або безглузду інформацію. Це відбувається тому, що їхня основна мета — генерувати статистично ймовірний текст, а не перевіряти факти.
• Непрозорість: Процес міркування LLM є «чорною скринькою». Неможливо відстежити, чому модель згенерувала ту чи іншу відповідь, що робить її неоптимальною для завдань, де потрібна перевірка джерел та довіра до результату.

Ці проблеми створюють серйозний ризик, особливо в корпоративному середовищі, де точність та актуальність інформації є критичними.

Бар’єр реляційної семантики

Класичні пошукові системи не здатні відповісти на запитання:

«Хто з акторів, які знімалися в Тарантіно, бував в Україні?»

І тільки сучасні LLM впритул наблизилися до знаходження ефективних відповідей.

У чому тут складність і чому це важливо?

Складність полягає у так званій реляційній семантиці, яка (за аналогією з SQL) вимагає пошуку інформації в кілька етапів, із застосуванням відповідей на одні підпитання як частини пошукових запитів для інших.

З актуальністю цікавіше:

Саме в здатності давати відповіді на складні запитання реляційної семантики полягає наша, людська, цінність для бізнесу. Це червона зона нашої компетентності як професіоналів. І саме тут машини здійснюють свій наступ. Ось лише маленький список прикладів:

• В якій послідовності складати готовий виріб?
• Кому з клієнтів продати залишки продукції?
• Хто з контрагентів несе потенційні ризики?
• Які основні причини зриву угод за останній квартал?
• Чи не втратив минулорічний звіт актуальності?
• Які локації розглянути для розвитку мережі магазинів?
• Чим найкраще замінити деталь Х в наявному продукті?

На ці та тисячі подібних запитань уже почали або скоро почнуть відповідати машини.

Ми, Шкіряні Мішки, вперше за всю нашу історію маємо справу із ситуацією, коли наша інтелектуальна перевага поставлена під сумнів. Та перевага, завдяки якій ми вижили в складних умовах дикого світу та підкорили сильніших, швидших, витриваліших за себе конкурентів.

Саме тут на сцену повноцінно виходить ШІ, озброєний проривними техніками Intelligent Search.

Друга частина цього матеріалу — техно порно, у кривавому ентерпрайзі.

Ми розглянемо детально весь спектр технологій та найкращих сучасних практик у сфері інтелектуального пошуку інформації і генерації знань.

Дякую за увагу та до зустрічі)