Семантика в RAG або історія про «безлактозний молочний пудінг»

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Мене звати Павло Дмитрієв. Я працюю ШІ-інженером у Postindustria, і сьогодні я б хотів розповісти про те, як питання про молоко стало відправною точкою для пошуку шляху до побудови більш розумного RAG.

Title image

MealRAG починався як пісочниця для експериментів. Спочатку я хотів зосередитися саме на retrieval: подивитися, які рецепти повертає запит, спробувати різні способи пошуку й порівняти їх на одному й тому самому наборі для оцінювання. Такий набір я, звісно, зібрав, втім, експерименти тривають досі.

Щоб не ускладнювати, для синтетичного набору даних я вирішив використати кулінарні рецепти. Вони для цього підходили майже ідеально. Можна попросити щось розмите на кшталт «швидка вечеря, коли лінь», а можна задати конкретне обмеження — наприклад, «без молока» — і подивитися, як пошук поводиться в обох випадках.

Я очікував, що дізнаюся щось цікаве про ранжування. Але дорогою виникло інше питання, яке виявилося достатньо цікавим для окремої статті: де саме в RAG-системі живе «розуміння» користувацького запиту?

Рецепти дали мені знайоме середовище, де можна подивитися на результат і доволі швидко зрозуміти, чому він не відповідає запиту. Але сама проблема значно ширша: як retrieval-система пов’язує намір людини з інформацією та операціями, які їй доступні? З їжею це добре видно, але ті самі питання виникають майже в будь-якому пошуку: товарів, документації чи внутрішній базі знань.

Першим експериментом у моєму списку було додати reranker: спочатку отримати набір рецептів через векторний пошук, а потім надати другій моделі переставити кандидатів у кращому порядку.

Але до reranker я дійшов значно пізніше. Базовий пошук почав підкидати цікавіші питання: які частини запиту similarity ranking взагалі здатен обробити? Потім я зробив побічний експеримент з агентом — і питання раптом стало вже не тільки про retrieval, а й про всю систему.

Ця стаття — саме про це відгалуження від мети. А повне порівняння retrieval-підходів і результати evaluation можна буде винести в окремий матеріал.

Я зібрав 790 рецептів із TheMealDB. Кожен рецепт став окремим Markdown-документом із YAML-метаданими. Я не розбивав рецепти на чанки: назва, інгредієнти й інструкції достатньо короткі, щоб зберігати їх разом.

Для embeddings я вибрав BGE-M3, бо хотів запускати модель локально через Ollama. Вона перетворює текст на числове представлення, яке можна порівнювати з представленнями інших текстів. BGE-M3 — мультимовна модель, яка підтримує dense, sparse та multi-vector retrieval. У цьому експерименті я використовував лише її dense embeddings. Вони мають 1024 виміри. У моделі є й інші режими пошуку, які я, можливо, досліджу пізніше, але до результатів нижче вони не мають стосунку.

Вектори я зберігав у Qdrant — базі даних, створеній саме для пошуку близьких векторів. У моїй колекції кожен рецепт був point із вектором і payload із даними рецепта; Qdrant ранжував їх за cosine similarity до вектора запиту. Втім, надалі я планую використовувати SQLite-vec. Для цієї задачі його можливостей цілком достатньо.

Тобто, я міг написати звичайне питання англійською мовою, отримати для нього embedding тією самою моделлю й подивитися, які рецепти опинилися найближчими. Qdrant також уміє фільтрувати за полями payload. Я ще не знав, наскільки сильно мені знадобиться ця можливість після того, як similarity search почне робити дивні речі.

Я не ембеддив сирий Markdown-файл. Натомість складав структурований текст із назви, кухні, категорії, інгредієнтів із кількостями та інструкцій. Наприклад, документ для Poutine виглядав приблизно так:

Title: Poutine Cuisine: Canadian Category: Miscellaneous Ingredients: Dash Vegetable Oil 1 Can Beef Gravy 5 thin cut Potatoes 2 cups Cheese Curds Instructions: Heat oil in a deep fryer or deep heavy skillet...

У payload Qdrant зберігалися назва, джерело, теги, оригінальні інгредієнти та інструкції, а також окремий масив ingredient_names.

Спочатку пошук був просто чудовий

Я почав із прямих запитів до Qdrant, без LLM перед ним. «Curry» повертав карі. «Something vegan but tasty» — веганські та вегетаріанські страви. Непогано, але нічого особливо цікавого про модель ці результати не розповідали.

Тоді я спробував менш буквальний запит:

I want a quick lazy dinner 

1. Drunken noodles (pad kee mao) 0.576 
2. Quick gazpacho 0.572 
3. Lamb Tzatziki Burgers 0.571 
4. Lancashire hotpot 0.561 
5. Vegetarian Casserole 0.557

На першому місці опинилися Drunken Noodles. І це вже було цікаво.

У рецепті ніде не написано, що він «lazy». Цього слова взагалі немає в тексті, який я ембеддив. Але сам процес приготування справді короткий: часник і чилі обсмажуються 20 секунд, стейк і броколі — приблизно по хвилині, потім ще хвилина-дві на локшину та соус. Так, перед цим усе ще треба підготувати, тому з даних не можна чесно вивести повний час приготування. Але як відповідь на дуже людське й доволі розмите «хочу швидку вечерю, бо лінь», це виглядало цілком переконливо.

Саме за це я люблю гратися з embeddings: іноді результат виглядає так, наче база даних зрозуміла не просто слова, а настрій запиту, і мені захотілося знайти межу цієї магії.

Що буде, якщо сказати моделі не те, що я хочу, а те, чого я не хочу?

А потім він знайшов молочний пудинг

Я попросив знайти вечерю для людини з непереносимістю лактози. Qdrant відповів ось так:

Fancy dinner for lactose-intolerant 

1. Firni 0.603 
2. Flamiche 0.583 
3. Lancashire hotpot 0.573 
4. Keto Banitsa 0.563 
5. Flija Layered Pancake / Crepe 0.558

Я відкрив перший рецепт. Firni — це молочний пудинг. Список інгредієнтів починається з шести чашок незбираного молока.

Milk WUT?

Ось у цей момент експеримент став значно цікавішим. Модель знайшла щось семантично близьке до частини мого запиту — але повністю проігнорувала саме ту частину, яка була найважливішою.

Може, lactose-intolerant — просто невдале формулювання?

Я спробував dairy-free, no milk, without milk, cheese, cream or butter.

Рецепти з великою кількістю молочних продуктів продовжували з’являтися. Тобто справа була не в тому, щоб знайти магічний синонім, після якого звичайний similarity search раптом зрозуміє заборону.

Варто окремо уточнити: lactose-free, dairy-free і «no milk» — це не взаємозамінні дієтичні вимоги. Тут я використовую їх, щоб подивитися, як retrieval поводиться з виключеннями, а не щоб визначити, чи безпечна конкретна страва для конкретної людини. Далі я додав до негативного обмеження ще й позитивну категорію страви.

Ось два запити. Для читабельності я прибрав scores:

fast dish no milk 

1. Firni 
2. Dulce de Leche 
3. Jamaican Instant Pot Rice and Beans 
4. Drunken noodles (pad kee mao) 5. 
Leche Asada 

fast seafood dish no milk 
1. Seafood rice 
2. Seafood fideuà 
3. Fish pie 
4. Nasi lemak 
5. Meang Nem

У fast dish no milk перші два результати — це молочні десерти. Додаємо одне слово — seafood — і список одразу починається з морепродуктів.

Виглядало так, наче позитивна тема давала ранжуванню напрямок, а no milk так і не перетворювався на ворота, через які непридатні результати не повинні проходити.

Це лише спостереження за двома конкретними запитами, а не виміряна закономірність BGE-M3. Я також не перевіряв кожен інгредієнт у другому списку, тому не можу стверджувати, що всі ці рецепти справді відповідають цьому обмеженню. Цікаво тут інше: що саме, схоже, намагається оптимізувати пошук.

Щоб зрозуміти результат, треба розділити дві задачі, які в природній мові звучать дуже схоже. Dense bi-encoder перетворює і запит, і документ на вектори, а потім ранжує їх за близькістю. Якщо в запиті згадується молоко, рецепт, який дуже про молоко, цілком може опинитися поруч — навіть якщо користувач сказав «без молока».

Negation та exclusion — відомі складні випадки для neural retrieval. Для них створюють окремі benchmarks і training sets, зокрема NevIR та ExcluIR.

Навчання на таких прикладах може допомогти, але воно все одно не перетворює векторну схожість на жорстке правило виключення. І це дало мені корисніший спосіб дивитися на результати: embeddings добре працювали з питанням, яку саме страву я хочу. А я паралельно просив їх виконати зовсім іншу роботу: дотриматися умови.

Наступне питання було очевидним: чи може агент закрити цю прогалину?

Дивимося, як шукає агент

У мене вже був готовий агент на Claude Agent SDK, тому надати йому той самий Qdrant search як MCP tool було нескладним експериментом. Мені стало цікаво, що буде, якщо модель зможе сама формувати retrieval-запити, дивитися на кандидатів і за потреби пробувати ще раз. Саме наявність готового агента й затягнула мене в цю гілку проєкту.

Тож я використав agentic RAG: модель сама вирішує, як використовувати retrieval під час побудови відповіді. Це лише один із способів будувати RAG. Система цілком може мати й фіксований pipeline: спочатку retrieve контекст, потім передати його моделі для generation.

Моєю початковою метою було порівнювати retrieval, а агент просто надав ще один спосіб дослідити його поведінку. На цьому етапі я ще не порівнював ці архітектури систематично й не вирішив, що agentic-підхід — найкращий варіант для MealRAG.

Початковий опис tool був максимально простим:

Search the recipes database for relevant information.

Tool приймав natural-language query і необов’язкові параметри пошуку, ембеддив запит через BGE-M3 та повертав кандидатів разом із payload рецептів.

Я попросив знайти «some fancy dish», додавши, що маю непереносимість лактози. Claude зробив три пошуки:

dairy-free fancy elegant dish seafood dish olive oil garlic no dairy elegant dinner party main course dairy free

Спостерігати за цією послідовністю було дуже цікаво. Claude змінював позитивний напрямок: спочатку — просто елегантна страва, потім — seafood, потім — main course для dinner party. Але кожен запит усе одно містив dairy-free або no dairy як частину звичайного тексту.

У нього був додатковий інструмент — можна було пошукати ще раз, — але для самого виключення агент усе одно використовував той самий слабкий механізм.

Заради лаконічності я опустив список кандидатів для цього запуску, але самі пошукові запити достатньо добре показують цей патерн.

Agent RAG

Потім мені стало цікаво: а що Claude шукатиме, якщо майже не дати йому позитивних побажань, а залишити практично лише обмеження? Для запиту «I want a dinner for lactose intolerant» він спробував:

lactose-free dairy-free dinner chicken dinner no milk no cheese no cream dairy free vegetable stir fry dinner

Я не просив ні курку, ні овочевий stir-fry. Claude просто почав перевіряти правдоподібні напрямки, а у фінальній відповіді запропонував кілька варіантів замість того, щоб насильно тягнути мене до одного.

Це цілком розумна поведінка.

Але лог показує рішення, яке зазвичай лишається прихованим: обмеження звужує множину допустимих результатів, але нічого не каже про те, який із допустимих результатів має бути першим.

Щоб пошук став корисним, агент почав самостійно вигадувати позитивні теми. У цей момент я перестав дивитися на його search queries як на окремі помилки промптингу. Що я взагалі розповів Claude про цей інструмент? Він знав, що tool шукає рецепти. Але не знав, які види запитів цей пошук обробляє добре, а які не можна довіряти йому як «арбітру».

Я змінив опис — і повторив той самий запит

Я переніс висновок із прямих експериментів із Qdrant в MCP server instructions та в description самого tool. Головна частина звучала так:

Search the recipe knowledge base using semantic vector similarity.

The search works best with positive descriptions of the desired food, such as ingredients, cuisine, dish type, style, texture, occasion, or qualities like «quick», «filling», «light», «spicy», or «fancy».

Negative constraints such as «no dairy», «without nuts», «gluten-free», or «not spicy» are NOT reliably handled by vector similarity. Including excluded ingredients in the search query may actually retrieve recipes containing those ingredients.

When the user has negative or dietary constraints:

  1. Use positive preferences to construct the search query.
  2. Retrieve a reasonably broad candidate set.
  3. Inspect the returned recipes and enforce negative constraints yourself.
  4. If the request contains mostly constraints and little positive preference, use a broad positive description such as the requested meal type or desired characteristics rather than searching primarily for the excluded ingredients.

Do not assume that a high similarity score means that dietary or exclusion constraints are satisfied.

Тож я сказав Claude використовувати позитивні побажання для retrieval, брати достатньо широкий набір кандидатів і вже потім перевіряти їх на негативні обмеження. Високий similarity score, як прямо зазначав description, не є доказом відповідності дієтичній вимозі.

Я не змінював embedding model. Не змінював базу. Не змінював набір рецептів. Чи зміниться поведінка агента лише тому, що він тепер краще розуміє свій інструмент?

Я повторив той самий запит до й після зміни: «Suggest good, filling dish for lactose intolerant.»

З коротким description видимий search call був таким:

{"query": "filling lactose-free dinner dish"}

Повторний запуск цього запиту повернув:

1. Firni 0.572 
2. Chicken Shawarma with homemade garlic herb yoghurt sauce 0.561 
3. Stuffed Lamb Tomatoes 0.557 
4. Meang Nem 0.556 
5. Fish pie 0.556 
6. Flija Layered Pancake / Crepe 0.554 
7. Three Fish Pie 0.553 
8. Egyptian Fatteh 0.553 
9. Lamb Biryani 0.552 
10. Full English Breakfast 0.552

Claude рекомендував Egyptian Fatteh, описавши її як ситну страву, де «потрібна лише одна проста заміна». Він запропонував замінити вершкове масло в рецепті. Також він запропонував Firni як десертний варіант — із заміною молока. У replay Fatteh стоїть на 8-му місці, а Firni — на 1-му. Тобто, основна рекомендація агента вже не збігається з топ-1 векторного ранжування.

Молочний пудинг повернувся. Але цього разу — як страва, яку агент вирішив адаптувати. Відповідь не була марною: основна рекомендація відповідала побажанню щодо ситної їжі.

Слово filling, яке дав користувач, додало запиту позитивного напрямку — приблизно так само, як seafood у попередніх експериментах. Це правдоподібне пояснення кращої рекомендації, хоча цей конкретний експеримент не дозволяє ізолювати вплив одного слова.

Втім, щоб виконати обмеження так, як його зрозумів Claude, відповідь усе ще покладалася на заміну інгредієнта.

З розширеним description видимий search call виглядав уже так:

{"query": "hearty filling dish for dinner, protein and vegetables", "limit": 10}

Обмеження повністю зникло зі similarity query. І Claude явно запросив 10 кандидатів.

Replay повернув:

1. Chicken Marengo 0.603 
2. Creamy Mustard Chicken 0.598 
3. Jiggs Dinner 0.597 
4. Chicken Alfredo Primavera 0.594 
5. Fish pie 0.591 
6. Moussaka 0.591 
7. Chicken Parmentier 0.590 
8. Egyptian Fatteh 0.586 
9. Beef Wellington 0.586 
10. Creamy Tomato Soup 0.585

Chicken Marengo тепер опинився першим, хоча кілька рецептів, які агент потім визнав непридатними, все одно мали дуже високі позиції.

Фінальна відповідь зробила цей відбір добре помітним:

  • Головна рекомендація: Chicken Marengo. Claude зазначив, що в оригінальному рецепті немає молочних продуктів.
  • Відкинуті варіанти: Creamy Mustard Chicken, Chicken Alfredo Primavera, Fish Pie, Moussaka, Chicken Parmentier та Creamy Tomato Soup. Claude сказав, що прибрав їх, бо вони суттєво покладаються на вершки, молоко або сир, які, на його думку, складно адекватно замінити.
  • Запасні варіанти: Jiggs Dinner та Egyptian Fatteh. Для обох усе ще пропонувалося прибрати або замінити вершкове масло.

Я перевірив рецепт Chicken Marengo: у списку інгредієнтів є оливкова олія, гриби, курячі ніжки, passata, кубик курячого бульйону, чорні оливки та петрушка. Молоко, вершки, сир чи масло явно не вказані.

Цього разу головна рекомендація не потребувала переписувати рецепт і замінювати в ньому молочний інгредієнт. А запасні варіанти показали, що агент усе одно вважав заміну прийнятним шляхом до відповіді.

Це вже здавалося маленьким проривом.

Replay-запити дозволяють пов’язати search calls із конкретними кандидатами: усі шість рецептів, які Claude сказав, що відкинув, справді присутні в другому списку — разом із головною рекомендацією та обома запасними варіантами. Фінальна відповідь також містить зазначену причину відмови. Таким чином, можна простежити ланцюг від query через retrieved candidates до рекомендації, хоча сам процес перевірки всередині агента все одно видно лише через його власний опис.

Обидва replay використовують по десять кандидатів, тому вони показують зміну query і selection, а не доводять, що сам candidate pool став більшим. Я змінив одразу обидва description fields, тому не можу сказати, яке саме з них дало ефект. І це був лише один приклад before/after, а не контрольований експеримент.

Крім того, кубик курячого бульйону цілком може містити компоненти, яких немає в моєму рецепті. Тому корисний висновок тут набагато вужчий:

коли Claude отримав явний опис меж можливостей tool, він змінив стратегію пошуку в цьому конкретному запуску.

І це змінило моє ставлення до опису інструменту. Це вже не просто документація для розробника, який читає код. Для агента description — фактично частина алгоритму: інформація про можливості й обмеження tool впливає на те, який query модель сформує і що робитиме з отриманими результатами.

Але чи справді агент має робити це щоразу?

Нова поведінка мені сподобалася. А потім я подумав: стоп. А що саме я змушую агента робити? «Знайди рецепт без X» — не якийсь екзотичний запит для бази рецептів. Так, агент може переглянути 10 рецептів і відкинути непридатні. Але навіщо щоразу виконувати цю перевірку в текстовому reasoning, якщо ми наперед знаємо, що пошук з виключенням інгредієнтів — нормальна й поширена частина домену?

Я задумався, чи не вирішить усе інший retrieval method. Sparse ranking може дати інший сигнал релевантності. Full-text search може мати явний Boolean NOT operator.

Але це різні можливості.

Sparse score сам по собі не означає «виключити молоко». Навіть текстове NOT milk може пропустити варіанти написання, складені інгредієнти чи рецепти з неповним описом.

Питання вже вийшло далеко за межі вибору конкретного методу ранкінгу. Тут є дві окремі речі:

  1. чи містить запит негативне формулювання;
  2. чи задає він обов’язкову умову.

«Страва має бути vegan» — жорстка вимога, сформульована позитивно. «Я б хотів щось не надто важке» — м’яке побажання, сформульоване негативно. Навіть «quick» може бути або приблизним ranking signal, або суворою умовою «не більше 20 хвилин». Мої експерименти з молоком показали проблему з negation, але сама архітектурна задача ширша.

Система повинна визначати:

  • які частини запиту впливають на ranking;
  • які визначають eligibility — тобто чи можна взагалі розглядати результат;
  • а які потребують уточнення.

І тут я згадав, що вже лежить у моєму payload: ingredient_names. Я зберіг структуровані назви інгредієнтів у Qdrant, але MCP tool насправді дозволяв Claude передати лише natural-language query, необов’язковий limit і необов’язковий score threshold.

У спрощеному вигляді input був таким:

type SearchInput = { 
  query: string; 
  limit?: number; 
  scoreThreshold?: number; 
};

Там фізично не було способу сказати: «виключити dairy» як умову. Claude міг або впхнути ці слова в similarity query, або вже після retrieval читати рецепти й перевіряти їх самостійно.

Я ще не реалізував ingredient exclusions, але наступний крок став цілком конкретним: нормалізувати назви інгредієнтів, визначити групи на кшталт dairy і дозволити tool приймати таку умову напряму. Наприклад:

searchRecipes({
 query: "hearty filling dinner",
 excludeIngredients: ["milk", "cream", "cheese", "butter"],
 limit: 10 
})

А якщо побудувати достатньо акуратну food taxonomy, intent можна було б представити навіть так:

excludeCategories: ["dairy"]

Qdrant підтримує payload filtering, зокрема й exclusions. Складність уже не в самому фільтрі. Справжня робота — вирішити, що саме в наших даних вважається dairy і що робити з інгредієнтами, які ми не можемо впевнено класифікувати.

Цей шар я ще не реалізував і не оцінював.

Extra filter

І тут роль LLM раптом стала значно зрозумілішою. Модель може перетворити:

«хочу щось ситне на вечерю без молочних продуктів»

на:

  • search query, який описує побажання;
  • формальне exclusion, яке описує вимогу.

Food taxonomy визначатиме, які інгредієнти належать до категорії dairy. Application logic зможе жорстко застосувати це обмеження до нормалізованих даних. А search tool ранжуватиме вже лише допустимі рецепти.

Тобто значення запиту в такій системі розподіляється між кількома шарами:

  • інтерпретацією людського запиту;
  • визначеннями категорій;
  • interface самого tool;
  • і логікою, яка застосовує формалізовану умову.

Для медично чутливих запитів знадобиться ще й чітка політика щодо невідомих інгредієнтів, compound products та substitutions. Ані vector score, ані дуже впевнена відповідь LLM таку політику не заміняють.

Не тільки виключення: формалізуємо intent

Negation — лише один приклад того, скільки значення може нести звичайний користувацький запит. Молоко просто зробило проблему наочною.

А тепер уявімо інші запити:

  • «щось більш пряне, ніж це карі»;
  • «страва без різких смаків»;
  • «comfort food, але щоб не було надто важким»;
  • «вечеря для особливого випадку зі знайомих інгредієнтів».

Тут уже з’являються порівняння, сенсорні характеристики, комбінації вподобань і особисті очікування. Це радше приклади напрямків для наступних експериментів, а не речі, які я вже перевірив у MealRAG. Найскладніша частина часто виникає ще до запиту в базу даних: треба формалізувати, що саме людина мала на увазі.

«Без різких смаків» може означати:

  • менше кислоти;
  • менше гостроти чилі;
  • менше гіркоти;
  • менше сильних ароматів.

«Більш пряне, ніж це карі» вимагає не лише reference dish, а й чіткого визначення слова «більш». База даних може фільтрувати або ранжувати певні властивості — якщо ці властивості представлені в даних і система має потрібні операції. А от визначити ці властивості, представити їх у даних і перекласти людський запит у формальні терміни — це вже може бути найскладнішою частиною всієї інженерної роботи.

Деякі характеристики при цьому так і залишаться придатнішими для приблизної relevance-оцінки, а не для точного фільтра. І тут у агента з’являється цікава роль: формалізатор intent.

Він може:

  • виділяти preferences і requirements;
  • розбирати references і comparisons;
  • ставити уточнювальні питання;
  • перетворювати свою інтерпретацію на searches, conditions і checks, які підтримує система.

Для «без різких смаків» першим кроком узагалі може бути питання: які саме смаки людина хоче уникнути? Так само агент повинен розуміти, коли даних недостатньо, щоб провести змістовну перевірку.

Tools виконують операції, які вони підтримують. А дані й доменні визначення визначають, що саме система взагалі здатна перевірити. Та сама архітектурна проблема існує далеко за межами рецептів.

«Тихіша альтернатива цьому ноутбуку для подорожей» поєднує comparison і use case.

«Інструкція з налаштування для людини, яка знає Python, але ніколи не деплоїла сервіс» вимагає інтерпретувати рівень підготовки читача і те, які знання передбачає матеріал.

Це вже приклади ширшої проблеми, а не можливості, доведені моїми експериментами з рецептами:

яку частину неформального людського запиту система здатна перетворити на корисні операції, які вона реально підтримує?

Саме через це мені й цікаво експериментувати з LLM. Коли агент уже є під рукою, стає дуже легко досліджувати цей шар інтерпретації: як звичайна мова перетворюється на searches, checks і follow-up questions.

А evaluation потім має відповісти на інше питання: чи зберегла ця трансформація те, чого насправді хотів користувач?

Питання, яке лишилося зі мною

Я починав із плану додати reranker. Але перш ніж дійшов до нього, один молочний пудинг повністю змінив питання, яке мені стало цікаво дослідити. «Розуміння» у системі виявилося розподіленим між кількома місцями:

  • embedding model ранжував рецепти;
  • agent інтерпретував мій запит і вирішував, що робити;
  • tool interface визначав, які частини запиту взагалі можна перетворити на явні операції;
  • structured conditions додали б ще один шар значення через визначення, закладені в даних.

Навіть tool description змінив поведінку агента. Я ще не перевірив, чи structured exclusions покращать MealRAG на всьому наборі даних для оцінювання. Reranking і систематичне evaluation усе ще в плані, а їх детальне порівняння краще винести в іншу статтю. Але після цих експериментів у мене лишилося одне архітектурне питання:

де має жити кожен тип значення — і в який момент повторюваний користувацький intent варто перестати передавати просто текстом і винести в структуру?

Практичні висновки для побудови RAG-системи

Ці експерименти були цікавими саме тому, що кожен із них показував щось несподіване. Але водночас вони добре нагадали, наскільки легко оптимізувати LLM-систему за окремими красивими прикладами:

новий prompt виглядає краще на одному запиті, інша модель — гірше на другому, а третій запуск знову робить щось зовсім неочікуване.

Для пошуку failure modes це чудово. Для вибору архітектури, яку треба запускати в production — це не дуже вдалий підхід.

Для реальної системи необхідно спочатку побудувати evaluation loop, і лише після цього вибирати між можливими виправленнями.

1. Зібрати реалістичний test corpus.

У ньому мають бути ті самі типи записів, неповні поля та edge cases, з якими система зустрінеться на практиці. Мої 790 рецептів були маленьким корпусом для експериментів. Production corpus повинен відображати реальний домен і реальну якість даних.

2. Створити evaluation set.

Треба написати репрезентативні користувацькі запити й визначити, що для кожного з них означає успіх: які результати релевантні, які обмеження обов’язкові та які відповіді неприйнятні. Для MealRAG я такий набір уже зібрав, але його детальний дизайн належить радше до майбутньої статті про оцінювання.

Важливо, щоб там були:

  • прості позитивні запити;
  • exclusions;
  • їх комбінації на кшталт «fast seafood dish without milk».
  • А для оцінювання ширшого interpretation layer я б додав ще comparisons, subjective preferences і ambiguous requests, де правильна поведінка системи — поставити корисне уточнювальне питання.

3. Автоматизувати evaluation.

Після кожної зміни треба проганяти через pipeline ті самі запити й записувати не кілька красивих прикладів, а повні результати.

Для retrieval варто дивитися:

  • чи з’являються релевантні кандидати;
  • наскільки високо вони стоять.

Для constraints:

  • скільки разів система їх порушує.

Для повного agent flow:

  • чи зберіг агент intent користувача, коли формував queries і conditions;
  • чи відповідає фінальна рекомендація запиту.

Частина таких оцінок потребує human labels або ручного review, але самі запуски й порівняння мають бути відтворюваними. І лише після цього я міняв би embedding model, додавав reranker, переписував prompts або вводив filters — і порівнював результат.

Evaluation set дає всім цим змінам спільну мету. Без нього гнучкість LLM дуже легко створює ілюзію:

«О, тепер воно наче стало розумнішим».

Як метрика прогресу це, м’яко кажучи, ненадійно.

Хто саме може покращити результат?

Коли вже є evaluation baseline, можна тестувати різні втручання. Вони працюють у різних частинах pipeline і вирішують різні аспекти проблеми. Поділ, до якого я постійно повертався — це relevance проти eligibility:

  • яка вечеря виглядає найбільш доречною;
  • які вечері взагалі дозволено розглядати.

Тож на роль потенційних «покращувачів» могли б претендувати такі рішення.

Інша embedding model.

Модель, навчена на exclusionary queries, може краще ранжувати запити на кшталт «without milk»; datasets на кшталт ExcluIR частково саме для цього й існують. Я міг би порівняти таку модель із BGE-M3. Але краще ранжування все одно залишається оцінкою, а не гарантією того, що кожен повернутий рецепт відповідає жорсткому обмеженню.

Reranker або relevance judge.

Це якраз був мій початковий задум для експерименту. Друга модель може порівняти кожен retrieved recipe з повним запитом і переставити кандидатів — або відкинути ті, які вважає нерелевантними. Cross-encoders показували кращі результати за bi-encoders на NevIR benchmark, сфокусованому на negation. Але reranker бачить лише кандидатів, знайдених на першому етапі. І judgment моделі все одно може бути помилковим.

Інтерпретація й планування агента.

Claude міг повторно шукати, аналізувати рецепти, пропонувати substitutions і часом знаходити хорошу відповідь. Я побачив цю гнучкість на власні очі. Але також побачив, як він витрачає запити на excluded terms і додає preferences, яких я не задавав.

Чіткіша роль агента могла б бути такою:

  • перекладати intent у підтримувані системою operations;
  • ставити уточнення, де це потрібно;
  • визначати checks, які дані не дозволяють виконати надійно.

І цей translation layer теж потрібно оцінювати. Агент може неправильно зрозуміти запит ще до того, як retrieval узагалі почнеться.

Більше tools, включно з web search.

Ширше джерело даних допоможе, якщо серед 790 рецептів просто немає потрібної страви. Але саме по собі воно не зробить exclusions надійнішими. До того ж, це вже змінює саму задачу: відповідь може прийти ззовні recipe base, яку я намагався досліджувати.

Кращі prompts і tool descriptions.

Той самий user request призвів до кориснішої стратегії після того, як я описав обмеження пошукової інструментації. Це відносно дешеве покращення, яке допомагає агенту краще обирати наступну дію. Але constraint усе одно доводиться перевіряти самому агенту, читаючи й аналізуючи текст рецепту.

Sparse, full-text або hybrid retrieval.

Lexical signals допомагають, коли важливі точні слова. Hybrid search поєднує їх із результатами семантичного пошуку. Boolean NOT у запиті також може виключати текстові збіги, якщо пошукова система підтримує таку операцію. Але ні sparse scoring, ні result fusion автоматично не розуміють, що «no milk» — це саме заборона. А text-level exclusion може пропустити варіанти або складені інгредієнти.

Domain-aware tools і data.

Search API може приймати excludeIngredients або excludeCategories, а normalized recipe data разом із детермінованою логікою — застосовувати цю умову. Це найочевидніше місце для гарантії, якщо дані й правила категоризації досить хороші. Ціна — більше інженерної роботи на старті. А для невизначених ingredient data все одно потрібна окрема явна policy.

Зрештою, підхід доволі приземлений:

  • використовуємо evaluation, щоб зрозуміти, де саме ламається запит;
  • змінюємо систему саме в цій точці;
  • а потім проганяємо ті самі кейси ще раз.

Практичне питання не в тому, чи «стало розумніше». Питання в тому, чи зміна:

  • покращила relevance;
  • зменшила кількість constraint violations;
  • і привела до кращих фінальних рекомендацій.
👍ПодобаєтьсяСподобалось12
До обраногоВ обраному6
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Смачний пост для недільного читання.
Дякую!

згадалась фраза з давно прочитанної книжки, і ніби це про RAG:
«Як жінка безладно начитана, Ганна Іванівна плутала суміжні поняття»
з роману «Доктор Живаго» Бориса Пастернака

Дякую! :) Згадав у відповідь Коржибського: «Карта — не територія». А векторна близькість, як виявилося, — ще не безлактозність.

векторна близькість

«Як модель із недостатньою семантичною роздільністю ембедингів, вона плутала суміжні поняття»

Чудова стаття, Павле! Дуже імпонує чесний інженерний підхід без маркетингового хайпу навколо RAG — із розбором реальних невдач, логів та оцінкою поведінки агентів.

Випадок із Фірні (молочним пудингом на шість склянок молока на запит «без лактози») — це хрестоматійний приклад пастки векторного пошуку. Векторний простір оптимізує смислову близькість за темою. Текст, насичений молоком, у просторі ембедингів знаходиться поруч зі словом «молоко», незалежно від наявності частки «без». Для вектора «молоко» і «без молока» — це один і той самий смисловий кластер.

Ви абсолютно точно сформулювали головну проблему: розділення доречності (Relevance) та допуску (Eligibility). Як людина, яка давно займається архітектурою доказових експертних систем, підкину три практичні думки на продовження ваших експериментів.

Перша думка. Структурована обробка наміру перед пошуком. Замість того щоб давати агенту формувати довільний текст для пошуку, на першому кроці надійніше зробити типізовану екстракцію. Побажання користувача (настрій, «швидко», «ситне», «вечеря») відправляти у векторний чи гібридний пошук для ранжування. А дієтичні заборони та виключення алергенів передавати суто в детермінований фільтр бази даних. Тоді векторна модель ранжуватиме лише те, що вже гарантовано пройшло логічний допуск.

Друга думка. Принцип відмови за браком даних (Fail-Closed). Ви дуже влучно помітили кейс із кубиком бульйону, де склад неповний. У критичних темах єдине безпечне правило — це закриті ворота: якщо склад інгредієнта невідомий або сумнівний, система має видавати не ймовірнісну здогадку, а чітку відмову чи зустрічне уточнення користувачу. Для людей з алергією це вже питання безпеки життя і здоров’я.

Якщо провести алегорію з автомобільною функційною безпечністю за стандартом ISO 26262:
Рівень QM — це настрій («швидко», «смачно», «коли лінь»). Тут помилка вектора нікому не зашкодить.
Рівень ASIL B — це непереносимість лактози, як у вашому випадку з Фірні. Буде неприємно, але не фатально.
А от рівень ASIL D — це гостра алергія на горіхи чи морепродукти, де мікродоза викликає анафілактичний шок. На рівні ASIL D жодна система не має права покладатися на ймовірнісну модель чи здогадки агента. Там працює виключно нульова толерантність до помилок.

У харчовій індустрії цю проблему давно вирішили без жодних нейромереж через суворі стандарти, які варто закласти у фундамент вашої таксономії:
1) Регламент ЄС номер 1169/2011. Він містить вичерпний перелік із чотирнадцяти обов’язкових до декларування алергенів (молоко і лактоза, глютен, арахіс, яйця, селера, кунжут тощо). Жодних здогадок закон не визнає: якщо компонент входить у ці чотирнадцять позицій — це жорстке правило.
2) методологія безпечності харчування НАССР та американський закон FDA FASTER Act. Їхній головний принцип — критичні контрольні точки. Перевірка алергену — це класична критична точка контролю. Якщо немає стовідсоткового підтвердження безпечності (як із тим самим бульйонним кубиком), партія бракується за замовчуванням (той самий принцип відмови).
Можливо є й інші стандарти, варто пошукати і врахувати їх вимоги.

Тому якщо RAG-система має давати рекомендації щодо харчування людям з обмеженнями, її шар перевірки допуску (Eligibility) має будуватися не на мовних нюансах, а на списку чотирнадцяти алергенів стандарту 1169/2011 і контрольних точках НАССР. Тоді ані Фірні, ані неперевірений бульйонний кубик фізично не зможуть потрапити до користувача.

Третя думка. Логіка винятків замість фантазій моделі. Те, що Клод запропонував страву «за умови заміни масла на олію» — це класична теорія спростовних міркувань. Страва за замовчуванням заборонена правилом, але спрацьовує виняток, який дозволяє її за умови заміни. Якщо такі правила заміни формалізувати в явну таблицю в коді, агент стане повністю передбачуваним і перестане вигадувати випадкові комбінації.

З нетерпінням чекатиму вашу статтю про оцінювання. Маленька порада для бенчмарку: розділіть окремо метрики ранжування для побажань та окремо метрику порушення обмежень, яка в ідеалі має суворо дорівнювати нулю.

Миколо, дякую! Врахував ваші поради в плані бенчмарку. Для мене їжа тут була радше наочним прикладом, але схоже, у вас значно більше досвіду з формалізацією вимог і перевіркою обмежень у цій галузі :)

З доменом харчової промисловості не так вже й багато, більше в Automotive тому й аналогія з

автомобільною функційною безпечністю за стандартом ISO 26262

Тим не менш, вважаю що ви вибрали цікавий приклад і врахування вимог галузевих стандартів додасть прикраси Вашому прикладу.

Три думки базуються на вимогах і підходах експертних систем.

Шкода, що без анекдоту дня ))

Дякую за застереження про одне порівняння до/після. У мене схожий стек в особистій базі знань (Obsidian, Qdrant + FTS, агент через MCP). Три речі, які в нас спрацювали:

1. Словник інгредієнтів окремим конфігом із ручною перевіркою: канонічна назва, синоніми, групи (dairy, gluten). В автоматично зібраному словнику в нас знайшлося 3 хибні пари з 30, і частотний поріг їх не відсіяв. Усе, чого немає в словнику, явно позначайте як unknown. Для медичних запитів unknown = «не підходить».

2. Перед реранкером перевірте стелю: чи є підходящий рецепт серед перших N після фільтра взагалі. Реранкер лише переставляє знайдене. Цікава історія була з Jev від TypeSafe, моделлю «типізованих рішень», яка не генерує текст. Локальний Qwen3-Reranker-0.6B підняв MRR з 0.68 до 0.83 за ~4 с. Jev, якому дали весь пул із 20 кандидатів одним вибором, підняв до 0.94 за ~0.6 с і менше ніж $0.001 за пошук. Перший результат став правильним у 89% випадків замість 53%. Окреме «так/ні» на кожного кандидата для ранжування програло, зате добре сигналить «відповіді тут немає». Це якраз для випадку «нічого безмолочного не знайшлося».

3. Замір. Поріг прийняття фіксуйте до прогону. Додайте контрольний варіант, якого зміна не стосується: якщо він збігся до знака, умови тесту ті самі. Беріть не менше ~15 запитів на зріз, бо на 6 запитах зсув одного результату на одну позицію дає 0.083 MRR. Агента проганяйте кілька разів.

P.S. BGE-M3 у нас програв у чисто векторному пошуку, але вигравав у гібриді з BM25, тож гібрид варто міряти саме з ним.

Сергію, дякую за конкретику! Анекдот дня, схоже, вже доведеться додавати й до технічних статей :)

Jev я вже теж ганяв як реранкер у MealRAG, і на перших прикладах він непогано себе показав. Наприклад, для `filling lactose-free dinner dish` векторний пошук поставив Firni на перше місце, а Jev опустив його на сьоме з оцінкою 0.46/3. Stuffed Lamb Tomatoes підняв із третього на перше з 2.65/3, а Chicken Shawarma з йогуртовим соусом опустив із другого на четверте з 0.63/3.

cleg@Pavlos-MacBook-Pro  ~/Projects/MealRAG  uv run python src/main.py --query "filling lactose-free dinner dish" --limit 10
1. Stuffed Lamb Tomatoes (Qdrant rank 3, score 0.557; Jev rank 1, score 2.65/3)
   /Users/cleg/Projects/MealRAG/data/recipes/53008-stuffed-lamb-tomatoes.md
2. Egyptian Fatteh (Qdrant rank 8, score 0.553; Jev rank 2, score 2.36/3)
   /Users/cleg/Projects/MealRAG/data/recipes/53031-egyptian-fatteh.md
3. Meang Nem (Qdrant rank 4, score 0.556; Jev rank 3, score 2.16/3)
   /Users/cleg/Projects/MealRAG/data/recipes/53423-meang-nem.md
4. Chicken Shawarma with homemade garlic herb yoghurt sauce (Qdrant rank 2, score 0.561; Jev rank 4, score 0.63/3)
   /Users/cleg/Projects/MealRAG/data/recipes/53218-chicken-shawarma-with-homemade-garlic-herb-yoghurt-sauce.md
5. Three Fish Pie (Qdrant rank 7, score 0.553; Jev rank 5, score 0.50/3)
   /Users/cleg/Projects/MealRAG/data/recipes/52882-three-fish-pie.md
6. Lamb Biryani (Qdrant rank 9, score 0.552; Jev rank 6, score 0.48/3)
   /Users/cleg/Projects/MealRAG/data/recipes/52805-lamb-biryani.md
7. Firni (Qdrant rank 1, score 0.572; Jev rank 7, score 0.46/3)
   /Users/cleg/Projects/MealRAG/data/recipes/53399-firni.md
8. Fish pie (Qdrant rank 5, score 0.556; Jev rank 8, score 0.45/3)
   /Users/cleg/Projects/MealRAG/data/recipes/52802-fish-pie.md
9. Full English Breakfast (Qdrant rank 10, score 0.552; Jev rank 9, score 0.28/3)
   /Users/cleg/Projects/MealRAG/data/recipes/52896-full-english-breakfast.md
10. Flija Layered Pancake / Crepe (Qdrant rank 6, score 0.554; Jev rank 10, score 0.19/3)
   /Users/cleg/Projects/MealRAG/data/recipes/53413-flija-layered-pancake-crepe.md
У цьому запуску навіть вийшов виразний розрив: три кандидати отримали понад 2 бали, решта — менше 1. Це цікаво і для відбору, і для сценарію «пошукали → оцінили → якщо нічого не підходить, розширили пошук». Але відповідність обмеженням і надійність такого порога ще треба перевірити на розміченому наборі.

Пораду про «стелю» перед реранкером обов’язково врахую. Планую спочатку порівняти dense, BM25 та hybrid, включно з BGE-M3 + BM25, а потім тестувати реранкери на однакових пулах кандидатів. Вибір із цілого пулу та незалежні judgments теж хочу порівняти окремо, зокрема для випадків, коли прийнятної відповіді немає.

Із ручною перевіркою словника та явним `unknown` згоден. Окремо рахуватиму якість ранжування, порушення обмежень і хибні відмови. Пороги зафіксую до підсумкового прогону, агентні запуски повторюватиму. Ваш коментар добре допоміг конкретизувати план наступного бенчмарку — дякую!