Як в формі вказати, який тип контенту ти надсилаєш?

Хороше питання. Три ітерації пошуку, кожен включає системний промпт, опис інструменту пошуку та знайдені статті + якщо це продовження обговорення, 2 останніх повідомлення. Я тестував зменьшення чанків, але це трохи проблематично зі статтями законів, але не вийшло дрібнити без втрати якості.

Може трохи допогти кешування системного промпту, але поки не тестував, оскільки 90% всього інпуту забирає саме RAG. Тобто правильний напрямок — це зменьшення чанків, але ця проблема в лоб не вирішується.

Дякую за пояснення. Подивлюсь, почитаю в цьому напрямку.

Щодо нашого випадку, модель використовує лише один інструмент пошуку, який повністю під нашим контролем. Спочатку модель зловживала кількістю ітерацій, зараз ми просто повертаємо пустий результат після декількох пошуків. Тобто вектор атаки через промпт дуже маленький. Але з поглибленням функціоналу небезпека може виникнути, згоден.

Чи пробували ви дебажити через ШІ? Наприклад, github.com/...​vercel-labs/agent-browser дуже непоганий

це ви маєте на увазі Cohere Rerank API?

Так, зараз використовуємо Fast model.

Дякую, цікаві статті.

Safety & Guardrails. Перевірка перед поверненням відповіді — це цікавий розділ. Треба подумати в цьому напрямку.

Про чанкінг теж цікаво, але з законами простіше, бо вони вже мають структуру. 80% статей менше 2000 символів.

Це є в статі. По-перше, модель конвертує побутовий запит в юридичну термінологію. По-друге, в основі RAG є векторний пошук та пере ранжування. Це дуже відрізняється від регекспів (які як я пояснював в статті не дуже спрацювали).

Мені здається, що ви сплутали дві різні ситуації. Системний промпт використовується базовою моделлю для відповіді. Звісно під час відповіді модель не може знати, чи відповідь повна та коректна. Можно частково оцінити якість RAG по кількості результатів та оцінкам реранкера (зараз ми рахуємо результати 0.75 та вище, як прийнятні). Суть системного промпту в тому, щоб спонукати модель користуватись результатами пошуку. Щодо системного промпту взагалі, то він так і працює, на вигляд трохи магічно. Тут є непогана підбірка github.com/...​irtj/system_prompts_leaks Також частиною системного промпту є опис інструменту пошуку.

Щодо оцінки, яку робить суддя, це відбувається, як регресійні автотести. Міняємо промпт чи пошук — проганяємо. Кожна фікстура включає зразкову відповідь, перелік фактів, які мають бути і перелік цитат, які очікуються. Суддя порівнює і видає оцінку по цим параметрам. Звісно суддя теж модель і працює не повністю передбачувано. Промпт для судді тут не наводився, може для наступного топіка.

Це я розумію, а в чому небезпека?

Не дуже зрозумів. Як саме цей injection буде відбуватися? Яка шкода буде на практиці крім некоректної відповіді? Що потрібно зробити, щоб захиститись?

з використанням графової БД

Щодо структури даних — це 100% потрібно покращувати. Станом на зараз це практично лише розбивка по статтях та векторний пошук. В планах, як писав, генерація метаданих, категорізація. Відео пошукаю.

Дякую.

Щодо поліпшення якості головне питання, хто буде за це платити :) Зараз використовується gemini-3-flash-preview. Також gpt-5-mini показала себе непогано. З 40k input та 1,5k output вартість одного повідомлення біля 0,03 USD, а швидкість — біля 30 секунд. Тому це розумний баланс для MVP.

Тобто якість можно відносно легко поліпшити з кращою моделлю та з більшим контекстом. Але значно виросте ціна та значно збільшиться латенсі. Тобто це не дуже для безкоштовного бета. Це є в планах. Також в планах і більш агентовий підхід де модель може робити багато пошуків, перепитувати в користувача.

Хм, в Порядку вказано:

У разі коли на критично важливому підприємстві, в критично важливій установі працює один військовозобов’язаний працівник, який відповідно до закону підлягає бронюванню, встановлені пунктами 8 і 9 цього Порядку обмеження щодо кількості військовозобов’язаних, які підлягають бронюванню, до таких критично важливих підприємств, критично важливих установ не застосовуються.

Крім того, бронюванню підлягають

кінцеві бенефіціарні власники критично важливих підприємств, критично важливих установ, які не є їх працівниками

Тобто або КБВ або єдиний працівник можуть отримати бронювання?