Автоматизація ШІ через нульовий етап: від кустарного ремесла до інженерної дисципліни
У попередніх матеріалах про Парадокс «Курки та Яйця» та кейс застосування Semantic Noise Gate ми розбирали, чому жорстка онтологія бази знань знижує рівень галюцинацій у мовних моделях. Проте в коментарях дописи викликали жваву дискусію: фахівці пропонували вирішувати проблему через авіаційну англійську (стандарт ASD-STE100), пошук інваріантів у коді чи перехід на топові сучасні моделі.
Практика та тести показують: навіть найновіші флагманські моделі (як-от Sonnet 3.5 чи GPT-4o) і суворі мовні стандарти не зупиняють галюцинацій, якщо на вхід подається неструктурований хаос. Модель просто генерує хибні факти більш упевненою та ідеально правильною мовою.
Головна проблема поточного підходу полягає в тому, що похибка закладається ще до моменту звернення до API. Коли в модель подається зашумлений текст, LLM починає заповнювати семантичні прогалини за рахунок імовірнісного вигадування.
Для розв’язання цього завдання я пропоную автоматизувати препроцесінг даних через так звану «Нульову фазу» — канонічну базову структуру (Semantic Noise Gate).
Як це працює на рівні архітектури: Замість того щоб сподіватися на «авіаційну англійську» чи вгадувати інваріанти вручну, перед відправкою запиту в модель впроваджується проміжний шар обробки:
Вхідний фільтр: Видалення з тексту емоційного та побутового шуму, ввічливостей та суперечливих формулювань.
Виділення інваріантів та онтології: Фіксація базових, незмінних вузлів сенсу домену, за межі яких модель не має права виходити.
Фіксація геометричного каркаса: Формування детермінованого контексту, у якому модель позбавлена варіативності для імпровізації.
Що це змінює на практиці:
Зменшення обсягу токенів — За рахунок відсікання зайвого синтаксичного шуму обсяг вхідного вікна скорочується в середньому на
Стабільність відповідей — Модель починає працювати як детермінована функція. Відповіді отримують чітку структуру (JSON, таблиці, регламенти) без потреби в повторних генераціях чи нескінченному агентському рев’ю.
Незалежність від вендора — Очищений семантичний каркас дає прогнозований результат незалежно від того, яка LLM використовується на виході.
Наразі ми випробовуємо цей протокол як автономний модульний препроцесор. У наступному розділі точності відповідей на реальних технічних кейсах спільноти.
Запрошую до обговорення: чи використовуєте ви автоматичний препроцесінг даних перед подачею в LLM, чи покладаєтеся на заміну моделей та параметрів (temperature = 0)?
9 коментарів
Додати коментар Підписатись на коментаріВідписатись від коментарівНу, «найновіші» эти модели были примерно года 2 назад ))
А флагманской Sonnet вообще никогда не был
Было бы интересно глянуть на примеры реализации такого фильтра.
Если возможно дописать больше деталей — будет отлично.
Что интересует:
1. Как именно встроен фильтр?
— в системный / пользовательский промпт;
— как отдельный шаг в пайплайне обработки;
— плагин (если мы про Claude);
— другие варианты?
2. Как именно добиваетесь того, чтоб модель не имела возможности импровизировать? Модель, естессно, учитывает промпт — но вполне может и выйти за его рамки, если посчитает это необходимым ))
Дмитре, вітаю! Дякую за якісний QA-погляд і суттєві питання — саме на таких розборах і будується нормальна інженерна архітектура.
Щодо «найновіших» моделей — суть тезу не в датах, а в тому, що навіть на актуальних топових лінійках імовірнісна природа моделей нікуди не зникає, скільки б параметрів туди не заливали.
Щоб не розводити суху теорію про те, як саме модель «не має можливості імпровизувати», пропоную прямий інженерний тест (Diff-батл) right here:
Дайте 1 ваш складний, зашумлений або «кривий» вхідний кейс/текст, на якому звичайна модель у чаті або через звичайний промпт починає «плисти», галюцинувати чи виходити за рамки ТЗ.
Я прожену його через контур Semantic Noise Gate (Нульова фаза) і викладу сюди результат у форматі DIFF:
Що було на вході → Як очистився контекст → Що видала модель і скільки токенів витрачено.
Якщо коротко відповісти на ваші 3 питання по архітектурі:
Де вбудований фільтр? Це ОКРЕСИЙ детермінований шаг у пайплайні (Middleware / Microservice). Це НЕ системний промпт і НЕ плагін для Claude. Дані очищуються і структуруються кодом (Python/JS/Rust) ДО того, як потрапити в API будь-якої LLM.
Як унеможливити імпровизацію? Модель виходить за рамки промпту тоді, коли в контексті є «семантичний простір» для фантазій (шум, двозначність). Якщо затиснути контекст у детермінований онтологічний JSON-каркас ще до відправки, у моделі фізично не залишається векторного об’єму для імпровізації.
Скидайте свій кейс/завдання — порівняємо відповіді наочно!
Ага, понял, спасибо.
Ну, это всего лишь определит форму ответа, если есть требование вернуть также JSON на выходе. Это модели умеют норм, факт. Я в своём плагине тоже JSON юзаю как формат передачи данных внутри LLM пайплайна (например, если ревьювер нашёл баг и оркестратор стартует нового инженера для фикса). И — да, если прям хорошо структурировать JSON (надо ещё, чтоб задача для этого подходила) — то это реально поможет модели меньше галлюционировать. Простой пример на личном опыте: предыдущая версия баг-репортера у меня не имела структуры. И клод реально писал туда всякий околонаучный бред. Притом настолько кошмарный, что единственное, как я мог понять, что это таки баг — глянуть на зааффекченный тест (хорошо хоть его писал :)) ) и сказать типа «да, таки баг. Наверное. Патамуша тест красный )))»
На какой-то итерации мне это надоело — и я попросил клод структурировать вывод как для Summary (модель Microsoft, кажется: <what><where><what’s wrong><conditions>), так и для Description (Human-readable steps to reproduce, expected result, actual result, links to requirements, notes). И магическим образом баги преобразились из непонятно чего в нормально воспроизводимые сущности. Хотя инфа у клода на входе 1 и та же: упавший тест, логи с него, требования.
Надо подумать :)
Кейсов много, когда модель лажала с определением рут козов для тестов или переписывала тесты по 6 раз — но они все имеют огромный контекст (например, PR + файлы требований + куча файлов скиллов + файлы тестового проекта). Ну и по причине NDA я не могу их вывалить в общий доступ )) Попробую поискать что-то попроще в загашниках ))
Якщо ваш бізнес вже зараз спалює бюджети на нестабільніLLM-пайплайни і вам потрібне готове розгортання детермінованого препроцесора (Semantic Noise Gate) під ваші процеси — звертайтеся в приватні, розберемо ваш контекст на аудиті.
Якщо ваш бізнес вже зараз спалює бюджети на нестабільніLLM-пайплайни і вам потрібне готове розгортання детермінованого препроцесора (Semantic Noise Gate) під ваші процеси — звертайтеся в приватні, розберемо ваш контекст на аудиті.
ты ж сам в прошлом топике предлагал температуру крутануть, но крутануть еще надо и воронки, тогда возможность импровизировать сведется практически к нулю и будет работать только если у модели нет ответа совсем
Вадиме, вітаю!
Налаштування Temperature=0 та затискання воронок (Top-P / Top-K) лише змушують модель обирати найвірогідніший наступний токен. Але якщо на вхід подано зашумлений або двозначний контекст, модель із temperature=0 просто починає впевнено та детерміновано відтворювати галюцинацію.
Параметри самплінгу керують вибором токенів на виході, тоді як Semantic Noise Gate керує структурою контексту на вході.
Запрошую теж до Diff-батлу: скидайте будь-який складний кейс, де модель «пливе», і порівняємо результати на реальному тексті!
А, можно ещё и так, да. Не игрался с ними никогда, надо будет как-нить попробовать из интереса
Тест буде прикладом взаємодії з інформацією, тож завантажу у коментарі без конфіденціальної інформації і порівняємо відповіді.