Автоматизація ШІ через нульовий етап: від кустарного ремесла до інженерної дисципліни

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

У попередніх матеріалах про Парадокс «Курки та Яйця» та кейс застосування Semantic Noise Gate ми розбирали, чому жорстка онтологія бази знань знижує рівень галюцинацій у мовних моделях. Проте в коментарях дописи викликали жваву дискусію: фахівці пропонували вирішувати проблему через авіаційну англійську (стандарт ASD-STE100), пошук інваріантів у коді чи перехід на топові сучасні моделі.

Практика та тести показують: навіть найновіші флагманські моделі (як-от Sonnet 3.5 чи GPT-4o) і суворі мовні стандарти не зупиняють галюцинацій, якщо на вхід подається неструктурований хаос. Модель просто генерує хибні факти більш упевненою та ідеально правильною мовою.

Головна проблема поточного підходу полягає в тому, що похибка закладається ще до моменту звернення до API. Коли в модель подається зашумлений текст, LLM починає заповнювати семантичні прогалини за рахунок імовірнісного вигадування.

Для розв’язання цього завдання я пропоную автоматизувати препроцесінг даних через так звану «Нульову фазу» — канонічну базову структуру (Semantic Noise Gate).

Як це працює на рівні архітектури: Замість того щоб сподіватися на «авіаційну англійську» чи вгадувати інваріанти вручну, перед відправкою запиту в модель впроваджується проміжний шар обробки:

Вхідний фільтр: Видалення з тексту емоційного та побутового шуму, ввічливостей та суперечливих формулювань.

Виділення інваріантів та онтології: Фіксація базових, незмінних вузлів сенсу домену, за межі яких модель не має права виходити.

Фіксація геометричного каркаса: Формування детермінованого контексту, у якому модель позбавлена варіативності для імпровізації.

Що це змінює на практиці:

Зменшення обсягу токенів — За рахунок відсікання зайвого синтаксичного шуму обсяг вхідного вікна скорочується в середньому на 40–60%. Це особливо критично при роботі з українською мовою, де токенізація через специфіку кодування витрачає на 30–70% більше ресурсів, ніж англійська.

Стабільність відповідей — Модель починає працювати як детермінована функція. Відповіді отримують чітку структуру (JSON, таблиці, регламенти) без потреби в повторних генераціях чи нескінченному агентському рев’ю.

Незалежність від вендора — Очищений семантичний каркас дає прогнозований результат незалежно від того, яка LLM використовується на виході.

Наразі ми випробовуємо цей протокол як автономний модульний препроцесор. У наступному розділі точності відповідей на реальних технічних кейсах спільноти.

Запрошую до обговорення: чи використовуєте ви автоматичний препроцесінг даних перед подачею в LLM, чи покладаєтеся на заміну моделей та параметрів (temperature = 0)?

👍ПодобаєтьсяСподобалось0
До обраногоВ обраному0
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Практика та тести показують: навіть найновіші флагманські моделі (як-от Sonnet 3.5 чи GPT-4o)

Ну, «найновіші» эти модели были примерно года 2 назад ))
А флагманской Sonnet вообще никогда не был

Виділення інваріантів та онтології: Фіксація базових, незмінних вузлів сенсу домену, за межі яких модель не має права виходити.

Фіксація геометричного каркаса: Формування детермінованого контексту, у якому модель позбавлена варіативності для імпровізації.

Было бы интересно глянуть на примеры реализации такого фильтра.
Если возможно дописать больше деталей — будет отлично.
Что интересует:
1. Как именно встроен фильтр?
— в системный / пользовательский промпт;
— как отдельный шаг в пайплайне обработки;
— плагин (если мы про Claude);
— другие варианты?
2. Как именно добиваетесь того, чтоб модель не имела возможности импровизировать? Модель, естессно, учитывает промпт — но вполне может и выйти за его рамки, если посчитает это необходимым ))

Дмитре, вітаю! Дякую за якісний QA-погляд і суттєві питання — саме на таких розборах і будується нормальна інженерна архітектура.

Щодо «найновіших» моделей — суть тезу не в датах, а в тому, що навіть на актуальних топових лінійках імовірнісна природа моделей нікуди не зникає, скільки б параметрів туди не заливали.

Щоб не розводити суху теорію про те, як саме модель «не має можливості імпровизувати», пропоную прямий інженерний тест (Diff-батл) right here:

Дайте 1 ваш складний, зашумлений або «кривий» вхідний кейс/текст, на якому звичайна модель у чаті або через звичайний промпт починає «плисти», галюцинувати чи виходити за рамки ТЗ.

Я прожену його через контур Semantic Noise Gate (Нульова фаза) і викладу сюди результат у форматі DIFF:

Що було на вході → Як очистився контекст → Що видала модель і скільки токенів витрачено.

Якщо коротко відповісти на ваші 3 питання по архітектурі:

Де вбудований фільтр? Це ОКРЕСИЙ детермінований шаг у пайплайні (Middleware / Microservice). Це НЕ системний промпт і НЕ плагін для Claude. Дані очищуються і структуруються кодом (Python/JS/Rust) ДО того, як потрапити в API будь-якої LLM.

Як унеможливити імпровизацію? Модель виходить за рамки промпту тоді, коли в контексті є «семантичний простір» для фантазій (шум, двозначність). Якщо затиснути контекст у детермінований онтологічний JSON-каркас ще до відправки, у моделі фізично не залишається векторного об’єму для імпровізації.

Скидайте свій кейс/завдання — порівняємо відповіді наочно!

Де вбудований фільтр? Це ОКРЕСИЙ детермінований шаг у пайплайні (Middleware / Microservice). Це НЕ системний промпт і НЕ плагін для Claude. Дані очищуються і структуруються кодом (Python/JS/Rust) ДО того, як потрапити в API будь-якої LLM.

Ага, понял, спасибо.

Якщо затиснути контекст у детермінований онтологічний JSON-каркас ще до відправки, у моделі фізично не залишається векторного об’єму для імпровізації

Ну, это всего лишь определит форму ответа, если есть требование вернуть также JSON на выходе. Это модели умеют норм, факт. Я в своём плагине тоже JSON юзаю как формат передачи данных внутри LLM пайплайна (например, если ревьювер нашёл баг и оркестратор стартует нового инженера для фикса). И — да, если прям хорошо структурировать JSON (надо ещё, чтоб задача для этого подходила) — то это реально поможет модели меньше галлюционировать. Простой пример на личном опыте: предыдущая версия баг-репортера у меня не имела структуры. И клод реально писал туда всякий околонаучный бред. Притом настолько кошмарный, что единственное, как я мог понять, что это таки баг — глянуть на зааффекченный тест (хорошо хоть его писал :)) ) и сказать типа «да, таки баг. Наверное. Патамуша тест красный )))»
На какой-то итерации мне это надоело — и я попросил клод структурировать вывод как для Summary (модель Microsoft, кажется: <what><where><what’s wrong><conditions>), так и для Description (Human-readable steps to reproduce, expected result, actual result, links to requirements, notes). И магическим образом баги преобразились из непонятно чего в нормально воспроизводимые сущности. Хотя инфа у клода на входе 1 и та же: упавший тест, логи с него, требования.

Дайте 1 ваш складний, зашумлений або «кривий» вхідний кейс/текст, на якому звичайна модель у чаті або через звичайний промпт починає «плисти», галюцинувати чи виходити за рамки ТЗ.

Надо подумать :)
Кейсов много, когда модель лажала с определением рут козов для тестов или переписывала тесты по 6 раз — но они все имеют огромный контекст (например, PR + файлы требований + куча файлов скиллов + файлы тестового проекта). Ну и по причине NDA я не могу их вывалить в общий доступ )) Попробую поискать что-то попроще в загашниках ))

Якщо ваш бізнес вже зараз спалює бюджети на нестабільні LLM-пайплайни і вам потрібне готове розгортання детермінованого препроцесора (Semantic Noise Gate) під ваші процеси — звертайтеся в приватні, розберемо ваш контекст на аудиті.

Якщо ваш бізнес вже зараз спалює бюджети на нестабільні LLM-пайплайни і вам потрібне готове розгортання детермінованого препроцесора (Semantic Noise Gate) під ваші процеси — звертайтеся в приватні, розберемо ваш контекст на аудиті.

2. Как именно добиваетесь того, чтоб модель не имела возможности импровизировать? Модель, естессно, учитывает промпт — но вполне может и выйти за его рамки, если посчитает это необходимым ))

ты ж сам в прошлом топике предлагал температуру крутануть, но крутануть еще надо и воронки, тогда возможность импровизировать сведется практически к нулю и будет работать только если у модели нет ответа совсем

Вадиме, вітаю!

Налаштування Temperature=0 та затискання воронок (Top-P / Top-K) лише змушують модель обирати найвірогідніший наступний токен. Але якщо на вхід подано зашумлений або двозначний контекст, модель із temperature=0 просто починає впевнено та детерміновано відтворювати галюцинацію.

Параметри самплінгу керують вибором токенів на виході, тоді як Semantic Noise Gate керує структурою контексту на вході.

Запрошую теж до Diff-батлу: скидайте будь-який складний кейс, де модель «пливе», і порівняємо результати на реальному тексті!

но крутануть еще надо и воронки

А, можно ещё и так, да. Не игрался с ними никогда, надо будет как-нить попробовать из интереса

Тест буде прикладом взаємодії з інформацією, тож завантажу у коментарі без конфіденціальної інформації і порівняємо відповіді.