Синхронізація успішна, дані застарілі: як Bash і systemd приховали збій після переносу
Після переносу спільного словника в окремий каталог застосунки продовжували працювати, вебсторінки відкривалися, а синхронізація завершувалася повідомленням «без змін». Проте перевірка даних показала: частина нових записів не потрапила до словника.
Причина складалася з двох незалежних механізмів. Обмеження файлової системи в systemd забороняло генератору записувати дані за новим шляхом. А контекст виконання set -e у Bash дозволяв скрипту продовжити роботу після помилки й повідомити успіх.
Цей розбір буде корисним тим, хто підтримує Linux-служби, пише Bash-скрипти синхронізації або переносить runtime-дані між каталогами. Нижче — мінімальне відтворення, пояснення причини, виправлення та межі проведених перевірок.
Чому працездатний сервіс не означав актуальні дані
Словник використовували кілька застосунків. Генератор будував його з актуальних даних, а споживачі завантажували результат під час старту процесу.
Після переносу генератор мав записувати файли в новий спільний каталог. Однак споживачі вже мали попередню версію словника, а для частини невідомих форм працювали запасні правила нормалізації. Тому збій оновлення не спричинив повної недоступності сервісів.
Це створило оманливу картину:
- служби працювали;
- сторінки відкривалися;
- попередні дані залишалися доступними;
- синк повідомляв «без змін»;
- нові словникові записи не з’являлися.
Перевірка HTTP-доступності могла підтвердити, що застосунок відповідає. Але вона не могла підтвердити, що його словник відповідає поточному джерелу даних.
Залишкові розбіжності в нормалізації стали приводом перевірити весь шлях: джерело → генератор → файли → завантаження споживачами.
Перша причина: новий каталог не входив до ReadWritePaths
Loader-служба використовувала ProtectSystem=strict. Для її процесів файлова система була переважно доступна лише для читання, а запис дозволявся в явно визначені каталоги.
До переносу генератор працював із дозволеним шляхом. Після переносу каталог даних змінився, а конфігурація служби — ні.
Генератор завершувався з помилкою:
Read-only file system
На рівні системного виклику це EROFS. Тут важливо відрізняти read-only обмеження від звичайної відмови через права доступу.
Перевірка власника файлу або результат chmod не пояснюють усю картину. Процес, запущений у терміналі, і процес, запущений systemd із файловою пісочницею, можуть бачити різні можливості запису за тим самим шляхом.
Спрощена конфігурація виглядала так:
[Service] Type=oneshot User=app ProtectSystem=strict ReadWritePaths=/var/lib/example/old-data
Після переносу генератор почав записувати в /var/lib/example/shared-data. Наявність такого каталогу та правильний власник не додавали його автоматично до ReadWritePaths.
Виправлення полягало в оновленні дозволених шляхів. Крім кінцевого каталогу даних, потрібно врахувати робочий каталог генератора, якщо він створює там тимчасові файли.
Вимикати ProtectSystem=strict для всього сервісу не знадобилося.
Друга причина: set -e не зупиняв блок
У скрипті критичний крок був усередині конструкції такого виду:
( set -e generate compare ) || report_failure
Очікування було простим: якщо generate повертає помилку, set -e зупиняє subshell, після чого виконується report_failure.
Але для цієї конструкції очікування неправильне.
Subshell стоїть ліворуч від ||. У такому контексті Bash ігнорує errexit усередині перевірюваного блоку. Виклик set -e всередині дужок не повертає очікувану поведінку.
Після збою генератора виконується наступна команда. Вона порівнює файли й бачить, що вони не змінилися. Це правда: невдалий генератор залишив старі файли.
Якщо остання команда завершується успішно, subshell повертає 0. Зовнішній обробник помилки не запускається.
Мінімальне відтворення:
(set -e; false; printf 'UNCHANGED\n') || printf 'FAILED\n'
Результат:
UNCHANGED
Статус виконання — 0.
Отже, скрипт плутав два різні стани:
- Генерація успішна, нові дані тотожні попереднім.
- Генерація не відбулася, на диску залишилися старі файли.
Порівняння файлів саме по собі не може розрізнити ці стани. Спочатку треба перевірити, чи успішно завершився генератор.
Це документована поведінка Bash, а не новий дефект інтерпретатора. Виправлення потрібне в керуванні потоком застосунку.
Винесення коду у функцію не усуває пастку
Той самий контекст впливає на shell-функції.
Наприклад:
generate_and_compare() {
set -e
false
printf 'CONTINUED\n'
}
generate_and_compare || printf 'HANDLED\n'
Функція продовжить виконання після false й надрукує:
CONTINUED
Це важливий нюанс для рефакторингу. Поведінка функції залежить не лише від її тіла, а й від контексту виклику.
Тому перенесення послідовності команд у функцію та додавання до виклику || handler потребують окремої перевірки обробки помилок.
Чому pipefail, ERR trap і зовнішній if не виправляють цей випадок
У цій ситуації є кілька привабливих, але недостатніх альтернатив.
set -o pipefail
pipefail змінює спосіб визначення статусу pipeline. У мінімальному прикладі pipeline немає:
( set -e -o pipefail false printf 'CONTINUED\n' ) || printf 'HANDLED\n'
Команда після false все одно виконується.
pipefail корисний для власного завдання, але він не відновлює errexit у цьому контексті.
trap ERR
ERR trap має контекстні винятки, подібні до винятків errexit. Успадкування trap через set -E не означає, що він спрацює для кожної помилки всередині перевірюваного блоку.
Наприклад:
( set -eE trap 'printf "ERR_TRAP\n"' ERR false printf 'CONTINUED\n' ) || printf 'HANDLED\n'
У перевіреному сценарії друкується CONTINUED, а повідомлення trap не з’являється.
Trap може бути корисним для журналювання або завершення роботи, але його теж потрібно перевіряти в конкретному контексті виклику.
if ! на зовнішньому рівні
Інша спроба — перевірити весь блок через if:
if ! ( set -e false printf 'CONTINUED\n' ); then printf 'HANDLED\n' fi
Це також перевірюваний контекст. Блок продовжує виконання й повертає статус останньої успішної команди.
Проблему усуває явна перевірка критичного кроку всередині блоку.
Явна перевірка генератора
Виправлена схема:
( if ! generate; then printf 'Generation failed\n' >&2 exit 1 fi compare ) || report_failure
Тут статус генератора перевіряється безпосередньо. Після його збою виконується явний exit 1, тому порівняння файлів не запускається.
Це схема, а не самостійний виконуваний скрипт: функції generate, compare та report_failure потрібно визначити.
Крім генератора, варто явно перевірити інші критичні операції: отримання початкового стану, читання конфігурації, порівняння результату та створення маркера оновлення. У цьому контексті покладатися лише на set -e не слід.
Після виправлення повідомлення «без змін» означає, що генератор успішно виконався, а результат порівняння не виявив оновлення.
Перезапуск споживачів як окремий крок
Оновити файли недостатньо, якщо споживачі завантажують словник лише під час старту.
У розібраному випадку loader має Type=oneshot. Його ExecStartPost запускається після успішного завершення ExecStart. Для такого використання RemainAfterExit=yes не є обов’язковим.
Перезапуск споживачів винесли в окремий крок:
- Непривілейований синк успішно генерує дані.
- Якщо файли змінилися, синк створює маркер.
- Окремий крок перевіряє маркер і перезапускає споживачів.
- Після успіху маркер видаляється.
- Якщо перезапуск падає, маркер залишається для повторної спроби.
Для інших типів служб момент запуску ExecStartPost визначається їхнім контрактом успішного старту. Не варто переносити пояснення для oneshot на всі unit без перевірки.
Що означає префікс + у systemd
Привілейований крок — окрема межа довіри.
За документацією systemd v257, префікс + для конкретної команди обходить обмеження, задані через User=, Group=, CapabilityBoundingSet=, а також налаштування файлових namespace, зокрема PrivateTmp=.
Тому неправильно вважати, що + лише змінює користувача, зберігаючи всі файлові обмеження непривілейованого процесу.
Водночас обмеження, які застосовуються до всього cgroup, наприклад DevicePolicy=, не обходяться.
Префікс ! має інший, вужчий контракт щодо user/group credentials. Це не взаємозамінні позначення.
Практично це означає: привілейований helper має бути коротким, контрольованим і виконувати лише потрібну операцію.
Маркер і конкурентні запуски
Проведені перевірки підтвердили поведінку маркера для послідовного виконання. Вони не доводять коректність за наявності конкурентних writer.
Один systemd unit не запускає дві власні активації одночасно. Проте ручний запуск скрипту або інший unit можуть створити паралельне виконання.
Для такого сценарію простий порядок «перевірити маркер → перезапустити → видалити» потребує окремого аналізу. Наприклад, новий запит на оновлення може з’явитися під час перезапуску, а завершення попередньої операції — видалити спільний маркер.
RuntimeDirectory= та StateDirectory= організовують каталоги, але самі по собі не блокують конкурентних учасників. Атомарне перейменування також не замінює весь протокол.
flock може бути частиною рішення, якщо всі учасники використовують одне блокування. Потрібно узгодити весь цикл: генерацію, встановлення маркера, перезапуск і підтвердження обробки.
У цьому розборі конкурентний сценарій залишається неперевіреним. Твердження про повну надійність механізму за паралельних запусків не робиться.
Як перевіряли виправлення
Спочатку тест із примусовим збоєм генератора запустили на старому коді. Він відтворив проблему: скрипт повертав 0 замість очікуваного ненульового статусу.
Після виправлення пройшли п’ять синтетичних сценаріїв:
- збій генератора повертає помилку й не повідомляє «без змін»;
- незмінний словник не створює запит перезапуску;
- змінений словник створює маркер;
- збій перезапуску зберігає маркер;
- успішний перезапуск видаляє маркер.
Додатково перевірили можливість запису в дозволені каталоги всередині systemd sandbox. Потім виконали реальну генерацію окремо від повного loader й перевірили стан споживачів після перезапуску.
Окремий набір синтетичних прикладів підтвердив поведінку Bash для функції, pipefail, зовнішнього if ! та ERR trap.
Ці перевірки відповідають на різні запитання:
| Перевірка | Що підтверджує |
|---|---|
| Мінімальний Bash-приклад | Приховування збою в конкретному контексті |
| Регресійні тести | Правильну обробку помилки та маркера |
| Запис у systemd sandbox | Доступність дозволених шляхів для генератора |
| Реальна генерація | Успішне оновлення словника |
| Перевірка споживачів | Роботу служб після перезапуску |
Жодна з них окремо не доводить коректність усіх бізнес-сценаріїв застосунку.
Як відтворити поведінку Bash
У публічному GitHub Gist є український та англійський розбори й два виконувані файли:
bash-errexit-repro.sh— початковий приклад і виправлена перевірка;bash-errexit-contexts.sh— чотири додаткові контекстні сценарії.
Завантажте файли та запустіть їх явно через Bash:
bash --version bash bash-errexit-repro.sh bash bash-errexit-contexts.sh
Перший reproduction підтверджує:
legacy=0 fixed=1
Сам тестовий скрипт повертає 0 лише тоді, коли обидва очікувані статуси підтверджені. Повідомлення помилки йде в stderr, тому порядок рядків stdout/stderr може відрізнятися.
Приклади перевірено на GNU Bash 5.2.26. Вони не відтворюють systemd mount namespace та не є універсальним контрактом для інших shell або всіх режимів Bash.
Що варто винести з цього випадку
Після переносу недостатньо перевірити, що процес працює та сторінка відповідає. Для систем із похідними даними потрібна окрема перевірка їхньої свіжості.
Зміна каталогу даних також потребує перевірки середовища служби: дозволених шляхів, тимчасових файлів і способу завантаження результату споживачами.
Нарешті, set -e не замінює явну перевірку критичних операцій. Особливо коли команди виконуються всередині функції або subshell, статус яких перевіряється через ||, if чи !.
У цьому випадку старі файли справді були «без змін». Помилка полягала в тому, що цей факт використали як доказ успішної генерації.
Джерела: GNU Bash — The Set Builtin, GNU Bash — ERR trap, systemd v257 — service command prefixes.
10 коментарів
Додати коментар Підписатись на коментаріВідписатись від коментарівВи не думаєте, що така поведінка bash це баг?
Якщо ні, чим вони це пояснюють? Бо виглядає надто дивно.
Валентине, ви маєте рацію, що це виглядає надто дивно, і з точки зору здорового глузду це дійсно схоже на баг. Але технічно це не баг у коді Bash.
Проблема в тому, що sync (системний виклик ядра) повертає статус успіху (0), коли дані лише потрапляють у буфер ядра (page cache), а не обов’язково записуються на фізичний диск. Bash, як оболонка, просто сліпо отримує цей код виходу і транслює його далі як «успіх». Він не має і не може мати інструментів, щоб перевірити, чи справді дані долетіли до заліза, чи ні.
Тому у статті я й наголошую, що Bash і systemd приховали збій — не через помилку в коді, а через архітектурну сліпоту до відкладених помилок вводу-виводу. Для користувача це виглядає як успіх, хоча насправді це системна вразливість, яка призводить до втрати даних.
Еее ви тут щось дуже нове почали розповідати. До чого тут взагалі sync()? У вас один фізичний диск на декілька хостів з паралельним доступом? Або ви вимикаєте живлення компьютера при перезапуску сервіса? Здається, ні.
Видимість даних в FS не має ніяк залежати від нього, поки все це під одним ядром linux, і ніяка контейнерізація на це не має впливати. Якщо ядро виконало write() для файла, воно віддасть ті ж дані у відповідному read(), незалежно від того, воно скинуло дані на диск чи вони ще в кеші. І те ж саме щодо метаданих (наявність файла, в якому каталозі, права/володар ітд ітп).
І sync() не робить нічого такого, про що ви кажете: він замовляє скид всього зміненого з кешу диску, але саме що замовляє (запускає асинхронний скид).
Перевірте своє уявлення. Або ж в linux декілька останніх років вигадали щось дуже нове(???), або ви просто помиляєтесь в тому, які тут механізми спрацювали.
а що дивного якщо в мануалі прописано
bash(1)
більш цікаво в якому шелі то не так
Ви цитуєте мануал, але це відповідь на інше питання. Задокументована поведінка Bash не скасовує того факту, що системний виклик sync каже «успіх», коли дані ще не на диску. Помилки немає — тому Bash і не спрацьовує. Те, що це описано в bash(1), не робить таку втрату даних менш небезпечною.
це пряма відповідь на пряме питання VN щодо дивності
а тепер на ваше:
sync(2)
Ви не туди дивитесь.
вкладений шелл має вийти з кодом 1 одразу виконавши false, через що має спрацювати вторий printf, той, що в зовнішньому шеллі. І тоді другий printf має бути викликаний.У прикладі
Замість цього ми маємо, що зупинка не виконується. Субшелл закінчується з кодом 1 (false), це можна явно перевірити, але перший printf чомусь виконується. Далі — і це друга проблема в такому маленькому прикладі — на виконання цього
||це не впливає, друга частина не виконується, здаючи, що перша виконалась успішно (що не так).Я бачу підтвердження, що тут щось «не те», в доці за посиланням:
1: > If a compound command other than a subshell returns a non-zero status because a command failed while -e was being ignored, the shell does not exit.
(звертаю увагу на явний виняток для subshell)
2: > This option applies to the shell environment and each subshell environment separately
Круглі дужки задають саме subshell.
Або спробуйте прочитати доку так, щоб виправдати цю поведінку.
Валентине, дякую за детальне зауваження. Перечитав свої відповіді й бачу, що помилково змішав два незалежні механізми.
Ви маєте рацію: системний виклик «sync()» і запис змінених даних із кешу на диск не мають стосунку до описаного інциденту. У моєму випадку генератор отримував «EROFS» через «ProtectSystem=strict» і неактуальний «ReadWritePaths» у налаштуваннях sandboxing сервісу systemd.
Друга частина проблеми — семантика «errexit» у Bash. У конструкції «(set -e; false; printf ’UNCHANGED\n’) || printf ’FAILED\n’» subshell виконується в контексті, де його статус перевіряється через «||». Через це «errexit» ігнорується під час виконання команд усередині відповідного складеного виклику, навіть якщо «set -e» встановлено всередині subshell.
Окремий процес не означає, що контекст виконання складеної команди перестає впливати на правила «errexit». Саме ця неочевидна поведінка і є предметом розбору.
Щодо того, чи варто вважати це багом, — питання дискусійне. Поведінка задокументована, але її цілком можна вважати контрінтуїтивною.
Попереднє пояснення через «sync()» було некоректним, тому уточнюю його, щоб не вводити читачів в оману.
subshell буде з кодом 1 у прикладах якщо він останній у списку, бо
і перевірив чи у zsh поведінка такасама — така сама«part of any command executed in a && or || list except the command following the final && or ||»
тобто якщо ви вважаєте що це баг — можете issue оформити в інших шел також (не тільки bash), єдине покищо з чим погоджусь — що в мануал можна було ясніше прописати (на то він і мануал щоб пояснювати, а не плутати)
zsh, думаю, зробив це тільки заради сумісности з bash.
Але копирсатись в деталях і історії — я зараз точно не буду, нема настрою. Може, потім.