Синхронізація успішна, дані застарілі: як Bash і systemd приховали збій після переносу

💡 Усі статті, обговорення, новини про DevOps — в одному місці. Приєднуйтесь до DevOps спільноти!

Після переносу спільного словника в окремий каталог застосунки продовжували працювати, вебсторінки відкривалися, а синхронізація завершувалася повідомленням «без змін». Проте перевірка даних показала: частина нових записів не потрапила до словника.

Причина складалася з двох незалежних механізмів. Обмеження файлової системи в systemd забороняло генератору записувати дані за новим шляхом. А контекст виконання set -e у Bash дозволяв скрипту продовжити роботу після помилки й повідомити успіх.

Цей розбір буде корисним тим, хто підтримує Linux-служби, пише Bash-скрипти синхронізації або переносить runtime-дані між каталогами. Нижче — мінімальне відтворення, пояснення причини, виправлення та межі проведених перевірок.

Чому працездатний сервіс не означав актуальні дані

Словник використовували кілька застосунків. Генератор будував його з актуальних даних, а споживачі завантажували результат під час старту процесу.

Після переносу генератор мав записувати файли в новий спільний каталог. Однак споживачі вже мали попередню версію словника, а для частини невідомих форм працювали запасні правила нормалізації. Тому збій оновлення не спричинив повної недоступності сервісів.

Це створило оманливу картину:

  • служби працювали;
  • сторінки відкривалися;
  • попередні дані залишалися доступними;
  • синк повідомляв «без змін»;
  • нові словникові записи не з’являлися.

Перевірка HTTP-доступності могла підтвердити, що застосунок відповідає. Але вона не могла підтвердити, що його словник відповідає поточному джерелу даних.

Залишкові розбіжності в нормалізації стали приводом перевірити весь шлях: джерело → генератор → файли → завантаження споживачами.

Перша причина: новий каталог не входив до ReadWritePaths

Loader-служба використовувала ProtectSystem=strict. Для її процесів файлова система була переважно доступна лише для читання, а запис дозволявся в явно визначені каталоги.

До переносу генератор працював із дозволеним шляхом. Після переносу каталог даних змінився, а конфігурація служби — ні.

Генератор завершувався з помилкою:

Read-only file system

На рівні системного виклику це EROFS. Тут важливо відрізняти read-only обмеження від звичайної відмови через права доступу.

Перевірка власника файлу або результат chmod не пояснюють усю картину. Процес, запущений у терміналі, і процес, запущений systemd із файловою пісочницею, можуть бачити різні можливості запису за тим самим шляхом.

Спрощена конфігурація виглядала так:

[Service]
Type=oneshot
User=app
ProtectSystem=strict
ReadWritePaths=/var/lib/example/old-data

Після переносу генератор почав записувати в /var/lib/example/shared-data. Наявність такого каталогу та правильний власник не додавали його автоматично до ReadWritePaths.

Виправлення полягало в оновленні дозволених шляхів. Крім кінцевого каталогу даних, потрібно врахувати робочий каталог генератора, якщо він створює там тимчасові файли.

Вимикати ProtectSystem=strict для всього сервісу не знадобилося.

Друга причина: set -e не зупиняв блок

У скрипті критичний крок був усередині конструкції такого виду:

(
  set -e
  generate
  compare
) || report_failure

Очікування було простим: якщо generate повертає помилку, set -e зупиняє subshell, після чого виконується report_failure.

Але для цієї конструкції очікування неправильне.

Subshell стоїть ліворуч від ||. У такому контексті Bash ігнорує errexit усередині перевірюваного блоку. Виклик set -e всередині дужок не повертає очікувану поведінку.

Після збою генератора виконується наступна команда. Вона порівнює файли й бачить, що вони не змінилися. Це правда: невдалий генератор залишив старі файли.

Якщо остання команда завершується успішно, subshell повертає 0. Зовнішній обробник помилки не запускається.

Мінімальне відтворення:

(set -e; false; printf 'UNCHANGED\n') || printf 'FAILED\n'

Результат:

UNCHANGED

Статус виконання — 0.

Отже, скрипт плутав два різні стани:

  1. Генерація успішна, нові дані тотожні попереднім.
  2. Генерація не відбулася, на диску залишилися старі файли.

Порівняння файлів саме по собі не може розрізнити ці стани. Спочатку треба перевірити, чи успішно завершився генератор.

Це документована поведінка Bash, а не новий дефект інтерпретатора. Виправлення потрібне в керуванні потоком застосунку.

Винесення коду у функцію не усуває пастку

Той самий контекст впливає на shell-функції.

Наприклад:

generate_and_compare() {
  set -e
  false
  printf 'CONTINUED\n'
}

generate_and_compare || printf 'HANDLED\n'

Функція продовжить виконання після false й надрукує:

CONTINUED

Це важливий нюанс для рефакторингу. Поведінка функції залежить не лише від її тіла, а й від контексту виклику.

Тому перенесення послідовності команд у функцію та додавання до виклику || handler потребують окремої перевірки обробки помилок.

Чому pipefail, ERR trap і зовнішній if не виправляють цей випадок

У цій ситуації є кілька привабливих, але недостатніх альтернатив.

set -o pipefail

pipefail змінює спосіб визначення статусу pipeline. У мінімальному прикладі pipeline немає:

(
  set -e -o pipefail
  false
  printf 'CONTINUED\n'
) || printf 'HANDLED\n'

Команда після false все одно виконується.

pipefail корисний для власного завдання, але він не відновлює errexit у цьому контексті.

trap ERR

ERR trap має контекстні винятки, подібні до винятків errexit. Успадкування trap через set -E не означає, що він спрацює для кожної помилки всередині перевірюваного блоку.

Наприклад:

(
  set -eE
  trap 'printf "ERR_TRAP\n"' ERR
  false
  printf 'CONTINUED\n'
) || printf 'HANDLED\n'

У перевіреному сценарії друкується CONTINUED, а повідомлення trap не з’являється.

Trap може бути корисним для журналювання або завершення роботи, але його теж потрібно перевіряти в конкретному контексті виклику.

if ! на зовнішньому рівні

Інша спроба — перевірити весь блок через if:

if ! (
  set -e
  false
  printf 'CONTINUED\n'
); then
  printf 'HANDLED\n'
fi

Це також перевірюваний контекст. Блок продовжує виконання й повертає статус останньої успішної команди.

Проблему усуває явна перевірка критичного кроку всередині блоку.

Явна перевірка генератора

Виправлена схема:

(
  if ! generate; then
    printf 'Generation failed\n' >&2
    exit 1
  fi

  compare
) || report_failure

Тут статус генератора перевіряється безпосередньо. Після його збою виконується явний exit 1, тому порівняння файлів не запускається.

Це схема, а не самостійний виконуваний скрипт: функції generate, compare та report_failure потрібно визначити.

Крім генератора, варто явно перевірити інші критичні операції: отримання початкового стану, читання конфігурації, порівняння результату та створення маркера оновлення. У цьому контексті покладатися лише на set -e не слід.

Після виправлення повідомлення «без змін» означає, що генератор успішно виконався, а результат порівняння не виявив оновлення.

Перезапуск споживачів як окремий крок

Оновити файли недостатньо, якщо споживачі завантажують словник лише під час старту.

У розібраному випадку loader має Type=oneshot. Його ExecStartPost запускається після успішного завершення ExecStart. Для такого використання RemainAfterExit=yes не є обов’язковим.

Перезапуск споживачів винесли в окремий крок:

  1. Непривілейований синк успішно генерує дані.
  2. Якщо файли змінилися, синк створює маркер.
  3. Окремий крок перевіряє маркер і перезапускає споживачів.
  4. Після успіху маркер видаляється.
  5. Якщо перезапуск падає, маркер залишається для повторної спроби.

Для інших типів служб момент запуску ExecStartPost визначається їхнім контрактом успішного старту. Не варто переносити пояснення для oneshot на всі unit без перевірки.

Що означає префікс + у systemd

Привілейований крок — окрема межа довіри.

За документацією systemd v257, префікс + для конкретної команди обходить обмеження, задані через User=, Group=, CapabilityBoundingSet=, а також налаштування файлових namespace, зокрема PrivateTmp=.

Тому неправильно вважати, що + лише змінює користувача, зберігаючи всі файлові обмеження непривілейованого процесу.

Водночас обмеження, які застосовуються до всього cgroup, наприклад DevicePolicy=, не обходяться.

Префікс ! має інший, вужчий контракт щодо user/group credentials. Це не взаємозамінні позначення.

Практично це означає: привілейований helper має бути коротким, контрольованим і виконувати лише потрібну операцію.

Маркер і конкурентні запуски

Проведені перевірки підтвердили поведінку маркера для послідовного виконання. Вони не доводять коректність за наявності конкурентних writer.

Один systemd unit не запускає дві власні активації одночасно. Проте ручний запуск скрипту або інший unit можуть створити паралельне виконання.

Для такого сценарію простий порядок «перевірити маркер → перезапустити → видалити» потребує окремого аналізу. Наприклад, новий запит на оновлення може з’явитися під час перезапуску, а завершення попередньої операції — видалити спільний маркер.

RuntimeDirectory= та StateDirectory= організовують каталоги, але самі по собі не блокують конкурентних учасників. Атомарне перейменування також не замінює весь протокол.

flock може бути частиною рішення, якщо всі учасники використовують одне блокування. Потрібно узгодити весь цикл: генерацію, встановлення маркера, перезапуск і підтвердження обробки.

У цьому розборі конкурентний сценарій залишається неперевіреним. Твердження про повну надійність механізму за паралельних запусків не робиться.

Як перевіряли виправлення

Спочатку тест із примусовим збоєм генератора запустили на старому коді. Він відтворив проблему: скрипт повертав 0 замість очікуваного ненульового статусу.

Після виправлення пройшли п’ять синтетичних сценаріїв:

  • збій генератора повертає помилку й не повідомляє «без змін»;
  • незмінний словник не створює запит перезапуску;
  • змінений словник створює маркер;
  • збій перезапуску зберігає маркер;
  • успішний перезапуск видаляє маркер.

Додатково перевірили можливість запису в дозволені каталоги всередині systemd sandbox. Потім виконали реальну генерацію окремо від повного loader й перевірили стан споживачів після перезапуску.

Окремий набір синтетичних прикладів підтвердив поведінку Bash для функції, pipefail, зовнішнього if ! та ERR trap.

Ці перевірки відповідають на різні запитання:

ПеревіркаЩо підтверджує
Мінімальний Bash-прикладПриховування збою в конкретному контексті
Регресійні тестиПравильну обробку помилки та маркера
Запис у systemd sandboxДоступність дозволених шляхів для генератора
Реальна генераціяУспішне оновлення словника
Перевірка споживачівРоботу служб після перезапуску

Жодна з них окремо не доводить коректність усіх бізнес-сценаріїв застосунку.

Як відтворити поведінку Bash

У публічному GitHub Gist є український та англійський розбори й два виконувані файли:

  • bash-errexit-repro.sh — початковий приклад і виправлена перевірка;
  • bash-errexit-contexts.sh — чотири додаткові контекстні сценарії.

Завантажте файли та запустіть їх явно через Bash:

bash --version
bash bash-errexit-repro.sh
bash bash-errexit-contexts.sh

Перший reproduction підтверджує:

legacy=0 fixed=1

Сам тестовий скрипт повертає 0 лише тоді, коли обидва очікувані статуси підтверджені. Повідомлення помилки йде в stderr, тому порядок рядків stdout/stderr може відрізнятися.

Приклади перевірено на GNU Bash 5.2.26. Вони не відтворюють systemd mount namespace та не є універсальним контрактом для інших shell або всіх режимів Bash.

Що варто винести з цього випадку

Після переносу недостатньо перевірити, що процес працює та сторінка відповідає. Для систем із похідними даними потрібна окрема перевірка їхньої свіжості.

Зміна каталогу даних також потребує перевірки середовища служби: дозволених шляхів, тимчасових файлів і способу завантаження результату споживачами.

Нарешті, set -e не замінює явну перевірку критичних операцій. Особливо коли команди виконуються всередині функції або subshell, статус яких перевіряється через ||, if чи !.

У цьому випадку старі файли справді були «без змін». Помилка полягала в тому, що цей факт використали як доказ успішної генерації.

Джерела: GNU Bash — The Set Builtin, GNU Bash — ERR trap, systemd v257 — service command prefixes.

👍ПодобаєтьсяСподобалось2
До обраногоВ обраному1
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Ви не думаєте, що така поведінка bash це баг?
Якщо ні, чим вони це пояснюють? Бо виглядає надто дивно.

Валентине, ви маєте рацію, що це виглядає надто дивно, і з точки зору здорового глузду це дійсно схоже на баг. Але технічно це не баг у коді Bash.

Проблема в тому, що sync (системний виклик ядра) повертає статус успіху (0), коли дані лише потрапляють у буфер ядра (page cache), а не обов’язково записуються на фізичний диск. Bash, як оболонка, просто сліпо отримує цей код виходу і транслює його далі як «успіх». Він не має і не може мати інструментів, щоб перевірити, чи справді дані долетіли до заліза, чи ні.

Тому у статті я й наголошую, що Bash і systemd приховали збій — не через помилку в коді, а через архітектурну сліпоту до відкладених помилок вводу-виводу. Для користувача це виглядає як успіх, хоча насправді це системна вразливість, яка призводить до втрати даних.

Еее ви тут щось дуже нове почали розповідати. До чого тут взагалі sync()? У вас один фізичний диск на декілька хостів з паралельним доступом? Або ви вимикаєте живлення компьютера при перезапуску сервіса? Здається, ні.
Видимість даних в FS не має ніяк залежати від нього, поки все це під одним ядром linux, і ніяка контейнерізація на це не має впливати. Якщо ядро виконало write() для файла, воно віддасть ті ж дані у відповідному read(), незалежно від того, воно скинуло дані на диск чи вони ще в кеші. І те ж саме щодо метаданих (наявність файла, в якому каталозі, права/володар ітд ітп).
І sync() не робить нічого такого, про що ви кажете: він замовляє скид всього зміненого з кешу диску, але саме що замовляє (запускає асинхронний скид).
Перевірте своє уявлення. Або ж в linux декілька останніх років вигадали щось дуже нове(???), або ви просто помиляєтесь в тому, які тут механізми спрацювали.

а що дивного якщо в мануалі прописано
bash(1)

-e Exit immediately if
...
The shell does not exit if the command that fails is ... part of any command executed in
a && or || list
...
If a compound command or shell function executes in a context where -e is being ignored,
none of the commands executed within the compound command or function body will be
affected by the -e setting, even if -e is set and a command returns a failure status.


більш цікаво в якому шелі то не так

Ви цитуєте мануал, але це відповідь на інше питання. Задокументована поведінка Bash не скасовує того факту, що системний виклик sync каже «успіх», коли дані ще не на диску. Помилки немає — тому Bash і не спрацьовує. Те, що це описано в bash(1), не робить таку втрату даних менш небезпечною.

Ви цитуєте мануал, але це відповідь на інше питання.

це пряма відповідь на пряме питання VN щодо дивності

а тепер на ваше:

системний виклик sync каже «успіх», коли дані ще не на диску

sync(2)

According to the standard specification (i.e., POSIX.1), sync() schedules the writes, but may return before the actual writing is done.

Ви не туди дивитесь.
У прикладі

(set -e; false; printf 'UNCHANGED\n') || printf 'FAILED\n'
вкладений шелл має вийти з кодом 1 одразу виконавши false, через що має спрацювати вторий printf, той, що в зовнішньому шеллі. І тоді другий printf має бути викликаний.
Замість цього ми маємо, що зупинка не виконується. Субшелл закінчується з кодом 1 (false), це можна явно перевірити, але перший printf чомусь виконується. Далі — і це друга проблема в такому маленькому прикладі — на виконання цього || це не впливає, друга частина не виконується, здаючи, що перша виконалась успішно (що не так).

Я бачу підтвердження, що тут щось «не те», в доці за посиланням:

1: > If a compound command other than a subshell returns a non-zero status because a command failed while -e was being ignored, the shell does not exit.
(звертаю увагу на явний виняток для subshell)
2: > This option applies to the shell environment and each subshell environment separately

Круглі дужки задають саме subshell.
Або спробуйте прочитати доку так, щоб виправдати цю поведінку.

Валентине, дякую за детальне зауваження. Перечитав свої відповіді й бачу, що помилково змішав два незалежні механізми.

Ви маєте рацію: системний виклик «sync()» і запис змінених даних із кешу на диск не мають стосунку до описаного інциденту. У моєму випадку генератор отримував «EROFS» через «ProtectSystem=strict» і неактуальний «ReadWritePaths» у налаштуваннях sandboxing сервісу systemd.

Друга частина проблеми — семантика «errexit» у Bash. У конструкції «(set -e; false; printf ’UNCHANGED\n’) || printf ’FAILED\n’» subshell виконується в контексті, де його статус перевіряється через «||». Через це «errexit» ігнорується під час виконання команд усередині відповідного складеного виклику, навіть якщо «set -e» встановлено всередині subshell.

Окремий процес не означає, що контекст виконання складеної команди перестає впливати на правила «errexit». Саме ця неочевидна поведінка і є предметом розбору.

Щодо того, чи варто вважати це багом, — питання дискусійне. Поведінка задокументована, але її цілком можна вважати контрінтуїтивною.

Попереднє пояснення через «sync()» було некоректним, тому уточнюю його, щоб не вводити читачів в оману.

вкладений шелл має вийти з кодом 1, через що має спрацювати вторий printf, той, що в зовнішньому шеллі

subshell буде з кодом 1 у прикладах якщо він останній у списку, бо
«part of any command executed in a && or || list except the command following the final && or ||»

% bash -c '(set -xe; false; echo notlast1) && (set -xe; false; echo notlast2) && (set -xe; false; echo last)'
+ false
+ echo notlast1
notlast1
+ false
+ echo notlast2
notlast2
+ false

% echo $?
1
і перевірив чи у zsh поведінка такасама — така сама
% zsh -c '(set -xe; false; echo one) || echo two'
+zsh:1> false
+zsh:1> echo one
one
тобто якщо ви вважаєте що це баг — можете issue оформити в інших шел також (не тільки bash), єдине покищо з чим погоджусь — що в мануал можна було ясніше прописати (на то він і мануал щоб пояснювати, а не плутати)

zsh, думаю, зробив це тільки заради сумісности з bash.
Але копирсатись в деталях і історії — я зараз точно не буду, нема настрою. Може, потім.