Обговорюємо постмортем Djinni

О 23:50 в четверми публікували реліз, над яким працювали біля місяця і який мав зробити роботу з резюме більш зручною та безпечною для кандидатів.

Були певні проблеми під час деплою, але о 2 ночі виглядало так, що все піднялось і працює і команда пішла спати

яка мета робити важкий реліз посеред ночі? я розумію що це може бути тому що в цій момент було минимум навантаження, але при тому люди втомились і голова так хорошо не працює як з ранку.

Потенціал помилок вище, час на те щоб їх виправити менше. Людей доступних до того щоб терміново поремонтувати менше.

варто подумати як в наступному разі викатувати реліз не в такій час.

наприклад, якщо без даунтайму не можливо, варто прокомуникувати що в період сайт не буде доступен.

Це нормальна бізнес практика, особливо якщо період чітко спрогнозован і завчасно прокомунікован.

Наш скрипт видалив 300 тис «outdated» файлів з резюме, але деякі з них були насправді у використанні і через особливості NFS volume коли почався робочий день всі ці 404 запити спрацювали як DDOS сайту.

єдине чому мене навчило життя це тому що не варто ніколи нічого не видаляти. Диск: дешева штука в сучасному світі.

Або, зробить фейкове видалення, коли деякі файли перестають бути в доступі, і якщо до них не звертаються за місяць, то можна зробити видалення вже по справжньому.

Ми пробували різні варіанти, щоб повернути базу резюме і наш файловий storage до працюючого стану, але врешті решт нам довелось піднімати бекап за 1 червня.

Жахливий експеріенс.

ви умнички що вам вдалось повернути дані. багато роботи під навантаженням пророблено, пишаюсь вами.

Ніхто не переживає більше, ніж розробники, які цей реліз готували. Підтримайте їх сердечком, будь ласка, їм це потрібно.

будь ласка, ніколи не переживайте, це нерви, погано для здоровʼя та апетиту.

Не кажучи вже про те, що людина яка хвилюється працює гірше і може допустити більше помилок.

Якщо із за кожної помилки переживати ніякого здоровʼя не вистачить.

Дуже дякую вам що ви все поправили!

Підписуйтеся на Telegram-канал «DOU #tech», щоб не пропустити нові технічні статті