Вход и регистрация
×Закрыть
О работе · 28 января, 12:51 12374
aztec

Расскажите о своем факапе, благодаря которому ваш работодатель потерял тонны денег?

Навеяно соседней темой.

Начну с себя. Продукт мигрировали с AWS в GCP, я составил список ресурсов, которые надо прибить. Девопсы их успешно прибили. Но я пролюбил тот факт, что в соседней зоне была развернута копия продукта для редлайн тестирования, которую не прибили, и там крутились неслабые машины. Их обнаружили где-то через год (проблема в том, что контора мигрировала не все ресурсы, а только часть, а другую часть продуктов оставила в AWS). Сколько это обошлось работодателю? Точно не знаю, но не менее 500 килобаксов.

PS: Не уволили.
PPS: You’re welcome, Jeff

Темы: факап
👍НравитсяПонравилось12
В избранноеВ избранном3
LinkedIn

Лучшие комментарии пропустить

Mike Gorchak 28.01.2021 14:49

Жили были два сервера, прод и тест, когда прод вышел в окно выпустив немного дыма напоследок, прод подняли на тесте за пару минут, но решили IP не менять и выслали клиентам новую конфигурацию. А в это время в маленькой тесной комнатушке в пристройке к гаражам на втором этаже, 5 программеров, которые пилили софт клиентам по продаже билетов, были не в курсе происходящих событий и продолжали тестировать свой софт на тесте и покупали билетики, иногда их возвращали, но всё же больше покупали. Первый тревожный звоночек прозвенел, когда в трёх областях пассажиро-поток упал практически до нуля, билетов нет, людей на транспорте тоже нет. В это время программеры купили пива с орешками и наслаждались окончанием долгого трудового дня. Мобильных тогда не было, а старый дисковый телефон в гараже цвета слоновой кости по-тихоньку превращался в цвет бордо с температурой около 2500К и продолжал набирал обороты в сторону нейтронной звезды. На утро по пути в гараж удивляло большое количество крутых машин с крутыми номерами и обилием разорванных жопок валяющихся в округе от гаража. Ничего не предвещало беды...

Перейти к дискуссии
Andrey Rogovsky 28.01.2021 13:39

Было это пару лет назад. В стартапе CTO&банда погромистов хотели использовать пайтон для обработки потока в реалтайме, передающихся через udp. Я пытался убедить, что нужно писать на плюсах и потом скидывать в бакеты для обработки уже через пайтон, так как в случае пиковой нагрузке можем потерять часть данных. Не убедил, пару месяцев оно успешно поработало на стенде, когда пошло в прод — кубер заскейлили тонны подов, начал биллить на десятки тысяч в час, за сутки ушло $800k, инвестор пожал плечами и стартап все.
Самым неприятным было слушать обвинения в том, что я был недостаточно убедительным, когда понимал эту проблему и пытался донести до CTO. Никакие письма и графики ничего не доказывали — «ты все правильно делал, но недостаточно хорошо». На вопрос показать как хорошо на примере его общения с инвестором произошел резкий токсичный взрыв с переходом в истерику, что я лезу не в свои дела.

На предложение пригласить инвестора и показать ему на то, что бабки ушли в неправильную проектировку инфраструктуры, которую придумал CTO, мне предложили уйти из стартапа, что я и сделал.

Сейчас считаю это полным факапом, так как надо было самому выйти на инвестора и сказать ему напрямую, что CTO — балбес.

Перейти к дискуссии
Victor Mikhaylov 29.01.2021 12:41

В далёких 90х служил в армии как программист и разрабатывал систему для военкомата. Из-за моей ошибки 1000 человек были ошибочно призваны в армию. Не знаю потерял ли военкомат на этом деньги (может наоборот)

Перейти к дискуссии
Stanyslav Semukhyn 29.01.2021 11:53

В далёкой галактике много тысяч лет назад зашёл в одну небольшую аутсорсинговую компанию проект на разработку мобильного приложения для Android и iOS. Работали в этой компании по каждому из этих направлений по одному гребцу — миддлу. Каждый из них за несколько лет в индустрии уже чего-то повидал и был уверен, что знает и может натурально всё.
Захотел кастомер фиксед прайс на основании эстимейтов — запросто.
Пролетели 3 дня воркшопов с клиентом незаметно. Все требования были записаны со слов клиентов да пиэмом в табличку внесены. Девелоперами за один вечер проэстимированы. Но допустили они ошибочку роковую. Поверили словам клиента, что UI дизайн тривиальным будет и времени не займёт и backend все юзкейсы сам держать будет.
А когда до разработки дело дошло, оказалось, дизайн UI вычурной и кастомный от начала и до конца. И весь API с бэкенда на микро-транзакции разбит из которых юзкейсы на клиенте аки конструктор собирать надобно.
И превратились наивно-первоначальные 3,5 месяца эстимейтов сначала в 6, потом в 9, а потом и в 11 месяцев. При фиксед прайс на 3,5.
И пошли овертаймы немерянные и ночи с субботы на воскресенье в офисе проведённые и день Рождения в воскресенье за закрытием срочной тасочки и 200+ известных багов в каждом из приложений за месяц до дедлайна лютого.
Компании сия оказия малозначительная обошлась в трёхкратные затраты на разработку, клиенту — в опоздание с выходом на рынок на полгода и как следствие, провалом стартапа.
А девелоперам — красных глаз, мешков под глазами и трёх важных выводов.
1. Нет дизайнов — не будет и эстимейтов. Нельзя оценить и тем более решить задачу, которая не сформулирована. Или сформулирована не до конца.
2. Не пишите, детушки, бизнес-логику и обработчики во вьюхах. В ночь с субботы на воскресенье очень раздражает дебажить эти бороды из логики во вьюхах под 1000 строчек длиной.
3. Если начались овертаймы — всё, пиши пропало. Проект можно застрелить, чтоб не мучался и ваши героические усилия уже ничего не решат, просто меняйте работу. Кто-то где-то очень жёстко промахнулся и всё уже пропало, сделайте выводы и идите дальше.
Если работу нельзя сделать за 40 часов в неделю, не стоит за неё даже браться.

Перейти к дискуссии
Grichka Bogdanoff 28.01.2021 14:31

Завалил прод. Два раза. Результат — дали премию за героическую борьбу с последствиями.

Перейти к дискуссии
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Допустимые теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Denys Poltorak 12.02.2021 03:31

Не мое, а от Фаулера, но не удержусь. 400 лямов за 45 минут.
dougseven.com/...​a-devops-cautionary-tale

Ответить
Поддержать
Marchello Lippi 03.02.2021 15:33

Зробив антифрод в банку, якось топ-менеджменту від нього прийшло по декілька тисяч email повідомлень (пройшло років 8, тож не пригадую яка саме умова була некоректною) за пару хвилин поки бігом не виправив. Коштів напряму не втратили, однак кожен з топ-менеджменту витратив мабуть по десять хвилин щоб навести лад в інбоксах, тож враховуючи їх ставку за годину, непрямих витрат трохи все ж було.

Ответить
Поддержать
Valentyn Ponomarenko 02.02.2021 21:29

После университета продавал бухгалтерию. Пришел показывать программу, а у них какая-то ну очень старая машина с диском на 100 MB. Спросил, что можно удалить и они показалаи, что можно удалить эту папку. Я ее грохнул, поставил все, показал и ушел. Вечером звонок, что я удалил все записи по амортизационным фондам. Приехал к ним, забрал машину домой, начал востанавливать и спалил им диск. Все выходные искал замену этого старого диска, нашел на каком-то заводе такую машину, купил ее и снял с нее диск. Отдал им и сказал, что ничего сделать нельзя. Cколько им это стоило не знаю — но тогда мне это обошлось в копейку (денег небыло).

Ответить
Поддержать
Ivan Skvortsov Lead System Administrator в N-iX 02.02.2021 21:19

История из далекого прошлого.
В 2002 или 2003 году, работал эникеем на одном большом местном заводе, реинсталл бухгалтерских тазиков и заправка картиджей (как вспомню, так вздрогну).
Раздолбайство было во всем и везде, ни фаерволов (в винде его тогда нативного не существовало), винда 98-я, сеть без Vlan-ов и т.д., ну обычный завод же, этим все сказано.
Так вот, была в те времена одна виндовая тула — net send называлась (утер скупую слезу упавшую на свитер), с ее помощью было удобно юзерам сообщить что сейчас что-то будет перезагружено и паниковать не надо. Работала она именно потому что сеть была плоская, без Vlan-ов, броадкасты пролетали «на ура» и долетали до всех свитчей и серверов. И работала безоказно. Часто выручала. Воспользоваться ею мог каждый, но не каждый знал что она существует.
Как я жалею что показал одному «специалисту» из отдела маркетинга как ею пользоваться.
Дело в том, что у них в маркетинге аська была заблокирована админом на проксе за какую-то провинность, а нам надо было как-то договариваться чтоб пойти на обед и т.д.
Знаете что он вместо этого сделал? Скрипт, с бесконечным циклом на всех (net send * «бла-бла-бла»).
Легло всё. Вообще все. Весь админкорпус завода после обеда встал и вышел. Выключение компа «хакера» из розетки не спасло ситуацию потому что свитчи набили это все в свои кеши и еще около пары часов пытались разослать/дослать тем кто недополучил. Перезагрузка сетевого оборудования оказалась не такой простой процедурой изза огромной территории завода и оригинального размещения свитчей в шахтах лифта, за закрытой железной дверью, замурованные в кладовках и т.д. Старший админ был красный от злости, начальнику отдела ИТ звонил сам директор завода каждые 15 минут, угрожая увольнением, еще месяц мы ходили по корридорам на цырлах.
Вот такой вот DDoS. Хорошо что в те времена люди еще помнили как пользоваться стационарными телефонами и факсами, а хранить номера и контакты в обычном бумажном блокноте было еще нормой.
Сколько было потеряно денег и неотгружено продукции я не знаю.

Ответить
Поддержать
Oleksii Nedashkivskyi AI/ML Tech Lead 02.02.2021 20:23

Дана проблема: два юзкейса обрабатываются одинаково, по логике более сложного/дорогого. Общее исправление запланировано к деплою через 3 месяца. Я заметил и предложил, что есть костыль — существующая AI модель может практически даром детектить простой кейс, и существенно срезать косты: только прямые расходы уменьшались на $300K/месяц (без учета трафика и роя других служб). Все собирались пить шампанское на сэкономленный $1M, или хотя бы % в виде бонуса. Но была проблема. Проблема была в том, что AI модель работала 50/50. Да 50/50. Точнее эти 50/50 выглядели так: она часто называла простой кейс сложным, но практически никогда наоборот. Вечно идущему на повышение менеджменту было очень понятно, что это костыль, и очень непонятно всякие там precision/recall и разнородовые ошибки. Менеджментом было решено, что использование AI модели для этого — это всё же костыль, что так оно и было. Что 50/50 — недостаточно хороший результат, что $1M не такая и большая экономия. И вообще фикс будет через 3 месяца. От предложения отказались, костыль закопали.

В это время нагрузка росла. Когда по плану костыль должен был быть убран, экономия в месяц составляла ближе к $1M. Должна была составлять. Только вот фикс из-за технических сложностей через 3 месяца задеплоен не был. И через полгода не был. И через год. Вроде и через 1.5 года. В это время нагрузка существенно росла и выросла раз в 10-ть по сравнению с начальными эстимейтами. Конечно, сэкономленные $3M/месяц, это не профуканные $3M/месяц. Это запланированные траты, они посчитаны и заложенные в бюджет, и уплочены инвестором. Но блин!! по самым-самым скромным оценкам, это $27M

Ответить
Поддержать
Denis Krep 02.02.2021 18:05

До времени когда добрался до «больших» проектов с большими рисками и деньгами как то набрался опыта тьфу-тьфу, даже почти рассказать нечего. Вокруг горело многое, многое «тушил», но своих завтыков как то и расказать нечего. Почти. Одна весёлая история есть.

Год где-то 2001, я — подрабатывающий студент первого или второго курса. Сидел в одной конторе, кодил почучуть. Интернет тогда был ламповый, дорогой и медленный, а сетки и домашние провайдеры (напомню, половина тогда — это доморощенные выросшие локалки, локальные СМТП сервера у каждого итд).

Моя контора (а точнее «дружественная» соседняя) продавала интернет в средне-крупных масштабах. Потому мой рабочий комп был воткнут сетевухой к свичу который был буквально в ещё одном прыжке от UA-IX точки доступа. С жирным каналом, короче.

И надумалось мне тогда сделать почтовую рассылку для своей институтской группы. Сервисов тогда онлайновых не было, юниксы не знал, да и времени много не было на настройку. Потому решение было в лоб. Выклянчил у админа отдельный почтовый ящик, и настроил TheBat (кто помнит такой почтовый клиент) с правилом: полученное письмо переслать на все емейлы из списка. Не пересылать только е-мейлы которые содержат текст mailer-daemon (типа автоотлупы. Наивный метод, я в курсе, ага :) ).
Для полноты картины, тогда были популярны е-мейл2смс гейты и многие ещё и копию на СМС получали о прилетевшей почте.
Это даже работало гладко. Как минимум пол-года.
Но я думаю вы уже догадались что произошло дальше.

В пятницу вечером у одногрупника забивается почтовый ящик (он работал в одной локальной конторе), но оригинал админ в оной русифицировал константы и вместо «mailer-daemon» автоотлуп отвечал как «почтальон печкин». Что естественно не отлавливалось правилом и через 3 минуты мой бот пересылал этот отлуп всем. Так начинался томный вечер общения ботов. Я, а также ряд одногрупников, получавших смс раз в 3 минуты об этом — начали понимать неладное и нервничать. Но это было только начало.

Через несколько часов забивается почтовый ящик ещё у двух одногрупников работающих в той же компании. Соответсвенно на каждое входящее письмо, приходит ответка тремя. И дальше по экспоненте. Ближе к полуночи мобильные из-за неостанавливающихся входящих СМСок выключили все у кого стояли редиректы.

Способов удалённо потушить своего бота я не предусмотрел. Контакта админа у меня нету. Доступа на работу у меня тоже нету (студент, младший сотрудник — кто мне даст). Офис на выходных опечатан и под охраной. На рабочем компе на ВинНТ стоит хорошо настроеный файрвол закрытый на все внешние входящие соединения (и не поднят терминальный сервер. Впрочем я даже не уверен что в те годы я знал что это).

Зато есть жирный канал в интернет и очень трудолюбивый и общительный бот.

К понедельнику в Киеве ложатся почтовые сервера у как мнимум 3-х местячковых провайдеров. А также на работе ждёт злой админ, который обещает мне все кары небесные, которые начнутся с того, что у меня пропадёт интернет и я оплачу весь исходящий трафик, если «ещё хоть-раз» . То что одногрупники хотели сделать со мной за то что на выходных они не могли пользоваться мобильными толком — не в счёт :)

Ответить
Поддержать
Denys Poltorak 02.02.2021 20:31

У нас на химфаке в 2001 мобильные были только у избранных

Ответить
Поддержать
Denis Krep
Denis Krep 02.02.2021 20:38

Может 2002, не позже. Но да, не у всех. Ну я же не зря всё таки работал кодерком ещё с 13 лет (с 1997) — что-то скопилось :) Да и мобильный тогда — это же был кирпич со встроенным телефоном. До сих пор помню — моторола т192.

Ответить
Поддержать
Denys Poltorak
Artem Perchyk JavaScript developer в SoftServe 02.02.2021 12:52

Первая работа. Мне нужно было сверстать какой-то контент для промо кампании на главной странице сайта. Те товарищи из отдела маркетинга, которые подобное обычно заказывали, не хотели ручками копировать верстку, чтобы положить баннер или что-то ещё такое в правильное место, они хотели копировать блок средствами CMS. Поэтому в таких случаях контент заливался на прод в testarea — такую себе песочницу для контент эдиторов.
Верстаю эту дрянь локально на главной странице, потом копирую в эту песочницу, вижу, что чет расползлось. Понимаю, что не хватает специфичных для главной странице стилей. В ней куча блоков, в них другие блоки, эти стили где-то там внутри, искать впадлу, возьму-ка я лучше скопирую главную страницу в testarea и просто положу блок с баннером туда. Ехидная цмска начинает рекурсивно копировать весь сайт в эту testarea. Соответственно на сервера ложится дикая нагрузка. С вебморды остановить этот процесс нельзя. Ещё и я не сразу понял, что натворил, поэтому где-то два часа прод крайне сильно тупил или вообще не загружался (как повезет). Ситуация стыднее, чем если бы я просто наговнокодил, ей-богу.

Другая ситуация уже не моя, но довольно забавная, да и на ковёр вызывали потом меня.
У нас была tag management system, которая подгружала всякую аналитику. Соответственно, подгружались и всякие скрипты, написанные кем-то в этих системах аналитики.
Какой-то гений, «внешний консультант» по этой говносистеме, написал примерно такие три строчки кода (о которых мы не знали, но которые начали прилетать):
if (dataLayer.customerData.customerId !== undefined) { // что-то, что может вызвать ошибку, если customerId нет }
В результате для всех незалогиненных кастомеров вылетала ошибка в консоль, потому что о злая ирония, customerId мог быть только null, о чём господин консультант не подумал. К тому же, по какой-то неведомой логике скрипт пытался выполниться каждые 200 миллисекунд, если возникала ошибка. То есть, по пять ошибок каждую секунду. От каждого анонимного кастомера. У нас был логгер, который хостился на тех же серверах, что и прод. В результате три строчки говнокода устроили нам реальный DDoS, что повлекло за собой эффект ещё худший, чем в первой истории, потому что проблема была куда менее очевидна: чувак сделал свою диверсию в конце дня и никому об этом не сообщил.

Ответить
Поддержать
Stanislav Zhircko PHP Developer 01.02.2021 14:32

Дуже цікава тема) Більше б таких. Не можу відірватися вже цілу годину ))))))

Ответить
Поддержать
Alex Zodov PHP developer в Genesis 01.02.2021 09:31

Факап не мой, не знаю сколько убытков из-за этого было: сидел 1,5 недели без тасок, поскольку заграничная сторона решила пнуть composer update везде где только можно. Результат — на всех 3-х уровнях кастомных репозиториев их экосистемы вылетела куча депенденси ерроров, а там возраст пакетов был от 2 до 10 лет). Плакала половина маршрутки, пока их лид чинил все это.

Ответить
Поддержать
Olexandr 01.02.2021 10:46

Це вони одразу на проді зробили, чи що? В чому проблема завести окрему гілку і там апдейтити?

Ответить
Поддержать
Alex Zodov
Alex Zodov PHP developer в Genesis 01.02.2021 11:11

на ветке для девов, как я помню, но там как все это вскрылось, то была паника, и было не до того, чтобы мне таски ставить

Ответить
Поддержать
Olexandr
Olexandr 01.02.2021 11:13

Все ж окрему і від девів гілку з назвою composer_update і там гратися. А потім змержити з тим що деви накомітили в гілці dev.

Ответить
Поддержать
Alex Zodov
Alex Zodov PHP developer в Genesis 01.02.2021 11:12

ну и там с полтора десятка либ было, в 3 слоя, в каждой заводить по ветке и потом прописывать со-зависимости кому-то было лень

Ответить
Поддержать
Olexandr
Sergii Pavlenko носитель борща в судочке 30.01.2021 17:23

апдейтнул конфигурацию на приложении в проде и ушел пить чай
процесс апдейта был с багом и вешал приложение, а я запустил процесс на всех нодах во всех регионах(чтобы два раза не вставать)
в результате ревенью дроп 40к$

Ответить
Поддержать
Sergiy Morenets Java evangelist 01.02.2021 14:36

Скільки відняли з вашої зп?

Ответить
Поддержать
Sergii Pavlenko
Sergii Pavlenko носитель борща в судочке 01.02.2021 14:38

нисколько

Ответить
Поддержать
Sergiy Morenets
Олексій Пєніє Developer, Java 29.01.2021 23:57

Вот в этом топике и ответ, за что НА САМОМ ДЕЛЕ платят в IT, и во сколько вылетает найм Совы — эффективного менеджера, которая наплодит тушканчиков.

Ответить
Поддержать
Ivan Bondarenko Senior Data Engineer 29.01.2021 18:15

Коллега нашел и пофиксил двойной url encode в коде, все тесты и ревью прошли, пятница, счастье и успех. Но оказалось что несколько крупных клиентов использовали это как фичу и не жаловались, а с фиксом у них поломалось очень много ссылок. Пришлось срочно откатывать и делать фикс в стиле «if client in old_school_guys then encode_once_more(url)».

Ответить
Поддержать
Olexandr 01.02.2021 10:48

Клієнт з розумінням. Побачив граблі, наступив, одів каску і змирився.

Ответить
Поддержать
Ivan Bondarenko
Olexiy Khimchenko 29.01.2021 13:56

Не моё (я тогда своевременно был в отпуске), коллеги рассказали.
Сервис по продаже авиабилетов. Выходим на китайский рынок. В коде ядра нормальная мультивалютность изначально не была предусмотрена, доделывали костылями. Добавили и начали продавать. И где-то накосячили: внутре системы сумма считалась в долларах, а клиенту счёт выставляли на неё же, но в юанях. Разница курсов — более чем в 6 раз. Обнаружили только на следующий день.
Коллеги, не храните деньги в системе числом, храните объектом, чтоб сумма и валюта всегда были связаны.

Ответить
Поддержать
Sergiy Morenets Java evangelist 01.02.2021 14:35

А яка мова програмування ?

Ответить
Поддержать
Olexiy Khimchenko
Olexiy Khimchenko 04.02.2021 17:28

А це має значення? :)
Ядро на PHP. Код там дуже legacy, ще без фреймворків.

Ответить
Поддержать
Sergiy Morenets
Sergiy Morenets Java evangelist 04.02.2021 19:00

Просто такі помилки легко відловлюються автоматизованими тестами.

Ответить
Поддержать
Olexiy Khimchenko
Olexiy Khimchenko 04.02.2021 19:35

Для цього їх спочатку треба було написати. То вже від мови не залежить, відсутні тести можна створити будь-якою мовою.

Ответить
Поддержать
Sergiy Morenets
Юрий Буряк 29.01.2021 13:40

Денежных потерь не было, но факап был. 10 лет назад ездил туда-сюда из Германии в Украину каждый месяц. Работодатель скинул нам эксель файл с мейлами и телефонами всех участников проекта и я, чтобы удобно им пользоваться, положил его на свой сервер, который стоял у воли кабель. Через какое-то время, гугл залез на запароленный ftp и просканировал файл. А ещё через какое-то время один из участников проекта нашёл свою инфу в гугле. Далее служба безопасности проследила откуда сервер, ну и так как я был один из Украины, то сразу нашли

Ответить
Поддержать
Yuriy Znovyak РПЗ з ДВРЗ з ВО без ВП і своєю ЖП 29.01.2021 15:49
гугл залез на запароленный ftp

запароленный???

Ответить
Поддержать
Юрий Буряк
Юрий Буряк 29.01.2021 18:11
запароленный???

Да, не совсем верно написал. ftp, конечно был запаролен, но файл лежал в папке \var\www\site\files, куда есть доступ через http. Гугл зашел в папку и просканировал все файлы в ней. Хотя я всегда был уверен, что гугл может находить только то, на что существует ссылка. На этот файл, понятно никакой ссылки, нигде, не было. Но он его нашел.

Ответить
Поддержать
Yuriy Znovyak
AZ Senior Software Engineer 29.01.2021 18:53

так autoindex треба вимикати )

Ответить
Поддержать
Юрий Буряк
Volodymyr Y 29.01.2021 18:56

Хромом файл не открывали? В файле ссылки были?
Было такое, что гугль сканил пулы ип хостеров. Жду когда рдп начнет брутить/эксплоитить, и доки индексировать 😆 Ато китайцы медленно работают.
И квалификация начнет ценится сильнее.

Ответить
Поддержать
Юрий Буряк
Юрий Буряк 29.01.2021 19:30
Хромом файл не открывали? В файле ссылки были?

Это было в 2010 году, тогда хромом еще никто не пользовался. Но даже, если бы он получал какие-то данные от FireFox, к примеру, разве он может файлы сканировать, которые просто лежат на сервере? Причем он еще и это проиндексировал в поиск. То есть, не шпионаж был, а реальная поисковая работа.

Ответить
Поддержать
Volodymyr Y
CodeGuru 29.01.2021 19:48
Причем он еще и это проиндексировал в поиск. То есть, не шпионаж был, а реальная поисковая работа.

Крaулер выгребает всё, что находит в корне и подкаталогах. Единственное, может обратить внимание и не выгребать то, что описано в «роботсах» — но может на это и забить.

Ответить
Поддержать
Юрий Буряк
Андрюха Цибрій Freelancer 08.03.2021 16:36

я что то не понял, как это возможно?
если файл не индекс, как он найдет его имя?

Ответить
Поддержать
CodeGuru
Yuriy Znovyak РПЗ з ДВРЗ з ВО без ВП і своєю ЖП 29.01.2021 13:38

Афігенна тема! Побільше б таких. Треба буде ще створити ще щось схоже «самий говнокод що ви бачили», «саме х***ва архітектура, яку ви бачили», ... ну і їхні протилежності — «самий п***атий код», «сама п***ата архітектура», ...

2010 рік, я в ФБ в комерс команді, займаємось платежами на всій ФБ платформі (ігри, реклама). Власне є один полу-фроненд код (server rendered page на php), який малює діалогові вікна для заповнення різних форми оплати, логінгу і передачі інфи.

Власне існучий код виглядав десь так:

$payment_processor = ($form_value["payment_processor"] . "Processor")();
тобто з фронтенду юзер передає в формі поле payment_processor яке конкатенується з строкою PaymentProcessor і викликається конструктор. Короче ***ня, повністю унеможливлює любий статичний аналіз коду. Я, звісно, крутий ковбой (мені десь 21-22 роки, перша реальна робота, всі діла) рефакторлю в щось тіпа:
switch ($form_value["payment_processor"]) {
  case "CreditCard": return new CreditCardProcessor();
  case "PayPal":     return new PayPalProcessor();
  ...
  default: throw GoFuckYourselfException();
}
всьо ок, всі щасливі пару днів. Потім через 2-3 дні о третій ночі прилітає page, що платежі за рекламу через пейпал не проходять. Все було ок якщо розраховуватись в іграх, а от на фронтенді оплати за рекламу там трошки було чуть-чуть інакше: payment_processor був «Paypal» замість «PayPal», як в іграх. Виявляється, що в php змінні case sensitive (тобто $a і $A це різні змінні), а от назви функцій — ні (тобто sin і SIN — це одна і та ж функція) і завдяки цьому раніше працювало, бо new PaypalProcessor() це то ж саме, що new PayPalProcessor(), а от в switch, очевидно не спрацюавало.

Комент (не від мене) до хотфіксу був в стилі «сьогоднішній хотфікс принесений нам кількома мільйонами недополученого прибутку і маленькою буквою ’p’».

Із неприємного, мене заставили пофіксити так:

switch ($form_value["payment_processor"]) {
  case "CreditCard": return new CreditCardProcessor();
  case "PayPal":     return new PayPalProcessor();
  case "Paypal":     return new PayPalProcessor();
  ...
}
а не так:
switch (to_lower($form_value["payment_processor"])) {
  case "creditcard": return new CreditCardProcessor();
  case "paypal":     return new PayPalProcessor();
  ...
}
досі муляє, що моє ім’я висить поруч з гівнокодом.

P.S. так як це реклама, то ми потім таки змогли зачарджити більшість клієнтів, тіпа «сорі, надали вам послуг, а гроші забули зняти, то зараз знімемо за попередній тиждень». Тобто сумарний ущерб ми сильно зменшили, але пару десятків тисяч таки недополучили.

P.P.S. компанія мега-адекватно відреагувала — зробили постмортем, обговорили що треба зробити щоб такого не більше не ставалось, написали тести.

P.P.P.S ненавиджу PHP

Ответить
Поддержать
CodeGuru 29.01.2021 13:49
досі муляє, що моє ім’я висить поруч з гівнокодом.

Не переживай. :) То, как тебя заставили пофиксить — это правильно. Коль уж в системе плодится говнокод, где важен даже кейс в названиях — опасно пользовать генерализационные функции, типа «to_lower».

Завтра на «case „Paypal“» повесят вызов «new PaypalProcessor()» - и to_lower накроет систему очередной раз.

Ответить
Поддержать
Yuriy Znovyak
Bot Bot 29.01.2021 13:56

Я видел когда-то как индусятина что-то наделала с тасками Task на дотнете,там сервис был который подхватывал в амазоне меседжи и должен был обрабатывать эти задачи, но если честно то что именно оно пыталось сделать, какую задачу решить, я так не понял, но по факту куча кода ничего толкового не делал абсолютно. Сервис и дальше слушал очередь и закидывал выполнение в тпл через таски, но неск дней убил в том числе и на поиски хоть каких-то доков.

Я так понял оно типа пыталось сделать лимит на количество тредов в апликухе но почему-то пыталось ограничить количество тасков, и полностью игнорировало проперти в котором задается количество потоков для тпл :-)

Еще в тотм же проекте, оно наворотило алгоритм котоый я не могу воспроизвести в памяти, но все что нужно было это создать хэшмап и в независимом от них цикле вытаскивать по ключу обьект и туда складывать данные, но вместо этого нагородило бесконечные ифы, статические перменные которые обновляются в разных местах...Вопроизвести такое было анриал, после того как понял что именно надо было сделать, удалил псилоцибиновый сюрр и накидал простенький цикл с хэшмапом.

Жаль что кода нет уже, можно было бы как интелектуальный челендж скидывать.

Ответить
Поддержать
Yuriy Znovyak
Bot Bot 29.01.2021 14:03

Одно из любимых, это индусы часто делают проверку не переменной bool if(indusztina) {//govnokod;}а кидают строку «true» или «false» и считают количество символов )))))) Я вот вообще хз что им там с мозгами делают в индии.

Ответить
Поддержать
Yuriy Znovyak
CodeGuru 29.01.2021 14:07
Я вот вообще хз что им там с мозгами делают в индии.

Может, им за количество байт кода платят. Это бы многое в «индусо-коде» объяснило (включая, любимое детище индусятины — «копипасту»)...

Ответить
Поддержать
Bot Bot
Bot Bot 29.01.2021 14:37

Та скорее так и было, потому как я там удалил больше двух тысяч строк копипасты просто создав пару базовых классов.

Ответить
Поддержать
CodeGuru
CodeGuru 29.01.2021 14:46
больше двух тысяч строк копипасты просто создав пару базовых классов.

Это индусятина просто в наследование не умеет — т.е. «вынужденная копипаста». А «нормальная копипаста», это даже более примитивно...

Ответить
Поддержать
Bot Bot
Mike Gorchak Graphics Device Driver Developer 29.01.2021 14:37

Я буквально на днях видел вот такое, привожу без макросов:

bool sorter;

if (sorter == 150) {
        // blah-blah
}

Я тут же пишу в компанию, чьё авторство стоит на проприетарном коде, ответ поразил — это специальное true значение, что-то вроде «непогрешимая истина». И оно работало до того как компилятор сделал что-то вроде AND/OR RAX, RAX и 150 ушло просто во флаг и потерялось :D

Ответить
Поддержать
Bot Bot
Bot Bot 29.01.2021 14:39

Эта непогрешимая истина под защитой прахвбатанвмгандбумгны тысячижопого!

Ответить
Поддержать
Mike Gorchak
Yuriy Pavlenko Embedded Software Developer 29.01.2021 14:51

Все в духе современного времени. Их true самоидентифицирует себя как 150.

Ответить
Поддержать
Mike Gorchak
Sergey Boryssenko Senior Tractor Developer 29.01.2021 20:23

У булена 63 гендера? :)

Ответить
Поддержать
Yuriy Pavlenko
Yuriy Pavlenko Embedded Software Developer 29.01.2021 20:34

Если бы ((( В зависимости от архитектуры, от 2^8 до 2^64

Ответить
Поддержать
Sergey Boryssenko
Roman Pavlyuk myself в ELEKS 30.01.2021 03:44

Date Sat, 31 Aug 2013 10:16:52 −0700
Subject Re: [PATCH v7 1/4] spinlock: A new lockref structure for lockless update of refcount
From Linus Torvalds <>
share 0
On Fri, Aug 30, 2013 at 8:06 PM, George Spelvin wrote:
> Just noticing that you are adding several functions that return a boolean
> value as an int. And a “gotref” local variable.
>
> Is that just not wanting to bother with thse newfangled C99 innovations,
> or do you dislike the “bool” type for some reason?

I don’t use “bool” in code I write. I don’t think it adds any actual
value, and I think the data type is badly designed and of dubious
value in C. It has very few actual advantages.

That said, it’s not like I *hate* the type, and I won’t remove bool
from code other people write. I just think it’s superfluous and
stupid, and another case of C++ people thinking too much “this is a
cool feature” without then actually doing it well. The C people then
picked it up because it was less onerous than some other C++ features,
and all the compilers had the logic anyway.

If “bool” had real advantages (like having a dense array
representation, for example), that would be one thing. It doesn’t.
Sure, now you can take an address of a bool (which you couldn’t
generally do efficiently if it really was a bit array), but it also
means that in practice, “bool” is normally nothing but “char” with
some really odd and special implicit type casting rules.

I doubt most people really even understand how “bool” casting works.

And bool is actually really *dangerous* to use if you don’t understand
it. There are people who use “bool”, but then because they want to be
portable, they have a compatibility #ifdef or other configuration
thing that does something like

typedef int bool;
#define true 1
#define false 0

and it will actually work. Most of the time. And then the semantic
differences from a _real_ C compiler that supports the C99 _Bool/bool
type are really really subtle.

IOW, bool has very few real upsides, and it has a real downside: it’s
subtle, and people really never even seem to _realize_ just how subtle
it is. I suspect that if you ask ten random average C programmers if
the above is equivalent to stdbool.h, nine of them will say “sure”.

And they’d be *COMPLETELY* wrong.

So no. I’m definitely not a fan of bool. I think there are better
types, and I think there are better ways to document things.

Linus

Ответить
Поддержать
Mike Gorchak
Mike Gorchak Graphics Device Driver Developer 01.02.2021 04:29

Даже Linus не знает, что в Линуксе bool — это не int, а char :D

Ответить
Поддержать
Roman Pavlyuk
CodeGuru 01.02.2021 04:40
but it also means that in practice, “bool” is normally nothing but “char” with some really odd and special implicit type casting rules.
Ответить
Поддержать
Mike Gorchak
BodjaSyper QA Engineer 01.02.2021 16:41

Пан не читатор, пан коментатор :0

Ответить
Поддержать
CodeGuru
Mike Gorchak Graphics Device Driver Developer 01.02.2021 17:10

Булофобия у тех, кто не понимает что внутри.

Ответить
Поддержать
BodjaSyper
Taras Morozovsky Мєнєджєрка Проєктів в ТОВ "ИРІЙ" 02.02.2021 20:51

Не обязательно даже понимать, что внутри, чтобы использовать тип bool правильно. «Правильно» в контексте стандарта Си:

Boolean type

_Bool (also accessible as the macro bool) — type, capable of holding one of the two values: 1 and 0 (also accessible as the macros true and false).

Пишешь туда 42 и надеешься, что прочитается 42 — сам себе злобный буратино. Даже если на конкретной платформе оно получается так.

Ответить
Поддержать
Mike Gorchak
Dmitry Bugay 29.01.2021 13:36

Пилили мы синхронизацию запросов по ууид юзера + код операции во имя консистентсности данных на уровне приложения, а не на уровне бд, потому что бд была как на запись, так и на чтение аналитикой, решили не заносить физические локи в бд.
Вот только не знали мы, что личный кабинет фротендеры напилили так, что разные физические пользователи ходят под одним юзером.
Задеплоились, синхронизация работала как надо.
А вот личный кабинет 3 дня не работал. Пока не поняли в чем проблема и не перевели синхронизацию на идшки уровнем пониже юзера.

Ответить
Поддержать
Victor Mikhaylov junior manual tester 29.01.2021 12:41

В далёких 90х служил в армии как программист и разрабатывал систему для военкомата. Из-за моей ошибки 1000 человек были ошибочно призваны в армию. Не знаю потерял ли военкомат на этом деньги (может наоборот)

Ответить
Поддержать
Oleg Korol перевожу души LPAR-ов по Стиксу с POWER7 на POWER9 29.01.2021 17:01

мы его нашли

Ответить
Поддержать
Victor Mikhaylov
Ievgen Safronenko Senior Software Engineer 29.01.2021 17:17
Не знаю потерял ли военкомат на этом деньги (может наоборот)

ты мог потерять здоровье)))

Ответить
Поддержать
Victor Mikhaylov
Артем Шиманский Software Engineer в Forescout 29.01.2021 17:18

Я кажется припоминаю эти древние системы на win98 в Дарницком военкомате)

Ответить
Поддержать
Victor Mikhaylov
Ivan Demenkov Web Developer в Astound Commerce 30.01.2021 21:38

брехня, не было в 90х в ВОЕНКОМАТЕ компьютеров. исключительно бумажные папки-дела штабелями, ящиками и все такое.
компьютеры были, но разве что там, — где была БОЛЬШАЯ КРАСНАЯ КНОПКА

Ответить
Поддержать
Victor Mikhaylov
Victor Mikhaylov junior manual tester 30.01.2021 21:54

не в том вы военкомате были. у нас был Delphi, MSSQL Server, Excel и Windows 95

Ответить
Поддержать
Ivan Demenkov
Me High Low 30.01.2021 22:14

было популярно сходить в армию со своим компом.
Военки в тот период не было

Ответить
Поддержать
Victor Mikhaylov
bayda 02.02.2021 05:56
не в том вы военкомате были.

Тут надо уточнять, о военкоматах какой страны речь: в украинских военкоматах никаких SQL Server не было как минимум до второй половины 2000х — все было на MS Access.

Ответить
Поддержать
Victor Mikhaylov
Lena 01.02.2021 11:58
служил в армии как программист

чем то похоже на «служила в армии как уборщица»

Ответить
Поддержать
Victor Mikhaylov
Oleksandr Dubinin Oracle DBA 01.02.2021 13:28

У меня одну знакомую по имени Женя так призвали. Фамилия нейтральная, на «-ко». Она прикололась и пришла в военкомат. Отправили домой.

Ответить
Поддержать
Victor Mikhaylov
bayda 02.02.2021 05:42

В повестке врядли было Женя: Евгений и Евгения все-таки разные имена. Впрочем, на мою тетю в свое время пришла повестка на имя Виктор (она Виктория). На дворе стояли суровые советские времена, поэтому в военкомат пришлось ходить не по приколу, а ругаться, чего это меня с маленьким ребенком призывают.

Ответить
Поддержать
Oleksandr Dubinin
Stanyslav Semukhyn Senior Android Developer в AUTODOC 29.01.2021 11:53

В далёкой галактике много тысяч лет назад зашёл в одну небольшую аутсорсинговую компанию проект на разработку мобильного приложения для Android и iOS. Работали в этой компании по каждому из этих направлений по одному гребцу — миддлу. Каждый из них за несколько лет в индустрии уже чего-то повидал и был уверен, что знает и может натурально всё.
Захотел кастомер фиксед прайс на основании эстимейтов — запросто.
Пролетели 3 дня воркшопов с клиентом незаметно. Все требования были записаны со слов клиентов да пиэмом в табличку внесены. Девелоперами за один вечер проэстимированы. Но допустили они ошибочку роковую. Поверили словам клиента, что UI дизайн тривиальным будет и времени не займёт и backend все юзкейсы сам держать будет.
А когда до разработки дело дошло, оказалось, дизайн UI вычурной и кастомный от начала и до конца. И весь API с бэкенда на микро-транзакции разбит из которых юзкейсы на клиенте аки конструктор собирать надобно.
И превратились наивно-первоначальные 3,5 месяца эстимейтов сначала в 6, потом в 9, а потом и в 11 месяцев. При фиксед прайс на 3,5.
И пошли овертаймы немерянные и ночи с субботы на воскресенье в офисе проведённые и день Рождения в воскресенье за закрытием срочной тасочки и 200+ известных багов в каждом из приложений за месяц до дедлайна лютого.
Компании сия оказия малозначительная обошлась в трёхкратные затраты на разработку, клиенту — в опоздание с выходом на рынок на полгода и как следствие, провалом стартапа.
А девелоперам — красных глаз, мешков под глазами и трёх важных выводов.
1. Нет дизайнов — не будет и эстимейтов. Нельзя оценить и тем более решить задачу, которая не сформулирована. Или сформулирована не до конца.
2. Не пишите, детушки, бизнес-логику и обработчики во вьюхах. В ночь с субботы на воскресенье очень раздражает дебажить эти бороды из логики во вьюхах под 1000 строчек длиной.
3. Если начались овертаймы — всё, пиши пропало. Проект можно застрелить, чтоб не мучался и ваши героические усилия уже ничего не решат, просто меняйте работу. Кто-то где-то очень жёстко промахнулся и всё уже пропало, сделайте выводы и идите дальше.
Если работу нельзя сделать за 40 часов в неделю, не стоит за неё даже браться.

Ответить
Поддержать
Andrew Frolov 29.01.2021 15:23

ИМХО, хороший пример, почему в аутсорсе не стоит браться за задачи из стартапа. Так как это скорее всего просто «распил». Особенно если эта задача — 100% сути стартапа.

Ответить
Поддержать
Stanyslav Semukhyn
anonymus ps 29.01.2021 11:19

Как то раз, рефакторил код интеграции с платежным провайдером, 1 ендпоинт енкодил URL стандартно, другой кастомно (данные были те же), решил что кто-то не знал как правильно енкодить, и заменил на стандартный енкодинг.

3 дня нельзя было оплатить картой с 2 факторной авторизацией платежа, в 12 странах, это был очень высоконагруженный екомерс. честно не знаю сколько продаж похеролось в это время, и честно говоря не хочу знать

Ответить
Поддержать
Fedorchenko Dmytro Embedded Software Engineer 29.01.2021 10:57

Из-за ошибки в одной константе, партия устройств умерла через 7 дней после запуска. Ну тут скорее из-за фиговой документации на сдк у Нордика, впрочем все производители чипов этим грешат. Впрочем деньги потерял клиент, а не мой работодатель. Аутсорс парам-пам-пам. У нас вообще в целом не было возможностей протестировать девайс в таком кейсе, так как сроки горели.

Ответить
Поддержать
Dmytro Bielokris QA Manager 29.01.2021 10:03

Выкатывали на прод 2 фичи, мобильную апку под андроид и интеграцию с новой платежной системой. Это был мой первый экспириенс куа лидом и скилов еще сильно не хватало) В итоге я на всех престейдж/лайв площадках проверял платежку, а мой подаван наличие апки на сервере. В итоге платежка доехала, а апка нет. На следующий день была сделка с новыми клиентами, при клике на даунлоад апп — 404. Сделка была на пол ляма $ + 10% в месяц от прибыли, Хасиды сказали что вертели они такой подход и свалили. 4 часа стоял на ковре и подвергался порке, Таня, если ты это читаешь — проверяй апки на всех площадках!)

Ответить
Поддержать
Bot Bot 29.01.2021 10:54

Я думаю что респонсибилити за такое должно быть где-то на уровне СТО, а не простого лида. Но у нас, обычно, начальство нужно чтобы пороть кого-то на ковре, а не решать проблемы и совершать сделки.

Ответить
Поддержать
Dmytro Bielokris
Dmytro Bielokris QA Manager 29.01.2021 11:11

CTO краснел на сделке, а дальше уже по иерархии вставили куа манагеру, а она мне.

Ответить
Поддержать
Bot Bot
Dan vor de Hoorth 29.01.2021 09:52

передвинул кнопку на два пискеля вверх, уменьшил количество нажатий на 3 процента, в переводе на деньги 6 лямов в год

продолжение здесь
dou.ua/...​rums/topic/32610/#2047386

Ответить
Поддержать
Vladimir Kovalchuk 29.01.2021 08:48

Зашёл я как-то на продакшн почтовый сервер и сделал sudo rm -rf /. Бекапов там никаких

Ответить
Поддержать
Think Different 29.01.2021 02:08

Хотел быть программистом

Ответить
Поддержать
Luna 30.01.2021 22:06

Да, сначала Delphi dev, потом C++ , затем Java, далее .Net , Angular, Python и по совместительству DBA, DevOps/MLOps

Ответить
Поддержать
Denis Koval
Jan Haring 01.02.2021 12:37

В процессе сменился пол)

Ответить
Поддержать
Luna
CodeGuru 01.02.2021 12:40

Дык, диверсити бонус жеж. :)

Ответить
Поддержать
Jan Haring
mobile mobile 29.01.2021 01:59

один раз я не купил 100 биткоинов по 100 баксов за штуку, а ферму которая майнила по битку в месяц разобрал на запчасти и продал.

Ответить
Поддержать
Oleg Korol перевожу души LPAR-ов по Стиксу с POWER7 на POWER9 28.01.2021 23:14

за 20 лет именно о себе не смог вспомнить ничего аналогичного — память уже наверно не та...

Ответить
Поддержать
Yegor Chumakov Solutions Architect в EPAM 28.01.2021 22:48

Работодатель не потерял денег. Но я как-то случайно запушил SSH ключ от сервера в опенсорс репозиторий...

Ответить
Поддержать
Alexander Viter Integration engineer в Luxoft 29.01.2021 11:53

Из прошлой компании у нас за точно такое же коллегу уволили)

Ответить
Поддержать
Yegor Chumakov
Roman Pavlyuk myself в ELEKS 28.01.2021 21:56

В 2007-му набрали більше проєктів, ніж могли зробити.

В результаті на найбільший з них — договір для митниці Джерсі, на фіксовану суму, зі штрашними санкціями в 144 тисячі фунтів за тиждень затримки, з дедлайном, проголосованим парламентом, — рятували героїчно.

Замість прогнозованого прибутку в 300 000 доларів вийшло 70 000.

Ответить
Поддержать
Denys Rafael LSE в EPAM 28.01.2021 18:17
  1. git push --force origin master
  2. terraform apply вместо terraform plan
  3. SELECT * FROM foo вместо EXPLAIN SELECT * FROM foo на проде
Ответить
Поддержать
MK бекендуєм 28.01.2021 21:07

Якісь джуніорські приколи
1. Чому не protected branch?
2. Промпт є
3. В чому проблема скасувати запитання?

Ответить
Поддержать
Denys Rafael
Denys Rafael LSE в EPAM 28.01.2021 21:30

1. YOLO
2. alias tfa='terraform apply -auto-approve'
3. джуны такого не знают :)

Ответить
Поддержать
MK
Уставший архитектор 28.01.2021 17:56

Кастомер-мидл начальником у синьора-аутстаффера — это рецепт для эпичного фейла

Ответить
Поддержать
Ivan Demenkov Web Developer в Astound Commerce 28.01.2021 17:52

«- А что потом было, дедушка???..
— Расстреляли меня, внучек..»

Ответить
Поддержать
Andriy Loboda 28.01.2021 17:47

Та от не повірите, але жодного серйозного факапу не зміг згадати за 16-ть років розробки.
Якщо й було щось, то лише на початку кар’єри.
Коли і проекти і моя зарплата були копійчані.

Ответить
Поддержать
Sergiy Morenets Java evangelist 01.02.2021 14:27

Буває й таке. Але на жаль не буде чим хвалитися перед онуками і правнуками.

Ответить
Поддержать
Andriy Loboda
Dan vor de Hoorth 28.01.2021 17:26

Мігрували одну хайлоад систему з Azure -> AWS. У процесі тестування пробували які сервери будуть давати найкращий результат, лоад тестування займало досить багато часу, щоб запустити потрібну кількість вручну, протестувати, подивитись логи усюди. Однієї п’ятниці підняли 200 серверів із 96 ядрами кожен, а так як система була сира, то вони не виключились самі після тестування, а працювали усі вихідні. Лишень у понеділок їх вручну прибили.
Обійшлось десь у $80k і без жертв.

Ответить
Поддержать
Me High Low 28.01.2021 16:30

где-то в 2007 отправил смсок неправильных на 30к гривен

Ответить
Поддержать
Denys Poltorak 28.01.2021 16:53

Помню, чувак поставил на ночь сборку. Утром приходит — в мейле несколько тысяч писем(
В общем, на компе для сборки был вирус, антивирус его залочил вместе с папкой сборки, а скрипт упорно пытался собрать и сообщал о каждом фейле по почте.

Ответить
Поддержать
Me High Low
Dmitry Kopaev 28.01.2021 20:54

Ось ти, спамер, і попався! Я тебе з 2007 року шукаю!

Ответить
Поддержать
Me High Low
Vlad Stelmahovsky Software Engineer 28.01.2021 15:02

(в качестве предположения) слишком долго сидел на доу

Ответить
Поддержать
Fedorchenko Dmytro Embedded Software Engineer 29.01.2021 10:56

Пускай радуется что не на прекрасном айти, и еще статьи туда не писал)

Ответить
Поддержать
Vlad Stelmahovsky
Mike Gorchak Graphics Device Driver Developer 28.01.2021 14:49

Жили были два сервера, прод и тест, когда прод вышел в окно выпустив немного дыма напоследок, прод подняли на тесте за пару минут, но решили IP не менять и выслали клиентам новую конфигурацию. А в это время в маленькой тесной комнатушке в пристройке к гаражам на втором этаже, 5 программеров, которые пилили софт клиентам по продаже билетов, были не в курсе происходящих событий и продолжали тестировать свой софт на тесте и покупали билетики, иногда их возвращали, но всё же больше покупали. Первый тревожный звоночек прозвенел, когда в трёх областях пассажиро-поток упал практически до нуля, билетов нет, людей на транспорте тоже нет. В это время программеры купили пива с орешками и наслаждались окончанием долгого трудового дня. Мобильных тогда не было, а старый дисковый телефон в гараже цвета слоновой кости по-тихоньку превращался в цвет бордо с температурой около 2500К и продолжал набирал обороты в сторону нейтронной звезды. На утро по пути в гараж удивляло большое количество крутых машин с крутыми номерами и обилием разорванных жопок валяющихся в округе от гаража. Ничего не предвещало беды...

Ответить
Поддержать
Andrii Zadorozhniy Manager в GlobalLogic 28.01.2021 19:19

Прочитав і зрозумів, що десь я дуже схоже вже читав від Макса Іщенка. Трохи порився і таки знайшов dou.ua/...​rums/topic/25632/#1459188

Циклічність топіків і коментів на яву.

Ответить
Поддержать
Mike Gorchak
Andriy Kunitsin C++ Software Engineer 28.01.2021 20:07

Московська система з 80х в УЗ до сих пір так і працює :)

Ответить
Поддержать
Andrii Zadorozhniy
Mike Gorchak Graphics Device Driver Developer 28.01.2021 21:09

Наверное потому что мы вместе работали :D Макса мы захайрили, когда в Киев перебрались в 2000-ых.

Ответить
Поддержать
Andrii Zadorozhniy
Alexander Merkulov asterisk guru 28.01.2021 19:43

Мораль — пароли на проде и тесте должны отличаться.

Ответить
Поддержать
Mike Gorchak
Paul Loyanich Independent Information Technology and Services Professional 28.01.2021 19:56

и юзернеймы

Ответить
Поддержать
Alexander Merkulov
Grichka Bogdanoff 29.01.2021 01:14

И люди пишущие код и имеющие доступ на прод тоже должны отличаться.

Ответить
Поддержать
Paul Loyanich
Oleksandr Golovatyi Señor 29.01.2021 20:25

А могли б перепродавати квикти як це робив український тестер в МС якого не так давно зловили на цьому.

Ответить
Поддержать
Mike Gorchak
Mike Gorchak Graphics Device Driver Developer 29.01.2021 21:32

Билеты на бланках строгой отчётности с водяными знаками и т.п. это как доллары рисовать в тетради в косую линеечку акварельными красками.

Ответить
Поддержать
Oleksandr Golovatyi
Grichka Bogdanoff 28.01.2021 14:31

Завалил прод. Два раза. Результат — дали премию за героическую борьбу с последствиями.

Ответить
Поддержать
Ярослав Пастушенко SharePoint administrator 29.01.2021 09:55

По-моему про такое регулярно рассказывают в новостях о нашей власти.

Ответить
Поддержать
Grichka Bogdanoff
Ivan Bondarenko Senior Data Engineer 29.01.2021 10:41

Классика результативной работы, сломай, сделай как было (еще и в выходной) — рейз обеспечен.

Ответить
Поддержать
Grichka Bogdanoff
Fedorchenko Dmytro Embedded Software Engineer 29.01.2021 11:01

классический подход к получению премий.

Ответить
Поддержать
Grichka Bogdanoff
Lenur Serveriev Java backend developer в EPAM 29.01.2021 11:47

останавливаться я так понимаю не собираешься?

Ответить
Поддержать
Grichka Bogdanoff
Grichka Bogdanoff 29.01.2021 12:00

Чем больше работы делаешь, тем больше вероятность факапа. Чтобы точно не факапить, нужно ничего не делать. Хорошо, что менеджмент это хорошо понимал в том случае.

Ответить
Поддержать
Lenur Serveriev
Тєнь Оцця Гамлєта 28.01.2021 14:01

легко же рассказывать на украинском форуме о факапах в Эльфии — эльфы ни по-русски ни по-украински ни бум-бум, а тут — да кого волнуют факапы в заокеанских компаниях
а я зафакапил своей конторе здесь, в Украине. вполне допускаю, что этот инцидент имел последствия во всей дальнейшей судьбе компании (она существует и сейчас, хотя там уже совсем другие люди), но это не точно. а потому хоть этой истории пошел третий десяток лет, обойдемся без имен и подробностей. во-первых, позорище на отраслевой всеукраинской выставке было поистине феерическое, и олдфаги могут помнить его до сих пор. а во-вторых, кроме меня самого об истинной причине факапа знает только один человек. пользуясь некоторой, такскать, технической неграмотностью нашего менеджмента, мы глядели кристалльно честными глазами, недоуменно пожимали плечами и кивали в сторону наших иностранных контрагентов, те в ответ на нас. по итогу никто никому ничего не доказал, а потом события завертелись вообще в другую сторону.

Ответить
Поддержать
Andriy Loboda 28.01.2021 17:49

Ой та не парся. Всім байдуже. Через рік ніхто вже й не згадав.

Ответить
Поддержать
Тєнь Оцця Гамлєта
Володимир Корнійчук Senior Software Engineer (C++) в Infopulse 28.01.2021 18:50
позорище на отраслевой всеукраинской выставке было поистине феерическое

Та боже ж ти мій, ще жодна українська виставка не обійшлася без якогось феєричного позорища. Це обов’язковий елемент програми.

Ответить
Поддержать
Тєнь Оцця Гамлєта
Fedorchenko Dmytro Embedded Software Engineer 29.01.2021 11:09

ну если так пошло, то надо 2 человека: Один отвлекает, второй — перезапускает. Люди ошибаются, хороший манагер это учитывает и страхуется.

Ответить
Поддержать
Володимир Корнійчук
Fedorchenko Dmytro Embedded Software Engineer 29.01.2021 11:05

Если я правильно тебя понял: Это не твоя проблема на самом деле, по большому счету необходимо было все хорошо протестировать до выставки и не вносить изменений «последней минуты». Тут проблемы компетенции менеджмента и процессов в компании.

Ответить
Поддержать
Тєнь Оцця Гамлєта
Тєнь Оцця Гамлєта 29.01.2021 11:34

и да и нет

Тут проблемы компетенции менеджмента и процессов в компании.

на дворе была вторая половина 90-х, так что слово «процессы» вообще никто не понял бы в таком контексте, ну а рулили да, сплошь и рядом люди «с раньшего времени» с устаревшим техническим бекграундом, а то и вообще без такового, благодаря чему я собственно при помощи коллеги и отпетлял

и не вносить изменений «последней минуты»

вот так я этому и научился :)

Ответить
Поддержать
Fedorchenko Dmytro
Andrey Rogovsky 28.01.2021 13:39

Было это пару лет назад. В стартапе CTO&банда погромистов хотели использовать пайтон для обработки потока в реалтайме, передающихся через udp. Я пытался убедить, что нужно писать на плюсах и потом скидывать в бакеты для обработки уже через пайтон, так как в случае пиковой нагрузке можем потерять часть данных. Не убедил, пару месяцев оно успешно поработало на стенде, когда пошло в прод — кубер заскейлили тонны подов, начал биллить на десятки тысяч в час, за сутки ушло $800k, инвестор пожал плечами и стартап все.
Самым неприятным было слушать обвинения в том, что я был недостаточно убедительным, когда понимал эту проблему и пытался донести до CTO. Никакие письма и графики ничего не доказывали — «ты все правильно делал, но недостаточно хорошо». На вопрос показать как хорошо на примере его общения с инвестором произошел резкий токсичный взрыв с переходом в истерику, что я лезу не в свои дела.

На предложение пригласить инвестора и показать ему на то, что бабки ушли в неправильную проектировку инфраструктуры, которую придумал CTO, мне предложили уйти из стартапа, что я и сделал.

Сейчас считаю это полным факапом, так как надо было самому выйти на инвестора и сказать ему напрямую, что CTO — балбес.

Ответить
Поддержать
Roman Gorodishcher SDE в Twilio 28.01.2021 14:20

Круто, но ничего не понятно.
На что 800к ушли?
Самая дорогая тачка на AWS $2/ч.
Вы 20000 (двадцать тысяч) таких подняли со старта??? (Думаю у AWS в одном регионе и нету столько свободных, особенно тех что по $2).

Ответить
Поддержать
Andrey Rogovsky
Yuriy Znovyak РПЗ з ДВРЗ з ВО без ВП і своєю ЖП 28.01.2021 14:25

Є GPU інстанси за 25$/годину :(

Ответить
Поддержать
Roman Gorodishcher
Andrey Rogovsky 28.01.2021 14:58

Это был не AWS а более дорогой корпоративный облачный сервис.

Ответить
Поддержать
Roman Gorodishcher
Yegor Chumakov Solutions Architect в EPAM 28.01.2021 17:48

Там нельзя было задать максимальное количество нод?

Ответить
Поддержать
Andrey Rogovsky
Andrey Rogovsky 28.01.2021 17:52

Конено можно, после чего на стенде терялись транзакции и CTO с визгом требовал выкрутить лимиты до максимума.

Ответить
Поддержать
Yegor Chumakov
Yegor Chumakov Solutions Architect в EPAM 28.01.2021 18:09

Кстати, а почему вы не эскалировали это на СЕО и остальной борд директоров? Субординация субординацией, но серьезные деньги на кону.

Ответить
Поддержать
Andrey Rogovsky
Andrey Rogovsky 28.01.2021 18:13

Пытался. Мне сказали, мол еще два месяца не прошло, а ты пытаешься CTO подсидеть, не хорошо так, мы его давно знаем а тебя нет итд.

Ответить
Поддержать
Yegor Chumakov
Yegor Chumakov Solutions Architect в EPAM 28.01.2021 18:17

Я кстати тоже пришел к мысли что не надо лезть куда не просят)) Ну проебут они инвесторские деньги, не твои же, это их проблемы, их бизнес, пусть о нем и думают. Предупредить конечно стоило, но если не послушался, то сам себе злобный буратина.

Ответить
Поддержать
Andrey Rogovsky
Ювженко Денис Founder в TADA 29.01.2021 12:48

Якщо це стартап, то там, як правило, всі в долі, а значить, через СТО самодура вже втрачаються ТВОЇ гроші, що є вже геть інша розмова ніж просто питання чиїхось амбіцій і самолюбства.

Ответить
Поддержать
Yegor Chumakov
Anton Astafiev Software Engineer 28.01.2021 15:07

Комбинация real time processing на python и Kubernetes скейлящийся без ограничений довольно легко могут привести к запуску 20к машин, если Амазон столько даст конечно же.

Ответить
Поддержать
Roman Gorodishcher
Alexander Merkulov asterisk guru 28.01.2021 19:46

А он не даст в первый месяц. Дает по чуток, как раз во избежание таких ситуаций.
Еще и подтверждает каждый апгрейт capacity через тикеты.

Ответить
Поддержать
Anton Astafiev
Dan vor de Hoorth 28.01.2021 17:31

Там є і дорожчі на AWS, по $6-7-10, навіть є
Memory Optimized
x1e.32xlarge 128CPU 340ECU 3,904 GiB 2×1920 SSD $26.688 per Hour

Ответить
Поддержать
Roman Gorodishcher
Bot Bot 28.01.2021 15:24

Сколько бы помогло сэкономить если бы на плюсах работало?

Ответить
Поддержать
Andrey Rogovsky
Denys Poltorak 28.01.2021 15:27

Вопрос не с той стороны. Сколько бы не потеряли)

Ответить
Поддержать
Bot Bot
Сергій Осипчук CTO, Founder 29.01.2021 00:08

У меня был опыт ускорения интерпретирующегося кода на C++.

2001 или 2002 год,
Клиент — Enterprise, квартальный финансовый отчёт выедал все соки из базы данных (кажись Informix), на время выполнения запроса весь завод останавливали («вооот такой глаз»), код был написан на Visual Basic (чем не питон), апгрейды железа наверняка пробовали но они не помогали.
Клиенту было продано предложение переписать этот единственный отчёт на C++.

Результат — меньше минуты вместо 3х дней, т.е. примерно в 4000 раз быстрее. По ходу нашли и грабли — количество запросов в базу было O(N^8).
Проблема оказалась не в технологиии а в том что некоторые сегменты разработчиков не думают о performance.

Ответить
Поддержать
Bot Bot
CodeGuru 29.01.2021 01:59
Результат — меньше минуты вместо 3х дней, т.е. примерно в 4000 раз быстрее. По ходу нашли и грабли — количество запросов в базу было O(N^8).

Вижуалбасик не интерпретирующийся. Там компайлилoсь во вполне cебе нативные экзешники.

Другое дело, что люди которые на нём писали — это да, часто были хипстеры не менее хм... продвинутые, чем нынешние питонисты и кложуристы.

Ответить
Поддержать
Сергій Осипчук
Igor Pomaranskiy Python/Django developer в SoftServe 29.01.2021 10:23

Зважаючи на нюанс з кількістю запитів — може там і не дуже було потрібно переходити на C++. )

Ответить
Поддержать
Сергій Осипчук
Jan Haring 29.01.2021 13:12
количество запросов в базу было O(N^8)

А могли бы оптимизировать до N^7
В следующем квартале до N^6 ...

И получать премии)

Ответить
Поддержать
Сергій Осипчук
Bot Bot 29.01.2021 13:20

Это же завод, там премия 17 карб, 37 коп.
Или другая схема, делаешь рацуху, тебе дают на нее премию, потом в след месяце общая премия на эту же сумму меньше, там де на голых ставках не работают, премии большая часть зп.
Но логика что ни на есть верная! Плюсую!

Ответить
Поддержать
Jan Haring
Andrey Anastassiev System administrator (до 2012р.) 29.01.2021 14:29

Один хитрец драйвер для принтера сделал, где с каждой новой версией увеличивал скорость последовательного порта и продавал как улучшенную версию.

Ответить
Поддержать
Jan Haring
Oleksandr Suvorov інженер-порохобот в Ciklum 30.01.2021 16:49

Був (може й ще є) такий чудовий автоматізатор банків, ЖЕК та інших контор, Яг’яєв. Відомий не тільки в Україні, а й в Московії. У нього необхідність підтримки його продуктів була закладена з самого початку — якщо його не викликали більше місяця, по таймеру викидалась помилка й програма переставала працювати. Геніальний «винахід» :)
Мені якось довелось знімати цей «захист» в парі контор.

Ответить
Поддержать
Andrey Anastassiev
Yegor Chumakov Solutions Architect в EPAM 28.01.2021 17:47

Не понял, а СТО что запретил вам поставить в autoscale group максимальное количество нод?))) Что-то какая-то мутная история.

Ответить
Поддержать
Andrey Rogovsky
Anton Astafiev Software Engineer 28.01.2021 17:53

Судя по истории мог и запретить — «данные же будут теряться»

Ответить
Поддержать
Yegor Chumakov
Roman Pavlyuk myself в ELEKS 28.01.2021 22:00

В мене був клієнт, у якого в СТО освіта була Political Sciences.

А стартап в галузі CV...

Ответить
Поддержать
Andrey Rogovsky
Bot Bot 28.01.2021 22:51

Ну так он же визионер был? :-)

Ответить
Поддержать
Roman Pavlyuk
Roman Pavlyuk 29.01.2021 10:04

Візіонером був СЕО.

Професійний авантюрист.

Ответить
Поддержать
Bot Bot
Fedorchenko Dmytro Embedded Software Engineer 29.01.2021 11:15

Этот СТО просто красавчик, надо взять подход на заметку)))

Ответить
Поддержать
Andrey Rogovsky
Andrey Rogovsky 29.01.2021 11:30

Подход стар как мир — приватизация чужих заслуг и коллективизация своих провалов.

Ответить
Поддержать
Fedorchenko Dmytro
Alex Fogol Software Developer, C/C++ Expert 29.01.2021 15:03
Самым неприятным было слушать обвинения в том, что я был недостаточно убедительным, когда понимал эту проблему и пытался донести до CTO.

та норм история всегда так делаю ))

Ответить
Поддержать
Andrey Rogovsky
Mike Gorchak Graphics Device Driver Developer 29.01.2021 15:14

У меня каждый день так, если я в чём-то прав, то не прав в том, что не смог убедить жену в том, что я прав %)

Ответить
Поддержать
Alex Fogol
Vasiliy Dicjak Senior Frontend Developer – 90Poe 02.02.2021 09:07

Вполне вероятно что исход выхода на инвестора был бы таким же ;-)
И не было бы такой крутой истории.

Ответить
Поддержать
Andrey Rogovsky
Viktor Chyzhdzenka 02.02.2021 09:15

Выгнали бы в течении 5 минут с конторы.

Ответить
Поддержать
Vasiliy Dicjak
Viktor Chyzhdzenka 02.02.2021 09:18
Сейчас считаю это полным факапом, так как надо было самому выйти на инвестора и сказать ему напрямую, что CTO — балбес.

Вылетел бы с конторы в течение 5 мин.

А вот тебе совет на будущее. Если так хочешь высказаться, то пишешь начальнику одно письмо и очень вежливое с описанием проблем и расслабляешься и начинаешь искать другое место работы — ибо текущее так или иначе скоро кончится.

Есть правда еще вариант. Ты ходишь с тем инвестором в баню и вы выгоняете СТО и ты занимаешь его место.

Ответить
Поддержать
Andrey Rogovsky
Andrey Rogovsky 02.02.2021 09:48

И много ли ты контор создал, чтоб писать такую чепуху да еще и в утвердительном порядке?

Ответить
Поддержать
Viktor Chyzhdzenka
Viktor Chyzhdzenka 02.02.2021 11:54

А это тут причем? Так охота на личности перейти?
Это написано по долгим наблюдением с той стороны баррикад, где работники, а не работодатели.

Ответить
Поддержать
Andrey Rogovsky
Andrey Rogovsky 02.02.2021 12:00

Ясно, репрезентативность выборки — нулевая.

Ответить
Поддержать
Viktor Chyzhdzenka
SemiCoder 08.03.2021 18:19

странная история
вы пытались убедить, что будут потери данных, а при выходе в прод проблема была в том, что ресурсы росли сильно.
СТО прав — мысль вы не то, что не донесли, но донесли даже не ту мысль.

Ответить
Поддержать
Andrey Rogovsky
Andrey Rogovsky 09.03.2021 03:07
вы пытались убедить, что будут потери данных

Нет, я говорил о потерях обработки потоков в реалтайме.

СТО прав — мысль вы не то, что не донесли, но донесли даже не ту мысль.

Естественно, я же и писал:

надо было самому выйти на инвестора и сказать ему напрямую, что CTO — балбес.
Ответить
Поддержать
SemiCoder
Bot Bot 28.01.2021 13:35

Ушел из одной галеры на другую, а позицию потом кастомер закрыл и не захотел другого гребца. :-)

Ответить
Поддержать
CodeGuru 28.01.2021 13:21

Где-то лет 20 назад, когда я был молод, глуп и свежепонаех в Эльфии, закрутила меня жизнь...

Работодатель в который я понаехал (дотком) успешно обанкротился. Я без местного эльфийского быстро метнулся по рынку, нашёл нового работодателя (мелкие «рога и копыта», типа 2 основателя + я + практикант) и вышел на работу.

Но тут навалились всякие проблемы, а-ля переезд, новая девушка, драмы со старой девушкой (с которой мы временами пересекались, т.к. тусили в одной компании) и всякое такое... В общем, внешний проект (бмв) куда меня биллили за 200 марок/час я ещё потянул и допилил, а внутрение (инновационные продукты компании, с которыми 2 основателя собирались обогатиться) тянул вполсилы...

В итоге, где-то через полгода работы началось общение на повышенных тонах и скоро мы решили, что лучше будет расстаться. Вместо меня на внутренние проекты взяли какого-то джуна, которого я несколько раз консультировал уже после увольнения. Но видимо джун совсем не тянул, т.к. компания довольно скоро закрылась.

Впрочем, у основателей всё в порядке. Один (директор/администратор) ушёл менеджером хорошего уровня в одну из крупных известных контор, второй (технарь) сделал очередные свои «рога и копыта» и гребёт много бабла, в т.ч. на рашанзах.

Ответить
Поддержать

Подписаться на комментарии

Не подписываться

Воспользуйтесь аккаунтом

×
с условиями использования сайта и политикой конфиденциальности.