Автоматизация и сокращения на рынке труда

Попалась на глаза вот такая статья: «Индия массово избавляется от айтишников» businessviews.com.ua/...​ukraina-na-ocheredi-1695

Много громких заявлений, смелых прогнозов и слегка устаревших данных, но тем не менее проблема существует — ситуация на рынке труда начинает активно меняться и, например, DBA первые, кто уже ощутил эти изменения (позиций становится меньше, зарплаты падают). Крупные игроки (Amazon, Oracle, Microsoft) лишь подливают масла в огонь, активно продвигая идеи автоматизации и сокращения большого количества традиционных направлений в пользу полностью (или отчасти) автономных решений.

На мой взгляд, в ближайшие годы эти процессы лишь ускорятся, во многих областях, что приведет к более жесткой конкуренции на рынке труда и более высокому порогу вхождения в ту или иную область.

А каковы Ваши наблюдения и личное мнение на этот счет? Ощущаете ли изменения применимо к Вашей текущей роли?

👍ПодобаєтьсяСподобалось0
До обраногоВ обраному0
LinkedIn

Найкращі коментарі пропустити

Не читайте американский научпоп вовремя ланча. Мне там обещали к 2000му, ну кровь из носа к 2020му базу на Луне. Где база я спрашиваю?

Судный день вообще должен был наступить в 1997, но жидких терминаторов до сих пор не видно

И где мои самозатягивающиеся шнурки?..

Думается, что значительно быстрее и проще заменить ботами армию журналистов, ваяющих подобные статейки из разряда «колосятся озимые» на любую тему.
Причем никакой АИ и бигдата для этого не потребуется по причине отсутствия «И» у оригинала. Достаточно будет граббера случайных статей с BBC/CNN/etc, гугл-транслейта и генератора бреда на пару абзацев. Можно еще спелчекер прикрутить, но это уже необязательно.

Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Наоборот, из-за всеобщей автоматизацией потребность в программистах будет только расти в геометрической прогрессии! Кому-то же надо писать код для всех этих роботов.
С некоторыми отдельными айтишными специальностями типа сисадмина возможно и будет стагнация из-за развития качества тулзов для них(тобиль отсутствие роста, а не снижение кол-ва вакансий), но в целом нашу отрасль ждет бурный рост!

Думается, что значительно быстрее и проще заменить ботами армию журналистов, ваяющих подобные статейки из разряда «колосятся озимые» на любую тему.
Причем никакой АИ и бигдата для этого не потребуется по причине отсутствия «И» у оригинала. Достаточно будет граббера случайных статей с BBC/CNN/etc, гугл-транслейта и генератора бреда на пару абзацев. Можно еще спелчекер прикрутить, но это уже необязательно.

Можно просто генератор дорвеев взять)

Этот даже сильно умный кмк. )

Кстати в 1984 Оруэла именно так и писали многие песни и прочие вещи для обывателей.

Не читайте американский научпоп вовремя ланча. Мне там обещали к 2000му, ну кровь из носа к 2020му базу на Луне. Где база я спрашиваю?

Судный день вообще должен был наступить в 1997, но жидких терминаторов до сих пор не видно

И где мои самозатягивающиеся шнурки?..

ОК, попробую дать этой теме несколько иное направление. 2 свежих новости, связанных с автоматизацией\AI в некоторых традиционных отраслях и они явно не связаны с индийским ИТ-аутсорсингом

Deutsche Post DHL to deploy self-driving delivery trucks by 2018:

At Nvidia’s GTC Europe conference today, one of the company’s partners detailed plans to bring an autonomous delivery fleet to operating status starting in 2018. Deutsche Post DHL Group wants to put trucks on the road in partnership with auto supplier ZF by that time frame, using electric light transport vehicles equipped with ZF’s Nvidia-based ProAI self-driving system.

DPDHL will help make this happen staring now, by equipping its fleet of 3,400 electric delivery StreetScooter vehicles with ZF sensors, including video cameras, as well as LiDAR and radar. The data gathered by these vehicles will help inform ZF’s ProAI self-driving system, teaching the AI to be able to navigate itself along the delivery routes handled by DPDHL once its autonomous trucks are ready to come to market.

In addition to the Nvidia-powered ZF ProAI self-driving tech, which uses Nvidia’s Drive PX AI computers, DPDHL is also using Nvidia’s DGX-1 AI supercomputer in its data center to train the neural networks that will prove the basis for its future autonomous delivery fleet.

Nvidia and DPDHL unveiled the prototype electric light delivery vehicle at GTC Europe today, equipped with six cameras, plus two LiDAR sensors and a radar array”

techcrunch.com/...​-delivery-trucks-by-2019

"THE US POSTAL SERVICE IS BUILDING A SELF-DRIVING MAIL TRUCK

NEITHER SNOW NOR rain nor heat nor gloom of night stays these couriers from the swift completion of their appointed rounds—and if the United States Postal Service has its way, the robots won’t stop them, either.
Yes, the agency you know best for bringing you junk mail addressed to whomever lived in your apartment before you has caught robofever. It plans to put semiautonomous mail trucks into service in just seven years, and it seems to think it can pull off a shift away from human driving without shedding mail carrier jobs.

That’s all according to the postal service’s Office of the Inspector General, which oversees the agency and last week released a report on its plans to work autonomy into its 228,000-vehicle fleet. Those plans are already in motion: The post office has partnered with the University of Michigan to build what it’s calling an Autonomous Rural Delivery Vehicle, which it wants to launch on 28,000 rural routes nationwide as early as 2025

In this vision, the postal worker sits behind the wheel but lets the truck do the driving, sorting mail and stuffing letters and packages into mail boxes while rolling down the street. Eliminating the need to constantly park the vehicle, get out, then get back in and get back to driving would yield, the report says, „small but cumulatively significant time savings.”

This being a semiautonomous mail truck, the driver would have to be ready to take over control at all times. In the beginning, researchers say, this will be especially important while navigating from the post office to the beginning of the postal route, and while navigating intersections.

The postal service reasons the experimentation is less risky on rural routes, which have less traffic and fewer pedestrians and cyclists, „and are therefore more forgiving of an imperfect AV model.” It’s exactly the reason vehicle tech developers like Tesla and Cadillac have released semiautonomous features for highway-only driving. With wide, open, well-marked roads, it’s a much less complicated environment for a robot to navigate.

According to the report, Michigan researchers will deliver their first semiautonomous delivery truck prototype in December of this year. If all goes according to plan, the USPS will pilot 10 prototypes on rural routes in 2019, leading up to that full-scale, countrywide rural deployment between 2022 and 2025. The mail people also say they plan to look into city deliveries and building fully driverless vehicles, the kind that don’t need steering wheels or pedals.

You’ve Got Self-Driving Mail
One reason the postal service wants robocars? They could help solve its money problems. The agency lost $5.6 billion last year, mostly because Congress demands it shell out prefunded retiree health care benefits. (The idea here is that all employees’ health care will be completely paid for by the time they retire. No other agency operates this way.)
The report’s authors insist they’re not looking to dump human workers, and that AVs can help by trimming other costs. The agency paid about $67 million in repair and tort costs associated with vehicle crashes last year. It also shelled out $570 million for diesel fuel. If the robots perform as promised, making driving much safer and more efficient, those costs could plummet.

If the USPS sticks with this plan, the jobs of the nation’s 310,000 mail carriers could change, for better or worse. Once the vehicles do all the driving, the humans will be left with the sorting and the intricacies of the delivery process. Unless, of course, a robot can figure out how to do those too. And whatever the report says about protecting jobs, it’s clear that the best way to cut down on employee health care costs is to cut down on employees. The Postal Service says it plans to sit down with unions to discuss the implications of this tech after the University of Michigan delivers its prototype in December. (Those unions, the National Association of Letter Carriers and the National Rural Letter Carriers Association did not immediately respond to a request for comment.)

But maybe the best reason for USPS to experiment with autonomous vehicles is to keep up with the Joneses. FedEx is investing in small autonomous vehicles that could make deliveries without the aid of human drivers. Amazon has an entire team dedicated to researching how autonomous vehicles (and drones) could transport its goods directly to customers. Google holds patents on unmanned truck delivery. DHL has posited driverless vehicles could be endlessly useful in warehousing operations, last-mile deliveries, and logistics operations. UPS has a test truck that shoots drones.
Which gets us back to one final idea floated by the USPS Office of the Inspector General in the report. Mail carriers drive the same exact routes almost every day. If the service kits out its vans with the right sorts of sensors, those vans could build and constantly update the incredibly detailed 3-D maps that help self-driving cars navigate—for a price, of course. Yeah, other startups and companies have been built expressly to collect and mine mapping data—but don’t count out the letter carriers. If rain and hail can’t stop them, why should the future?"

www.wired.com/...​self-driving-mail-trucks

self-driving delivery trucks

Что они уже существуют? И законны?

Там же в статье все написано — есть планы, есть разработки, планируется сокращать издержки, будут переговоры с профсоюзами. Компании с мировыми именами, я думаю они понимают, о чем заявляют обществу

есть планы, есть разработки

Где результаты?

Компании с мировыми именами, я думаю они понимают, о чем заявляют обществу

Они либо пилят деньги инвесторов (все эти стартапы); либо делают девайсы/услуги, которые помогают первой категории пилить деньги (все эти нвидии).

Наилучшим пример будет Theranos, который много обещал, владелицу которого (кстати без медобразования) носили на руках в научпопе, а оказалось что это банальное мошенничество (и попил бабла инвесторов).

UPS and DHL are not start-ups and don’t work directly with them. Both assumptions are wrong.

Ну возможно они просто идиоты. В конце концов штаты профинансировали идиотию типа SolarRoadways и HyperLoop, возможно тут тоже поверили в обещания

Вони не ідіоти. Вважається правилом хорошого тону диверсифікувати ризики в розвитку. вкладаючи мізерні по мірках корпорації гроші в такі-от шальні проекти. Вигорить, круто. можна кричати що візіонери, не вигорить, ну і не шкода.

Признаться честно — я крайне скептически отношусь даже к таким вещам как SpaceX, Hyperloop и тд. Но DHL и UPS — это компании другого сорта, это не стартапы, это даже не Амазон, а представители традиционного бизнеса с классическим подходом. Понятное дело, что посмотрим что из этой затеи выйдет со временем, но одновременные заявления от двух гигантов уже интересны сами по себе

Простите, но деньги, которые USPS отвалит на исследования+деньги на компенсации уволенным сотрудникам+выплаты по страховкам в результате возможных фейлов — будут в много раз выше несчастных медстраховок для пенсионеров. Вроде ж очевидно.

Насчет профсоюзов я бы наоборот подумал по поводу той же Германии, но не Штатов. Заявления смелые потому как. Амазон тоже обещал всю доставку осуществлять дронами, что-то пока эта идея не получила должного развития. Но снова таки — DHL и UPS компании иного класса, не стартапщики

А если рядом аэропорт какой, то не особо дронам там разрешат летать

Рынок не сократится, а скорее всего кадровый голод еще и увеличится. Просто поменяется структура спроса на трудовые ресурсы. Будет меньше автоматической работы на людях, больше творческой. И контроль ИИ

Мне противно и трудно, но нельзя отступить,
Хоть и хочется есть, хоть и хочется пить.
Мы когда-нибудь за это в адском пламени сгорим,
Но всё это потом, а в данный момент —
©

Автоматизация процессов набирает оборотов с каждым днем всё больше. Но, вот сокращений в сфере интернет-маркетинга не наблюдаю. Более того, рынок труда растет теми же темпами, что и автоматизация. В общем то гуд всё, но больно уж динамично...
А насчет IT-специалистов, то один мой товарищ, классный пример в тему — просто взял и переквалифицировался из системного администратора в CRM-специалиста. Актуально и достойное финансовое вознаграждение, как по мне... Правда проектная занятость, но стоимость услуг, вполне «отбивает» непостоянный характер работы.

Друзі, я чогось не розумію? Це про той AI який те саме що й обчислювальна статистика? Ось тут описаний експеремент з голубами, яких навчили розпізнавати рак на знімках з точністю до 99%. www.scientificamerican.com/...​geons-to-diagnose-cancer. Я так розумію наш теперішній AI це приблизно голуб, якого навчили тикати дзьобом у правильну картинку з певною точністю за червячка.

У звязку з цим виникають питання:
1) Ми що, покажемо голубам купу коду із GitHub-у а тоді повиганяємо програмерів і замість них посадимо голубів розуміти Product Owner-а та бізнес і підтримувати корпоративний код з тисячами рядків коду?
2) Нас задовільнить на запит балансу на рахунку отримувати відповідь типу «100 грн +/- 10грн впевненість 98%»?
3) Нас задовільнить що із 100 походів в магазин 2 невдалі бо система не достатньо впевнена у вашому балансі?
4) Нас задовільнить неможливість перевірити чому AI прийшов до того чи іншого висновку, бо крім Decision Tree алгоритму усі інші — black-box і відлагодити їх нам просто не вистачить мізків?
5) Чи йдеться що ймовірнисний AI генеруватиме код, який з певною ймовірністю тупо не зкомпілюється чи не зможе повернути результат?

Мені чомусь здається, що хвилюватися більше потрібно UI розробникам. Статистичний AI дуже добре автоматизує взаємодію машини і невизначеного навколишнього світу. А якщо так, то менше потрібно буде людського втручання в роботу машин -> менше буде потреби в купі кнопочок і формочок. DBA зрештою перетворяться на Data Engineer чи щось подібне. Професії еволюціонують. Хірург 100 років тому вельми відрізняється від хірурга сучасного...

Вплані скорочень в Індії то скоріше всього мова і йшла про енікейщіків з інтелектом голуба. Я дуже сумніваюсь що в Україні таких багато працює, це як мінімум не рентабельно.

Именно это меня и взбесило в статье. В англоязычных оригиналах писалось именно о сокращении по профессиональной непригодности кадров. А тут с бухты барахты делают вывод о каком-то ИИ, который сам пишет код.

Маю підозру, що предки сучасних програмістів, які сидять в різних Visual Studio, те саме казали про відсутність альтернатив програмуванню на асемблері :)

А справа не в тому. Справа у тому, що АІ в нинішньому вигляді не здатен бути повною заміною людини. З часом — так, буде. але не зараз. У статті ж репетують «всьо, всьо, слівайтє воду фармашльопи. Індія такіх как ви тисячямі виганяєт !»

Интересно где хоть какой то намек на замену фронтендщиков каким то ИИ?

Немає ніде :-). Фронтендера не замінити ИИ. Просто потреба в механічних інтерфейсах, як мені здається, може зменшитися. Примітивний приклад, щоб проілюструвати: я даю команду звонити дяді Васі замість натискання контакти, пошук, скрол, клік на виклик. Поки писав це, то подумав, що я напевно натякаю на conversational інтерфейси.

верстальщика — легко

А были же проэкты которым ты на вход картинку, он тебе навыход — вёрстку. Как там обстоят дела сейчас, не знаете?

Если помечтать то я представляю как ИИ будет отвечать на вопрос «как» или даже «как именно это сделать». Но совсем не представляю как даже у такого воображаемого ИИ такое заказать.
Если о реальности — не будет такого ещё ой как долго. Так чтоб можно было плейнтекстом написать что-то из разряда:
Мой бизнес состоит в том что я продаю билеты в кассе. Чем больше продаю тем больше зарабатываю. Нужно бы повысить продажи (или понизить издержки).
А он тебе в ответ:
Вот тебе приложения под разные оси, вот веб портал, вот расписан бюджет на рекламу всего этого дела. Запустить кампанию?

с веб мордой это реально легко

UX дизайнеры будут не нужны получается?)
И почему-то число вакансий на фронтенд все растет и растет)

а кто занимается веб мордами?
фронтенд и бэкенд иногда..

Ты почему-то думаешь, что люди не читают твоих сообщений?)
Для бизнес-аналитика, может и один хрен -фронтенд, бэкенд..
Это разработчики -для тебя.
Но не надо причислять всех к сущности -любой.
Эта статья- это повод задуматься о мифической ситуации, но с точки зрения HR.
Фронтендщики- это люди, занимающиеся пользовательским интерфейсом. Точнее логикой на нем. Это другой тип людей, более визуальный, чем те, кто занимается бэкендом и базами. Хотя есть и универсалы, но фулстек в серьезных компаниях редко бывает.
Я насколько тебя понял. Что останутся только бизнес -аналитики, UX дизайнеры, архитекторы, тест-менеджеры и прочие — постановщики задач, а остальных девов будут автоматизировать потихоньку?)

Не хамите, сэр.)
Просто -девов сложно, а веб морду -легко , где логика, а кто веб морду разрабатывает ,если не девы ?)

Юх — легко,
ба — невозможно

Не логично- потому что ЮХ в классическом понимании полностью завязан на бизнес требованиях.
UPD/ Хотя, ясно..Ты же в финансовых сфере работал, в основном B2B, там действительно пофиг, какое окошко для ввода цифр) И юзер стори несложные..
А вот транзакции и базы данных -сложные..
Если нужен именно этот банк ,то нужен этот банк.
Я знаю ,что в B2C наоборот..(типа интернет магазина)
Чтобы привлечь пользователя- UХ дизайнер -там поважнее бизнес-аналитика , пожалуй будет, особенно на первых порах, пока стартап..
И веб морда- это лицо бизнеса-тоже очень важно..

Даже представим что мы живём в мире розовых-пони-единорогов где есть человек что не вовлечён в техническую часть проекта и не является техническим специалистом, но пишет спеки. Для того чтобы добавить конкретики представим что проект — это интернет магазин. Наверное все с ними сталкивались если сами не писали. И вот этот человек пишет спеку (утрировано):
— Я, как пользователь магазина, перехожу на карточку товара. Вижу его изображение, вижу его описание, характеристики.
— Вижу цену товара, нажимаю кнопку «Купить» => Товар оказывается в корзине
— В корзине нажимаю кнопку оформить => перенаправляюсь на страницу с выбором способов оплат/доставок
— Вижу способы оплаты A, B, C.
— Выбираю A.
— Вижу способы доставок D, E, F.
— Выбираю E.
— Нажимаю кнопку «Продолжить»
— Перенаправляюсь на страницу «Спасибо за заказ»

так вот, проанализировав трильёны типичных страниц представленых в спеке, задав параметры естественности, «красивости», etc. теоретически, автомат сможет выдать что-то похожее на страницу. Музыку же они пишут, не думаю что какую-никакую разметку накидать будет сложнее. Но очень далеко не факт что оно будет продающим, подходящим для бизнеса и так далее. Да даже не факт что оно будет выглядеть лаконично понятно и юзабельно.
И да, и этот оптимистично-поняшный сценарий возможен только в случае если бизнес думает терминами «карточек товара», «корзины», «чекаута», etc. А если просто: есть товар, нужно продать — вряд ли возможно в ближайшем будущем. Для этого, на сколько я понимаю, надо компу обьяснить что такое товар, что такое продать, что продаётся товар покупателям и что покупателя неплохо бы привлечь и подтолкнуть к покупке. И только тогда он сможет изучать трильёны существующих решений в этой области и скомпилить из них суррогат и только если данные по этим решениям будут.

Но это в воображаемом мире. А в реальном мире — попробуй запросить у представителей бизнеса/конечных пользователей юз-кейсы. На том всё и закончится.

попробуй запросить у представителей бизнеса/конечных пользователей юз-кейсы. На том всё и закончится.

В случае интернет -магазина.- Это работа UX дизайнера, он знает ,как делать юзер-кейсы.

Вот мне всегда интересно было откуда эти UXы набираются всех этих схем и кейсов и кто вообще сказал что оно работает? Может оно сейчас так просто потому что по-другому никто не видел/не умеет. Вот как решили что магазину нужен каталог, карточка товара, корзина, чекаут? Есть же магазины где этого всего нет. Да, их единицы по всему вэбу, но всё же.
Но и магазины — это только банальный пример функциональности к которой все привыкли. Есть ведь и позаковыристее задачки.

«Индусский стайл» славен жестокой копипастой. Так что, я неудивлён. У украинских кодерков, в этом смысле, всё не так запущено — потому, жизнь ещё будет. :)

Макс, ну ты-то, ты хоть глянь — что за статейка дурная.

Индусов массово увольняют (это в статье обозначено, как факт). Далее этот факт экстраполируется на украинских кодерков (в виде прогноза) — но я с таким прогнозом несогласен.

П.С. Пока не увольняют? Начнут, когда (если) Трамп индусские шарашки прижмёт. А всё к этому идёт...

Прочёл. И статью и комменты и оракловскиее/амазоновские публикации. Так и не понял — это оптимистичные или пессимистичные новости.
По поводу статьи из хеда топика: о том что надо решать задачи бизнеса, а не писать код говорят уже лет и лет как. И не последние люди в мировом IT. Посмотри выступления того же Дяди Боба или Эрика Эванса. Последний вообще большую книжку написал о том как перестать просто писать код и начать решать проблемы бизнеса. Но пока не вижу чтоб так происходило повсеместно и не думаю что территориальные признаки тому виной.
По поводу Oracle Autonomous Database: нужно очень придирчиво смотреть на то что они подразумевают под «user defined service levels» и как они представляют юзеров которые эти сервислевелы дефайнят да ещё и так чтоб это было понятно системе ведь на текущий момент очень много людей даже таск поставить толком не могут. Сколько раз приходилось говорить: «Ставьте таски от того что нужно получить в результате, а не от того как вы думаете это можно получить?» Сколько раз выкатывался функционал который в результате никому не надо хоть и сделан слово-в-слово по таске? Очень сомневаюсь что текущие сотрудники не смогут занять эту нишу переводчика с бизнесового в серверный, ведь бизнес, обычно, не думает терминами записи в таблицу. Бизнес думает бизнес-сущьностями и ими и говорит.
О Amazon RDA: они вообще дикие обьёмы работы оставляют людям. Наверное потому что их решение уже существует, а оракловское только грозится выпуском потому «приукрашивать действительность» они не считают полезным. По поводу этого вообще не за чем волноваться.

Да и в любом случае — если не будет DBA — кто надаёт девелоперам по рукам за кривые решения при общении с базой? Бизнес? А они что-то о базе знают? Вряд-ли. Сама система? А она что-то знает о бизнес задачах? Тоже весьма вряд-ли. Так что DBA ещё будут и будут.

Представим такую ситуацию:
DBA приходит к разработчикам и говорит: ребята, вы тут какую-то ересь недавно учинили, давайте разбираться. Нагрузка на базу выросла многократно, такое не прогнозировалось. Вроде запросы в медленные не попадают, но что-то явно не так.
Деливери: — недавно выкатили отчёт по платежам клиентов. Делал Разработчик
DBA: — Разработчик, давай посмотрим на твой отчёт.
Разработчик: — Давай, конечно, но это не у меня. Я тут всего-то достаю всех клиентов и у них начинаю перебирать платежи.
DBA: — А ну давай логи глянем — как ты это выбираешь?.. Да у тебя же тут SQL запросы в циклах и снова в циклах!!! Сразу нельзя всё выгрести по пачкам с ограничениями. Да и вообще почему у тебя отчёт строится на OLTP хранилище, а не на OLAP?..

Ну вот никак не верится что я когда-то доживу до того что роль DBA в этом утрировном разговоре исполняет сама система. Будь то оракл или кто-то ещё. И не то чтобы я не верил в оракл. Я понимаю что у них ресурсы и всё-всё-всё для того чтобы это сделать просто не думаю что им это интересно.
Хотя когда-то императивные языки среды в целом и SQL в частности как раз и задумывались такими что: «скажи мне что ты хочешь получить в итоге, я сам разберусь что делать,» но желаемый уровень так до сих пор достигнут и не был. И опять таки — очень сомневаюсь что оракл сделает здесь прорыв в ближайшее время.

И оптимистичного здесь, как я вижу: в мире розовых-пони-единорогов повышение порога входа будет результатом того что вся рутина будет автоматизирована и задачи останутся только интересные и «на подумать». А если в таком мире в разработке места под солнцем не останется, например, мне — то буду сам себе злостным буратиной.
А поповоду людей с ипотекой — за них тоже переживать не стоит. Некоторые из них (те кому не интересно то что они делают) так и будут до пенсии работать где и работали только теперь деливерить по месяцу в лучшем случае то что раньше деливерили неделю, остальные (те кому интересна сама работа) найдут для себя в этом только плюсы и ресурс к развитию. Надеюсь, со временем, в профессии останутся только последние.

Да дба сами такие схемы придумают, что без десятка джойнов не обойтись

Вот так и появились column store)

Так мож у тебя в ио упиралось. Или как хибернейт по дефолту, нагородит запросов десятками, которые заменяются парой от силы

отчёт строится на OLTP хранилище, а не на OLAP?

да потому что там данные всегда актуальные (не отстают по-времени), поэтому данную традицию хрен победишь

Ну и зачем оно традиционным отчётам? А если нужно в real-time аналитику то тут уже скорее какая-нибудь fast data понадобится. Оценишь такое решение — должны перестать просить отчёты с «за три месяца» по «сейчас»

вот если бы Оракл вместо «автономной» базы сделал возможность локальных версионных изменений на стендбае, вот это было бы действительно круто и востребованно.

fast data

эта очередная онлайновая бигдата еще больший маркетинг в чистом виде, чем предыдущая

Работал в одной конторе где были индусы из тех упомянутых контор, в частности инфосиси, такого откровенного говнокода больше нигде не встречал.
Остальной опыт работы на компанию где были индусы в составе распределенной команды это всегда зшквар, ибо инусы усложняют все до ужаса и делают ну просто дофигища работы вручную из-за этого весь процесс тормозит. Так что если мелкий процент ушел, может додумались выгнать рукожопов и наладить процессы.

Автоматизация если происходит то в области деплоя, сборки и прочих девопс вещах, еще всякие вещи типа ReSharper, который уже давно подсказывает где можно оптимизировать кусочек кода.

И самое главное — программирование заавтоматизированно уже настолько ну что проще некуда, тебе осталось выяснить требования, разбить на мелкие степы и подергать фреемверки, запушить в репу и ждать пока остальной процесс выложит сам в облако, перед этим собрав и протестировав все твои поделки.

Заголовок статьи не соответствует контенту (в стиле желтой прессы) — в ИТ отрасли Индии работает 3,9млн, уволят 56тыс, что составит около 1,4%, т.е. очень далеко от массовости. При чем большая часть из них просто выедет за границу. Ну а мифическое ИИ приплели для пущего эффекта, никакой связи тут нет.

Хороший пример про DBA — он мне напомнил моего научного руководителя, который 15 лет назад не советовал мне заниматься СУБД, потому что «Oracle уже все придумал».

А вот для того, чтобы разобраться и внедрить «придумки» Оракла в предметную область, как раз и нужны ДЕВ-ы и ДБА. А чтобы разобраться, что конкретно для этой фичи лучше использовать не «придумку» Оракла, а сторонний продукт — нужно не зацикливаться только на Оракле. Хотя сам Оракл уже давно носится с идеей «базы без ДБА». Был анонс, что будущие версии львиную часть работы ДБА по обслуживанию будут делать самостоятельно. Поживем-увидим, пока что, зная все сложности, с которыми сталкиваются ДЕВы и ДБА в крупной системе, автоматическое решение этих вопросов видится с большим трудом...

Сейчас буду резать правду-матку. Знакомьтесь, я — ваш «гробовщик». Да, я таки занимаюсь генерацией кода. В том числе создаю графические DSL — языки.
В начале о плохом(и хорошем для меня). Да, действительно средства разработки развиваются и большую часть рутинной работы можно автоматизировать, особенно для типовых решений. Выглядит это в виде конструкторов приложений: мобильных, веб, десктоп, игр. Да, разрабатываются средства взаимодействия позволяющие, например, геймдизайнеру создавать сценарии игр без того, чтобы стоять за спиной программиста и говорить ему что делать.
Да что там «создаются», такие инструменты делаю конкретно я.

А теперь о хорошем(и плохом для меня) — движение это только начинается. На столько «только», что у крупных оутсорсеров такой работы нет, от слова совсем. А уж они — то своего не упустят. На апворке тоже нет. И это при том, что я на апворке едва-ли не единственный консультант по средствам разработки, ко мне обращаются находя по материалам конференций.

И ещё о хорошем: все инструменты в данный момент очень высокоуровневые. Да, оно может может найти, где тормозит запрос к базе, может порекомендовать какие индексы построить. Но так, чтобы создавать алгоритмы и описывать предметную область оно таки не может. То есть, не существует такого робота, который может взять клиента за барки, выудить из него что ему написать и таки создать новое ПО.

Так что, учите фундаментальные вещи: математику, физику, философию и будет вам счастье. А люди-справочники деталям и тонкостям конкретных фреймворков действительно завтра могут существенно потерять в зарплате.

Для генерации входной инструкцией является программа на неком DSL-языке, текстовом или графическом

На самом деле нет. Ты же не ловишь баги в коде java

Если у тебя бага в DSL, это видно сразу — он же транслируется в язык программирования.

А юниттесты зачем? При этом, в отличии от языков другого рода DSL-и можно анализировать на покрытие тестами функциональности.

точнее, так: покрытие кода на 100% не гарантирует покрытие всех комбинаций ветвлений.
и для траснялторов это абсолютно актуально.

Ты часто видел реальные приложения, сложнее сайта-визитки- покрытые тестами на 100%?)

Я в том плане, что хоть DSL, хоть не DSL, а все равно нет 100% покрытия- тогда какая разница)

Можно и 100% покрыть по принципу белого ящика

Зато время на поддержку уменьшится на 90%

Ты ото чем упрямиться постучался бы в личку, я тебе расскажу. Может и для бизнеса что полезное найдешь

За поболтать денег не беру, только за решение проблем

«войти_в_аналитики» -статью не собираешься писать?)

Вот эгоист) Тебе не нужны джуны-аналитики, а другим , может, нужны- думаешь только о себе)

разрабатываются средства взаимодействия позволяющие, например, геймдизайнеру создавать сценарии игр без того, чтобы стоять за спиной программиста и говорить ему что делать

Да есть же уже такое давно. Даже лично знаю человека который такие средства писал. И даже знаю что эти игры потом достаточно успешно продавались.

А теперь о хорошем(и плохом для меня) — движение это только начинается.

хех, это движение начиналось и заканчивалось уже много раз... не считая давно не взлетевшего UML, лет 10 назад была движуха с MDA/MDD, а М$ грозилась произвести революцию в софтинжиниринге (ключевые слова Project OSLO, M-language) — но прожект за пару лет был свернут да так что сейчас даже в гугле следов не так уж много осталось.

В теории DSL штука правильная, но на практике польза может быть не столь очевидна — говорю как автор своего MDD-велосипеда 8-10 лет назад, на котором совсем небольшая команда в 5-6 девов клепала и поддерживала десятки веб-аппов очень даже эффективно. Мы показывали первое демо клиенту с полностью рабочими крудами по доменной модели буквально в течении пары дней от первого контакта (хехе сделайте то же сейчас на ваших гулярах). Где-то точечно DSL прижились (типа XAML) но таких удачных примеров не так уж много, как можно было бы подумать.

Вроде и ясно, что MDD — это вполне очевидный путь повышения эффективности разработки, но почему-то WebForms умер, а после него пришел низкоуровневый MVC (который мы использовали еще в 2000х на пэхапэ). Короче, испытание реальностью еще нужно пройти, сейчас я совсем не так оптимистично смотрю на DSL/MDD как 10 лет назад (собсно, прекратил копать в этом направлении). Далеко не факт что генеративное программирование — это и есть тот сильвер баллет, который выстрелит.

В мене таке враження що народ читає лише заголовок. Компанії в списку всі біржові, з величезними проектами, а не типові формошлепи. Золоте покоління українського айті думає що «Криза минет» папізже. Ця безпечність вилізе боком через 4-5 років коли маржа всохне.

Я работал в подобной компании (ИБМ) и проблема таких гигантов в том, что огромное количество сотрудников выполняет огромное количество рутинных мануальных операций. Автоматизация и прочие технологии срезают этот вроде бы никому не нужный пласт и минимизируют затраты для бизнеса, что вроде бы прекрасно. Но с другой стороны, эти люди имеют семьи, которые нужно кормить, платят за ипотеку и прочие кредиты..

К чему это все? Не стоит забывать про социальный эффект, который будет огромен. Я приводил дба в качестве одного из примеров. Это далеко не эникейная работа, порог вхождения сюда всегда был достаточно высок, как и зарплаты. Сейчас это одна из областей, которая оказалась под влиянием автоматизации и прочих последних трендов, где многие вчерашние высококлассные и высококоплачиваемые спецы оказались на распутье, перед сложным жизненным выбором — что дальше? Но список подобных областей намного больше — там где измнения уже произошли или произойдут в ближайшем будущем. И думаю, что да — никто не застрахован

У меня в дипломе не написано «программист», но как-то переучился. Если специалисты действительно толковые, то во первых они не будут заниматься рутиной, а во вторых, быстро найдут себе другое занятие.

Можно поинтересоваться, на каком сейчас распутье DBA ?

Распутье примерно такое: перемещаться в сторону приложений/бизнес-консалтинга или в сторону разработки/хранилищ/дата сайенс/биг дата/етц

Тоесть дата бейз администратор сейчас скорее дата бейз девелопер?

Нет, я говорю скорее о своих размышлениях. Вообще ДБА очень часто без опыта разработки, и раньше даже не пытались приобрести такой опыт. Сейчас ситуация меняется. Тем не менее, даже сейчас есть много людей, которые занимаются исключительно администрированием. Но вот если задаться целью найти другую работу, то можно обнаружить что таких позиций становится существенно меньше, что связано не только с автоматизацией, но и с изменением модели предоставления такого сервиса.

Область ДБА абсолютно никак не вписывается в концепцию ДевОпс, которая сейчас существует практически в любой компании, связанной с разработкой. Есть жалкие потуги натянуть это все на абстрактную концепцию ДатаОпс, которая как бы должна существовать паралелльно ДевОпс, но по сути нет такого термина в природе. Поэтому, говоря ДатаОпс, подразумевают все, что связано с базами данных и другими дата-ориентированные продуктами и технологиями

Зависит от специфики. С внедрением автоматизации как раз появляется потребность в такой работе ( девопс со стороны базы или датаопс, неважно как назвать). Да и раньше такая потребность была, когда еще не было концепции девопс. Мало кому хотелось таким заниматься, это да)

Ну известных мне случаев несколько:
— Остаться в предметной области (известные эксперты, олдскульные дба, люди просто работающие в достаточно стабильных и крупных компаниях)
— Уйти на сопровождение ERP систем
— Уйти в разработку (дб, вебдев), реже в девопс
— Уйти в бигдату, дата саенс, биай или аналитику

Как я вижу, то, если хочешь получить новую работу, надо повысит квалификацию, вполне себе нормальный тренд. Я бы сказал позитивный и верный для экономики. Зачем платить за низкоквалифицированную работу если машина может сделать ее дешевле, быстрее и качественнее.

Ну это само собой разумеется, просто повысить как раньше уже не получится — подучился, сертифицировался, получил минимальный опыт и работаешь. Такое не работает, технологии меняются быстрее чем ты основательно разбираешься в них

Ну фишка в том что основательно разбираться в них и делать хорошо работу используя технологии не всегда одно и то же, хоть и довольно привязаны друг к другу. Как по мне такой подход позволяет сконцетрироваться больше на инетресной части а рутину отдать машинам. Динамика довольно сильная, с этим не поспоришь, уже который год пытаюсь выйти на ворк лайф бэленс.

Ну айтишники — это не только программисты, вот на примере дба видно насколько сильны изменения на рынке. Одно из достаточно высооплачиваемых направлений в прошлом. А там еще сетевики есть, чистые сисадмины, application & storage админы, те кто ERP системы мейнтейнит и тд. Всех не перечислить, но вот эти все категории давно уже в группе риска

Побольше? Тенденция к увеличению? Да это хайп нынче такой шо ховайся. Каждая третья или даже вторая вакансия, либо ДС, либо джаваскрипт мать его. Сорри.

на джаваскрипт -полно и раньше было. А на машинлернинг и дата саенс действительно было мало вакансий..

Я помню в 2005 году я устроился на свою первую работу, а мне звонит брат, далекий от программирования, и открывший для себя UML и так мне настовительски говорит: «Серега, зря ты выбрал программирование, скоро программисты вообще не нужны будут — набросал мышкой в UML, а код весь автогенерится, бросай ты это занятие.»

Но в конечном-то итоге ваш брат будет прав. Просто ошибся лет на 30.

В конечном итоге задача программиста — не писать код, а решать задачи с помощью информационных технологий. И AI — это просто отличнейший инструкмент в руках такого программиста, примерно как трактор после мотыги.

Ха, в 2005!
Мне мой шеф на первой работе еще году эдак в 1991 приволок какую-то экспертную систему, про которую было написано что «заменяет программирование полностью».
Так что ваше «30» можно смело менять на эдак «70-100». )

По-перше, Штучного Інтелекту, в тадиційному розумінні, ніколи не придумають, я в цьому впевнений. Інша справа — гібрид людини й машини, тут справді можливостей вистачає.

По-друге, якщо такі гібриди й з’являться (через років 100), то навряд чи вони загрожуватимуть просто масовими звільненнями. Швидше за все, загроза від них може бути лише у вигляді війни, чи тихого захоплення чужих ресурсів.

Але, найбільш вирогідно, подібні нововедення людям принесуть значно більше користі, ніж шкоди, бо ро́боти заберуть у нас саму рутинну робо́ту... та й навіть нехай і не лише саму рутинну, в будь-якому випадку — автоматизація людям дає блага, працює за них.

Тобто при такому розкладі, прийдеться більше відпочивати. Що ти зробиш, якщо прийдеться, то будемо відпочивати =)

большой вопрос будут-ли его делать аналогичным человеческому — он просто нафиг не нужен такой.

Мене завжди цікаволи запитання, якщо створять штучний інтелект ± аналогічний людському чи буде він страждати від ліні?
Це ж буде просто шикарно, якщо такому механізму зі штучним інтелектом поручать якесь завдання, потім повернуться через день/тиждень/місяць і виявлять, що він ніфіга не зробив, бо шаройобився розглядаючи природу/граючи в ігри %)

Думаю, що ідея ліні винекне в той момент, коли в ШІ буде впроваджено систему мотивації, якщо вирішать піти цим шляхом. Просто в один момент механізм/організм зрозуміє, що він не достатньо мотивований для якоїсь дії.

Учитывая количество оружия на руках отбиральщиков ждёт большой сюрприз в личной жизни

Ну так и замечательно: я скооперируюсь с друзьями по тренировкам и организую охрану.

Это человечество уже проходило. Закончилось буржуазными революциями

Человекоподобное мышление и есть рациональное. Просто переменных много...

Тогда надо обозначить термины «эмоции», «мораль» в разрезе «Человечность как вид (свойство) ИИ».
А то я смотрел на мозг как на орган по минимизации отклонения от гомеостатического состояния.

Щось закінчується і закривається, щось починається і відкривається, це життя і розвиток.

«Треба бігти з усіх ніг, щоб тільки залишатися на місці, а щоб кудись потрапити, треба бігти як мінімум удвічі швидше !»

Нечто подобное случилось полгода назад в ИБМ, откуда я накануне ушел. Причины кризиса там были иными, но это оказало влияние на местный рынок труда. Если это будет глобальной тенденцией — уверен, что изменения в той или иной мере почувствует на себе буквально каждый специалист, вне зависимости от текущей квалификации

Ничего плохого в этом нет. Тот же Оракл, если они и правда сумеют зарелизить то, что обещают на словах, задаст темп другим и в ближайшие годы мы увидим все больше подобных автономных решений, которые будут менять многие сферы. Другое дело, что не у всех сейчас есть четкое понимание «в какую сторону плыть» и это является серьезным стоп-фактором для многих, кого уже затронули изменения.

Если бы единственная моя обязанность оказалась связана с оптимизацией запросов — я бы серьезно задумался о своей профпригодности и судьбе как специалиста в целом. Новые решения от Оракл обещают справиться и с этой задачей (перформанс тюнинг)

Как уехал из Украины, больше мануальщиков не встречал

Во Франции бывают, но редко и помалу.
Все-таки нужно платить им где-то 2/3 от пайки программера, а это не так мало.
Проще или перекрестно тестировать, или менеджеров напрячь, или все-таки написать автотесты.
Мануал тестировщики выгодны там, где им можно платить кратно меньше программиста, но это только в бедных странах возможно.

На моєму поточному проекті є мануальщики в штатах.

они есть, но встречаются все реже

В банках своя атмосфера)

весь этот хайп с AI и автоматизацией написания кода яйца выеденного не стоит. Да, «айтишникам» после курсов или «академии» ШАГ устроится будет труднее что справедливо — каждый должен заниматься тем что умеет а не тем где больше платят. Но в нормальных спецах, которые не приходят на форумы с вопросами какой язык учить чтобы хорошо зарабатывать, потребность будет всегда.
И не надо сравнивать с Индией. Если они перестанут писать индусский код (а
таки перестанут потому как никто его покупать не будет — доргго сопровождать) там можно увольнять четырех из пяти.

С каждым витком технологий мы переходим на новый уровень абстракций, так и тут, абсолютно всё врядли заменит AI и если иметь голову на плечах и нос поветру, то не думаю что человек останется без работы

В некоторых случаях имеющийся багаж знаний и опыт мало чем может быть полезным, во всяком случае без новых знаний и опыта. Как пример — дба область, сейчас там огромные изменения, фактически девопс + сами вендоры свели востребованность направления до минимума. Переквалифицироваться не проблема, но на это нужно время и силы и не у каждого есть возможность сделать это максимально быстро -> есть немалые риски остаться без работы, о чем как раз и говорится в статье и прилагающихся ссылках на разные источники

хайтек развивается быстро причем в експоненте. Не умеешь сам учится и быть в ногу со временем — вылетаешь. Ну или остаешся в какой госконторе админить старый добрый mssql2000 за пять тыщ зарплаты

Так было всегда, но сейчас процессы резко ускорились и затрагивают большой процент специалистов на рынке труда. То о чем говорится в статье — явление очень масштабное по своей сути

то что говорится в статье не более чем мнение автора статьи. И так было не всегда. Точнее раньше разницы не чуствовалось. В курсе что такое экспонента?
И затрагивают не процент спецов а процент вообще всех людей. Но на то и спецы чтобы с этим справлятmся. Если доярки освоили мобильные телефонs то DBA как нибудь справится с освоением DIG DATA

Конечно, именно об этом я и говорю. Проблема лишь в том, что еще пару лет это все было на уровне маркетингового шума, а сейчас реальность действительно меняется и это уже не просто хайп

Блин ну и че? Вон раньше были верстальщики которые если не совсем отмерли то сильно поредели и остались в сфере говновебстудий. Все кто хоть немного дружил с мозгом переквалифицировались в фронтендщиков и прекрасно себя чувствуют.

Так так постійно, щось відмирає, щось з’являється нове. Це називається прогресс. Головне вчасно перескочити на іншу технологію.

Согласен, прогресс. Но действительно ли готовы мы к подобным изменениям и что делаем для того, чтобы соотвествовать новым требованиям? По прежнему виден огромный разрыв между требованиями на рынке и реальными скиллами большинства соискателей

Это проблема соискателей и их несоответствующих времени скиллов. Очевидно что потребность в админах и эникейщиках будет сокращатся. Хотя бы изза облачных сервисов.

Мне кажется, что как раз наоборот будет 2 категории — сильные профильные спецы и эникейщики на подсобных работах, «средний класс» как раз будет автоматизирован и заменен автономными решениями. Сейчас именно такую тенденцию вижу у Оракла и Амазона. Скажем так, даже многие очень сильные спецы сильно призадумались о перспективах, либо же ушли в другие направления (разработка, датасаенс и тд)

Понятия не имею что вы подразумеваете под автономными решениями и автоматизацией.
То что спецы будут профильными вполне естественно — на западе давно нет профессии «тыжпрограмист».

Ну приблизительно речь идет об этом: www.oracle.com/...​omous-database/index.html

Там же внизу есть ссылки на ресурсы, которые Оракл сейчас фактически провозгласил своей новой стратегией (www.dbta.com/...​s-Penny-Avril-120343.aspx). Амазон говорит фактически о тех же самых вещах (aws.amazon.com/...​zon-rds-responsibilities)

это проблемы амазона и оракла что они там провозглашают. Никто из конечных пользователей не будет во всем этом разбиратся. А значит айти спецы все равно понадобятся. Да, придется освоить новую технологию. А вы мечтали один раз выучится и всю жизнь получать за это зарплату?

Оракл лишь анонсировал эти продукты, но они выйдут на рынок очень скоро и тогда станет понятнее. Есть версия, что будет 2 лагеря — клауд решения, где дба особо будут не нужны (ответственность ляжет на разработчиков и девопс) и онпремис, куда можно будет приткнуться олдскульным дба, которые не хотят\не могут меняться. Есть так же ERP системы, которые также менее подвержены изменениям, отчасти процент спецов уйдет в эту область, если получится

иными словами все сводится к тому хотите вы меняться или предпочитаете остаться олдскульным. То есть попросту говоря проблема лично в вас.

Лично я-то выбрал первый вариант и именно поэтому ушел из Оракл дба в бигдату. Но оракл как продукт мне по-прежнему очень нравится, другое дело, что с нынешней стратегией вендора в отношении направления дба в целом — я более не вижу эту специализацию как способ заработать на хлеб с маслом. Моделирование данных и безопасность, что ныне провозглашено Ораклом как новые обязанности дба — спокойно можно переложить на девелоперов и девопс инженеров, что сейчас и происходит собственно. Хорошим спецам приходится искать себя в других областях, что в конечном итоге все равно приводит к более высокой конкуренции

Расскажите об этом Ларри, это его была затея — большинство оракл дба до сих в сознание прийти не могут от услышанного на последнем OpenWorld в SF. Скажем так, хорошо тем кто на пенсию сейчас уходит , спокойно еще год-два доработают, остальным переучиваться вообще с нуля предстоит.

В бигдате тут тоже все меняется стремительными темпами, вчера еще хадупил пилили, сейчас все перешли на спарк, завтра будет флинк, послезавтра еще что-то выстрелит неведомое. Ну и много сырых продуктов\технологий, даже с коммерческой поддержкой. В общем, спокойствие здесь только снится

Мы посмотрим еще на это машинное обучение в действии, пока что Оракл сделал громкое заявление, сами продукты появятся в конце 2017 и начале 2018 годов. Но те, кто щупал демо (признанные мировые эксперты) — говорят, что оно таки работает как заявлено. Не везде идеально, но работает. У Оракла были подобные периоды, когда они оказывались в догоняющих, но потом опережали рынок. Ларри не так-то прост, у него большие деньги и большие возможности, этот не из тех, кто упускает свой шанс стать лидером на рынке

На мой взгляд, таких спецов могут себе позволить далеко не все компании, так что идея хорошая, но пока что звучит весьма фантастически

В целом, проблема-то шире чем ситуация в дба области, это просто был один из примеров. Автоматизация будет оставлять все больше и больше людей без работы, что хорошо для бизнеса (оптимизация расходов), но с другой стороны будет повышать процент безработицы и порог вхождения в ИТ, в целом

Не все такие умные и прыткие, вчера ты востребованный спец (допустим тот же оракл дба), у тебя семья, ипотека — а сегодня мало того, что твою работу аутсорсят в Индию, так еще и максимально автоматизируют. Не у всех есть возможность куда-то быстро перепрыгнуть, а обязательные платежи по счетам никто не отменял — часть таких людей просто окажется на улице, в оригинале статьи именно об этом и шла речь

Ну ружья возьмут единицы, а большинство уйдут на социал в развитых странах, если не смогут найти работу или быстро переквалифицироваться. Ну или из своего особняка — под мост, как вариант. История знает немало подобных времен и случаев, когда с людьми это случалось в больших количествах

В более щадящем варианте — будет переток рабочей силы. Опять же, возьмем тех же дба как пример — в вебдев или ERP системы. Процент таких спецов невелик, но это лишь одна конкретная область. Что получим в итоке — более высокую конкуренцию на рынке и больше невостребованных и безработных спецов

Автоматизация будет оставлять все больше и больше людей без работы, что хорошо для бизнеса

Хорошо для бизнеса до определенной точки оптимума, потом будет все хуже и хуже.
Это перевернутая парабола.
Кто будет покупать продукцию этого бизнеса, если все люди будут сидеть без работы?? Чем ниже покупательная способность людей- тем хуже для бизнеса!!!
Есть аналогичный пример,- нельзя наполнить гос.бюджет, постоянно увеличивая налоги на бизнес , потому что никто не будет продолжать работать, если у него заберут все 90-100% прибыли.
Вначале будет расти доходность бюджета, потом падать до нуля.
=============================================
Вопрос -как долго еще до точки оптимума .в автоматизации?

А шо тут понимается под «моделированием данных»?)

Ну просто чтобы понимать что мы говорим об одном и том же. Я считаю, что заниматься этим могут разные люди, конечно, но лучше бы этим занимались администраторы. На основе подготовленных требований. Понятно что формализация требований, описание бизнесс-процессов — это все территория БА или того кто эту роль исполняет на проекте. Архитектор (если такая роль присутствует) может заниматься моделированием в случае если он таки понимает возможности, ограничения и подходы для конкретной СУБД или что там будет в качестве хранилища.

Как сильно

Arch\BA

между собой толкаются?)
Ведь логика входит не только в LDM, но и в CDM.

Мое мнение — на всех этапах должен принимать участие Arch/DBA. Неправильное представление сущностей с самого начала напрямую ведет к кривому дизайну. А с другой стороны, это и обеспечивает потом работой администраторов и разработчиков приложения/системы в целом на долгие годы...

Я пример приведу из «сьогодення», так сказать. Для того чтобы правильно смоделировать такую сущность как «временные ряды» для рынка ресурсов (газ, электричество), совершенно не нужно разбираться в тонкостях трейдинга, да и знать его не нужно. Достаточно знать, какого рода временные ряды могут быть, какие операции и преобразования должны быть реализованы.

Ясно. Ну так я продолжу пример. Не знаю кто конкретно делал дизайн в этом примере, скорее всего, консультанты (читай — БА), и почему были приняты некоторые интересные архитектурные решения, но в результате даже импорт контракта/подтверждение занимает минуты, отчеты с рекалькуляцией могут занимать часы, некоторая функциональность для больших клиентов практически недоступна. Все — результат очень плохой физической модели и неудачных архитектурных решений.

Архитектор в базах не особо разбирается, девов винить нельзя, они уже работали с тем что им дали, т.е. с конкретной моделью. На этапе создания ER-модели важно участие администратора или того, кто разбирается. Ну и далее не менее важно. Логическая/физическая модели, интерфейсы для приложения — это основа. Делаешь кривой дизайн на этом уровне, сразу получаешь кучу проблем на всех этапах разработки в дальнейшем. Это один из примеров кривого дизайна, на который уже завязана основная функциональность, соответственно, изменения вносить практически невозможно. Таких примеров в моей практике масса.

Окей, похоже, у меня не получается объяснить. Попробую последний раз. На моей памяти (я долго вспоминал) мне удалось вспомнить одного действительно компетентного (на всех уровнях, в том числе и на уровне СУБД) БА (он также исполнял роль архитектора на разных проектах в DB, я так понимаю), и, хотя я не сталкивался с конкретно его дизайном и подходом к моделированию, но он единственный на моей памяти, кто имел такую способность по описанию проблемы в почте правильно идентифицировать и причины, и оценить возможные пути решения. Такой уровень понимания — вообще большая редкость.
И опять же я могу вспомнить единственного архитектора (а я долго вспоминал), кто обладал пониманием, достаточным для создания хороших моделей. Даже те, кто имеет предыдущий опыт работы с базами, в силу разных причин приобретают некие комплексы или предубеждения (например — связывать больше Х таблиц в одном запросе нельзя, или — нужно избегать вложенных представлений, или — нельзя встраивать логику в триггеры и т.д., притом что можно избежать проблем, связанных с этими предубеждениями), и дальше уже эти предубжедения влияют на общий дизайн и подход к моделированию конкретного человека.
Понятно что для многих приложений выбор конкретной физической модели для представления объектов в базе не оказывает существенного влияния на дальнейшую разработку, либо влияет очень слабо, но для многих других приложений это совершенно не так. Ну и обычно (по моему опыту, по крайней мере), логическая модель после создания физической из либо сгенерированных скриптов, либо вручную, остается просто красивой схемой в выбранном инструменте моделирования. Физическая модель продолжает жить своей независимой жизнью, но возможности ее изменения/усовершенствования ограничены выбранной архитектурой и/или дизайном.
Уже получилось многабукв, поэтому закругляюсь.
Если конечно цель в том чтобы создать некий дизайн, а потом годами его рефакторить на разных уровнях, то модель тут вообще не играет роли. Типа чем хуже, тем лучше.

перформансом часа на два выполнения запроса

Угадай, кто потом получит хорошее перформанс ревью?)

аркитект\лид менеджерского уровня — то никто

Ответ неверный, он и получит, а остальные — идиоты, не сумевшие правильно воплотить гениальную задумку, хотя и на грабли указывали сразу)

От совершенно не технического вышестоящего менеджера)

Я не об этом, зафейливший проект чувак все равно может оказаться в глазах начальства молодцом, получить хорошую премию и все такое.

Сейчас наблюдаю именно эту же картину. Архитекторы\лид вплотили в жизнь невероятную концепцию, которая в итоге в полночь превратилась в тыкву. Модная ноуэскьюэль система не в силах переварить данные, которые в нее пытались запихнуть, кластер стоит, ноды крэшатся, техподдержка вендора 2 дня молчит и это все происходит на продакшне, потому как дев\кьюэй — это же для слабаков. Но уверен, на перформанс ревью этих особо ценных спецов данная ситуация никак не повлияет :)

Хех, проблема не в уровнях вложенности, точнее, это вообще не проблема. Грубо говоря, если есть ХХ таблиц в запросе, и если разделить это хоть на те же ХХ уровней вложенности, на каждом уровне создавая новое представление, производительность будет такая же как в исходном запросе. В исходном запросе хорошая производительность, и в запросе с кучей вложенных представлений будет хорошая, в исходном запросе плохая производительность, и в запросе с кучей вложенных представлений тоже все будет плохо. Проблема в том обычно что есть некий нижний уровень интерфейсных представлений в таких системах, которые копают информацию из одних и тех же базовых таблиц, только в «разных разрезах», Если таблицы небольшие, то это как бы не страшно, что одна и та же таблица сканируется много раз и разными способами, если же таблицы большие и/или динамика заливки данных сложная или еще куча разных других факторов, возникают проблемы как бы на ровном месте.
Так вот здесь проблема именно в дизайне, а не в том что кто-то любит наворачивать представления, а кто-то наворачивал раньше, а теперь боится.

в результате даже импорт контракта/подтверждение занимает минуты, отчеты с рекалькуляцией могут занимать часы, некоторая функциональность для больших клиентов практически недоступна. Все — результат очень плохой физической модели и неудачных архитектурных решений.

Скорее всего, кодерки подкачали. Хорошие кодерки вытянут и заставлят шевелиться даже говёный дизайн. Говёным же кодеркам, никакой дизайн не поможет...

Зато есть работa контракторам :) (если проект не закроют)

Контракторов — хватает. Заставить шевелиться — это да, отдельный сервер для middleware с памятью в 2-3 раза больше чем на сервере БД, кеширование, х..рование, прекалькуляция...

Колхоз -наше все. И решать прямым голосованием -демократия же)

решать прямым голосованием -демократия же

Демократия на проекте? Разве что, если хочется проект укатать в г.

Ну Хадуп тоже не вчера родился и что? Речь идет о реальном соотвествии требованиям рынка, кому был интересен RDS в 2009 и сейчас

Підписатись на коментарі