«Лаборатория по Data Science в КПИ» хочет свой кусок IT-хайп пирога

Я не претендую на объективность, и призываю организаторов проекта к открытой дискуссии.

В уважаемом мной канале «Технологии, медиа и общество» я увидел пост с призывом поддержать конкретные инициативы в проекте «Громадський бюджет, в частности этот проект: gb.kyivcity.gov.ua/projects/139

Відкрита лабораторія для вивчення Data Science

Какая прекрасная цель, и какие перспективы она открывает
(скрин: d.pr/i/IhD8SJ )

Я могу ошибаться, но для лаборатории, где можно создать свой проект, достаточно помещения, розеток и WiFi. Вычислительные мощности для DataScience бесспорно, тоже нужно. Мы ведь живем в 2017, и нам доступны облака и почасовые сервера.

Но реализация почему-то требует закупки оборудования, причем не абы какого, а «потужного».
Дорогого оборудования. На проект планируется потратить 1 983 630 грн (63 423 EUR)

Сколько вычислительных часов можно купить на эти деньги?
Не будем мелочиться, возьмем самый дорогой Intensive сервер у провайдера, позиционируещегося на почасовых серверах.
Он стоит 56 центов в час. (скрин: d.pr/i/5eGKtY)
63423 / 0.56 / 24 / 365 = 12.92
12 лет будет справедливо округлить до 10, ведь будут и другие расходы.
Но так же справедливо будет предположить, что эти расходы можна сократить, если запускать сервер, только когда он нужен, и тушить, когда задач нет. У нас может получится 20 лет.

20 лет аренды 64 ядерного сервера с 128 гб ОЗУ!

Должно ли этого хватить для заявленной цели? Это ведь не стартап, не частная компания. Бюджетные деньги будут потрачены на изучение Data Science.

Мне приходит на ум аналогия со школьником, который просит у родителей купить топовый ноутбук «для учебы». И подключить 100гб/с канал «чтобы скачивать рефераты».

Я вижу в этом проекте огромную дыру для нецелевого использования закупленной дорогой техники.
Закупается техника, причем при личном общении с автором проекта выясняется, что нужны именно видеокарты...
(скрин: d.pr/i/m6Wm1Z )

Что-то знакомое правда? Госбюджет, хайп вокруг IT (Data Science в частности), видеокарты...
Что-то крутится на языке, не подскажете?

👍ПодобаєтьсяСподобалось0
До обраногоВ обраному0
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Проблема нашего государственного и крупноконторного бюджетирования (на самом деле не только нашего, проблема всего мира, но у нас очень остро) — легче обосновать и выбить затраты в 100*X на CapEx, чем X/год на OpEx.
Любая OpEx для нашего чиновника — зашквар, а если и будет сделана, то потом будет сокращена, или просто бюджет реально не будет выделен, несмотря на все обещания (а деньги уйдут туда, где они, по мнению чиновника, сейчас нужнее).
Например, для офиса в этом случае идеальное оформление кофемашины это не машина за 10Kгрн и кофе к ней на 20Kгрн, а машина за 50Kгрн, которая будет потом добывать сама кофе из воздуха.

Впрочем, сейчас это решается аутсорсингом работ/услуг. Та же кофемашина будет обеспечена магией другой фирмы, а что при этом регулярно приходят люди подсыпать кофе — это уже та самая магия, детали которой знать не положено — затраты реализованы в виде однократной CapEx проплаты аутсорсеру.

Описанная картина соответствует этой ситуации 1:1. И решать её надо соответственно. Например, аутсорсер ставит в вузе шкаф, получает электричество и интернет. Пока нагрузка маленькая — он держит там один мелкий сервер, который прозрачно разбрасывает задачи по амазону. Если нагрузка вырастет — он поставит реальное железо. Волки сыты, овцы целы, косточки пастуха удивляют рыб в соседнем ручье.
Главное, чтобы в аутсорсере не завёлся такой же оптимизатор.

Вдень «Лабораторія по Data Science», а вночі шарова ферма xD

В любой коммерческой организации, придя к акционерам с подобным «обоснованием» для инвестпроекта (и подобным образом сформированным «бюджетом»), авторы идеи были бы погнаны ссаными тряпками. Уровень обоснования — ниже плинтуса, аскетичный бюджет с овер 20% в статье с загадочным названием «Техподдержка и обслуживание» (забавный контраст с остальным оборудованием, позиции которого как будто выписаны из прейскуранта уже выбранного поставщика) и т.д. А что насчет помещения (из раздела «риски» понятно только то, что оно возможно уже есть на примете, но и только) и его оснащения? А за чей счет все это в дальнейшем содержать? За счет города? А где тогда оценка стоимости хотя-бы в попугаях? Жуть, короче. «Писями по воде виляно», а не план...

З.Ы. Правда, большая часть проектов из списка грешат тем же самым...

Головна задача, поставлена перед авторами — описати ідею і загальну проблематику, яку проект повинен вирішити. Сторінка проекту — це не ТЗ і тим паче не інструкція для реалізації, адже половина деталей буде пророблятись разом з відповідними департаментами після закінчення голосування.

Небольшая поправка: это все-таки не госбюджет, а бюджет города Киева.

Мне не хватает экспертизы чтобы оценить, отличается ли этот проект по «потенциалу для распила» от других, но первый взгляд особо нет. Чужие деньги всегда можно потратить неэффективно, это не проблема.

На сайте ГБК сейчас больше 400 проектов, бтв, можно выбрать и других фаворитов для голосования. Сама идея открытого бюджета прикольная и вроде бы даже рабочая. Вон, даже в Краматорске что-то сделали. :)

Государство неэффективно тратит деньги уже по определению, я и не спорю. Как снижать роль государства в перераспределении дохода у меня к сожалению супер идей правда тоже нет.

Я бы еще добавил, что 100 млн грн хотя и звучит внушительно, но это капля в море по сравнению даже с бюджетом всего Киева (38 млрд), я уж не говорю про бюджет Украины. На одно только образование у нас заложено 217 млрд в проекте бюджета 2018. Почти уверен, там миллиарды и десятки миллиардов гривен, которые тратятся не туда и не так. А мы тут ломаем копья из-за десятка видеокарт, которых с вероятностью 95% и не купят :)

Про Kaggle вообще никто не слышал ?

Что-то крутится на языке, не подскажете?

Майнинг?!

А какие задачи вы собираетесь решать с машиной от 512 ядер ?

Эмуляция квантовых вычислений
Проверка криптостойкости алгоритмов
Как для примера..

Если это будет общественное пространство, то не думаю что в Киеве так много людей , которым нужно решать такие задачи. Для студентов достаточно и более скромных вычислительных мощностей, а для научных работников есть ресурс университета, НАНУ.

А почему бы нет? Все что направлено на учебу — априори хорошо. Так хоть деньги уйдут на полезное, а не на попильные ремонты/стройки как обычно.

Должно ли этого хватить для заявленной цели? Это ведь не стартап, не частная компания. Бюджетные деньги будут потрачены на изучение Data Science.

Но конечно же, автор проекта мог бы получше описать/продумать проект. Из описание складывается не очень хорошее впечетление.

Все что направлено на учебу — априори хорошо.

Вы прайс видели? Там 20% бюджета — на «підтримку і обслуговування». Для не особо шарящих расшифрую. Хлопцы покупают брендовое HP-шное оборудование, в котором они вообще ни в зуб ногой. Чтобы это все настроить правильно, и чтобы оно работало львиная доля этих денег уйдет спецу их HP, который приедет и все настроит. Еще 2-3к баксов они заплятят за курсы для одного человека, чтобы ему в HP рассказали о том, как это все работает и по какому телефону звонить, если все вдруг поломается.

Упускаєте нюанс: в Nvidia і HP є широкі програми для підтримки освітніх ініціатив. І все, що ви описали, можна отримати абсолютно безкоштовно. Вели переговори з цього приводу, нас підтримають.

Стаття бюджету про підтримку — буфер, який піде на кабелі, інтернет і т.д.

Ага. Бесплатный сыр только в мышеловке. Вы в курсе сколько денег КПИ потратило на открытие «учебно-научного центра НР»?

буфер, який піде на кабелі, інтернет

17к баксов на кабели и интернет? Серьезно? Может у КПИ-телекома вырасли тарифы, но не думаю что на столько. Ах да, забыл, они же для подразделений университета могут предоставлять бесплатно свои услуги.

Сподіватись, що все необхідне впаде з неба і не виникне непередбачуваних витрат — теж програшна стратегія.

Согласен, 17к так просто с неба не падают и на дороге не валяются. Можно даже на 2-3 человек распилить.

Ну правильно, кругом розпили, корупція і зрада. Раз ваші друзі майнять — знач всі інші теж хочуть.

Є аргументи по суті, чи може ви нарешті прочитаєте положення про ГБ і припинете повторювати одноманітні тези про розпил?

Я не утверждаю, что вы будете майнить.
Я утверждаю, что практически невозможно будет проконтролировать, майнит кто-то или нет.
Теоретически — можно.
Практически — нет. Проконтролировать нельзя.
Да, мне мерещится зрада.
Потому что вы хотите купить мощных видеокарт на бюджетные деньги.
И самое печальное, что голосов у вас уже много.
Инвалиды не получат свой центр, школьникам не отремонтируют спортзал — у них меньше голосов, и скорее всего вы свои видеокарты получите.
И никто не сможет вас контролировать.

4) Що буде зроблено після виграшу

Без сумніву, ідея не ідеальна і буде доповнюватись деталями реалізації в разі перемоги. На даний момент опис проекту і кошторис на сайті можна розглядати виключно як драфт, а не кінцевий варіант. Адже можливе втручання різних обставин (на кшталт коливання курсу валюти), які змусять суттєво змінити плани. Або от прямо в цьому треді прояснимо нюанси, без яких ідея не заведеться.

Однак деякі штуки хотілося б проговрити одразу:
— лаба (в разі її перемоги і реалізації) буде повністю безкоштовна
— абсолютно відкрита для всіх бажаючих і тих, хто сумнівається в цілі її створення
— будемо регулярно проводити освітні події і по можливості вплітати роботу лаби в освітній процес (в КПІ є цілі магістерські програми з DS). В КПІшній бібліотеці вже зараз проходять відкриті лекції з безпеки інформації і гейм-дизайну.

Тому було б нереально круто не просто проводити івенти, а повноцінно рухати освіту в країні вперед. Адже талановиті інженери заслуговують на те, щоб не писати служебки для отримання доступу до КПІшного суперкомп’ютеру, а працювати з топовим обладнанням.

Цього можна буде досягнути, якщо ви проголосуєте за проект відкритої лаби для DS за посиланням: gb.kyivcity.gov.ua/projects/139

А так як в кожної людини є право віддати голос за 5 проектів — варто глянути на не менш круті ініціативи:

Освітня студія Гретера і Криванека в бібліотеці КПІ (відкритий безкоштовний коворкінг з інтерактивними дошками, переговорками і лекторієм): gb.kyivcity.gov.ua/projects/128
Відкрита безкоштовна лабораторія хімії для всіх охочих: gb.kyivcity.gov.ua/projects/137
Проект встановлення освітлення на вулицях міста: gb.kyivcity.gov.ua/projects/208
Прогресивна медіа-платформа: gb.kyivcity.gov.ua/projects/107

Почему за это должен платить город, а не бизнес? Ведь бизнес сильнее заинтересован в свежих умах в data science, нежели жители Киева.

Хороше запитання, спасибі.

Звертались до кількох ІТ-компаній з подібною тезою. Висновки наступні:

— більшості компаній не цікаво вкладатися в те, що по суті є R&D. Їм потрібен результат. Це виливається грубо кажучи у договір «ви проводите регулярні курси на нашому залізі і по закінченню всі учасники йдуть на роботу в нашу компанію». Не дуже гнучкі умови.

— компанії не падають бажанням ділити спонсорство з іншими організаціями.

Але ваше зауваження справді валідне і ми продовжуємо пошук зацікавлених спонсорів.

— компанії не падають бажанням ділити спонсорство з іншими організаціями.

В данном случае, могли бы быть налоговые льготы или еще какие плюшки для компаний, за содействие в развитии и спонсировании вузов, но кому это нужно.

Ведь бизнес сильнее заинтересован в свежих умах в data science, нежели жители Киева.

Интересно узнать в чем заинтересованы жители Киева. Я за последние 4 года не заметил никаких положительных изменений, а тут я вижу прямую пользу для людей.

3) Які цілі поставлено в рамках ресурсів ГБ

Виходячи з проблеми в пункті 1 вирішили взяти участь в Громадському бюджеті і подали проект. Для того, щоб вийти на етап голосування, потрібно пройти експертизу у відповідному департаменті КМДА. Представники адміністрації висловили клопотання з приводу того, що закуплене залізо може бути використано не за призначенням. В результаті переговорів була укладена домовленість про те, що представники адміністрації будуть мати повний доступ до заліза в будь-який момент часу і розглядається можливість скористатись послугами комунальних підприємств для його розміщення. Однак це не кінцевий варіант, адже ще є прекрасних Центр суперкомп’ютерних обчислень в КПІ (kpi.ua/hpcc) і пара альтернанивних опцій. Є стратегії вирішення питань з електроенергією, охолодженням і адмініструванням (в тому числі за рахунок спонсорів), але деталі не пророблялись, адже для початку треба перемогти.

По використанню хмари:

Навіть якщо відкинути ціни на інстанси AWS, то постає питання: як логувати діяльність і звітувати про те, що на віртуалках дійсно проводився воркшоп, а не майнилась крипта? Логувати кожну сесію від початку до кінця і десь зберігати? Коли залізо своє — можна банально заборонити користувачам ставити сторонній софт. В кожен момент часу можна зайти і перевірити, що коїться на машині. Якщо використовувати хмарні віртуалки і по закінченню воркшопа їх тушити — тут же прийде хтось і теж буде питати, чи не майнили ці 30 чоловік валюту протягом останніх 6 годин.

Якщо хтось в цьому топіку підкаже, як це можна організувати — буду безмежно вдячним.

То есть вы придумали эту инициативу, а теперь спрашиваете, как контролировать

що коїться на машині.

" ?
Или вы тем самым заявляете, что контролировать вашу инициативу в приницпе не возможно?

можна банально заборонити користувачам ставити сторонній софт

И code review еще обязательно.
И писать только на разрешенных языках, использовать только благословленные библиотеки
Pull-request по талонам и только тем, кто прошел флюорографию и присутствовал на субботнике.

Спеціально виніс фрази з цитат в окремий абзац, що стосується використання хмарних сервісів. Якщо залізо фізичне і до нього є цілодобовий доступ — такі проблеми не виникають.

На языке крутится «оба хороши».

Довольно очевидно, что в «data science» ничего не смыслит ни автор «покращення», ни автор данного топика.

Начнем с того, что «дата-саенсы» бывают разные. Некоторым задачам надо много вычислений, другим — много хранилища, третьим — быстрою коммуникацию между узлами. Какого лешего автор топика решил, что 64-битные АРМы (под которые даже на линуксах не все нормально компилится) идеальны для дата-саенса я без понятия. Может попытка пальцем в небо, но увы не попал. Все остальные критерии типа хранилища, пропускной способности сети автору топика не важны, 10Мбит хватит всем.
Розовые грезы о использовании «почасовых серверов» для оптимизации расходов так же не говорят в пользу автора топика. Когда покупаются подобные высокопроизводительные кластеры, то они не включаются и выключаются, когда приходит какой-то человек на них поизучать датасаенс. Они обычно сразу добавляются к существующим академическим вычислительным сетям, либо коммерческим и их используют другие люди для своих задач. Как пример — КПИшный кластер (о котом пойдет речь ниже) активно использовался в свое время для обработки задач а адронного коллайдера.

С автором сего топика вроде все стало понятно.

Перейдем к автору «покращення». Для начала стоит заметить, что в КПИ есть суперкомпьютер. По современным меркам он уже не совсем «супер», но все же, если мне не изменяет память, то 100 с лишним ксеонов для датасаенсов хватит с головой. Причем доступ к этому кластеру для студентов КПИ и других вузов открыт. Единственный нюанс — нужен нормальный проект, а не «Датасаенс майнинга битков». Лично я в свое время на том кластере сдавал лабораторки. А в добавок в КПИ существует еще немало кластеров поменьше, где тоже можно спокойно изучать все, что нужно.

Касательно «нужны видеокарты» — это тож зашквар. Видать таки проект для датасаенса битков. По собственному опыту могу сказать, что одной видеокарты (даже ноутбучной) любому энтузиатсу датасаенса хватит с головой. Да, возможно вместо пары минут в предлагаемой «датасаенс лаборатории» это займет пару часов на домашнем компьютере, но это вполне адекватный результат.

Тут тоже стает все довольно понятно, что скорее всего цель автора «покращення» на казенное бабло сделать мощный кластер с видеокартами, дабы холодными зимними вечерами играть на них в FarCry на максималках и майнить битки.

Вы правы, я не претендую на компетентность в Data Science.
Сервер для примера выбрал по цене.
Пример с почасовыми серверами скорее применим к воркшопам и задачам Data Science очень базового уровня.
Цель топика — привлечь внимание к инициативе, которая выглядит, как афера.

С одним пунктом оказался прав :). Если сейчас автор инициативы тоже подтвердит, что datascience — это майнинг битков на видеокартах, то будет win.

Даже для средних data-science задач достаточно одного современного компьютера. О том, что бедные студенты тренировали нейронные сети «вечность» — это либо байки, либо кривая имплементация алгоритмов.

Гляньте, будь ласка, пункт 2 нижче і положення про ГБ. Якщо на вашу думку там буде майнінг — можна буде прийти і подивитись самостійно.

Это называется «Catch me if you can»

Це називається сходити почитати матчастину перед тим, щоб робити заяви :)

Зачем мне приходить и куда-то смотреть, если можно принять превентивные меры и не допустить попила заранее?

2) Що таке Громадський Бюджет

Про саму ідею ГБ і його суть можна почитати на офіційному сайті (gb.kyivcity.gov.ua/about) або що ще краще — зазирнути в положення (gb.kyivcity.gov.ua/help/base). Якщо коротко — громада Києва вирішує, чого не вистачає місту і голосує за корисні проекти. Ідеї-переможці отримують фінансування і будуть реалізовані. Головна умова — абсолютно ВСІ проекти повинні бути ВІДКРИТИМИ для будь-якого громадянина, а реалізувати проект потрібно протягом року. Перед наступним ГБ відбувається офіційне відкриття і всі охочі можуть оцінити ступінь реалізації ідеї. Всі механізми максимально відкриті (закупки через Прозоро і т.д.) для того, щоб будь-хто міг оцінити ефективність розподілу коштів. Більше інфи в положенні, варто зазирнути.

Закупка — открытая, да.
Вам купят видеокарты. Действительно их.
И в этом проблема.
Купленные за бюджетные деньги видеокарты.
Скрыть факт нецелевого использования видеокарт — уже дело техники.

ГБ про реалізацію проектів, потрібних для громади. Не про бюджет міста і його розподіл. Якщо в місті проблеми з дорогами або вивозом сміття — треба дивитись чому гроші, виділені на ці активності не доходять до призначення. А не стягувати кошти з інших статей бюджету.

1) Передумови і обгрунтування

DS — дуже перспективна область, на ДОУ це можна не пояснювати. Час від часу в КПІ проходили різноманітні івенти, пов’язані з DS. От лише кілька з них, де ІТ КПІ і мені особисто перепала честь допомагати з організацією:
1) 2-денний воркшоп «Deep Learning вместе с Caffe» (150 чоловік) vk.com/deep_learning
2) 3-тижнева Літня Школа в КПІ (200 чоловік) summerschool.ssa.org.ua/program/applied-computer-science
3) хакатон KPI Vision Hack (80 чоловік) facebook.com/events/334648166901278/

На кожному з цих івентів виникали ті чи інші проблеми з інфраструктурою. Повна відсутність підходящого заліза (в результаті чого студенти тренували нейронки на своїх ноутах цілу вічність), непідходяща конфігурація хмарних серверів зі слабкими GPU (чому в DS відеокарти — ключовий елемент дуже добре пояснили Руйнівники міфів ще в далекому 2009: www.youtube.com/watch?v=-P28LKWTzrI) і цілий ряд інших проблем.

Було б надзвичайно круто, якби можна було отримати відкритий доступ до підходящого заліза з правильно налаштованим софтом і не мати клопоту з конфігуруванням облікових записів в хмарних сервісах під кожну людину перед івентом (про хмари трохи пізніше). Тому можна сказати, що ідея літала у повітрі.

За частные деньги — любой каприз.

А гос/коммунальный баблос под распил — ни-ни.

Разрушители мифов — то конечно довольно сильный источник, но к вашему счастью я прекрасно знаю как работают видеокарты и процессоры.

Производительность однокристальной современной видеокарты (не топовой) грубо говоря 5 ТФлопс и около 2к параллельных процессоров. И если на такой мощности ваему датасаенсу нужна вечность, то у вас, очевидно, либо хреновый алгоритм, либо неправильно построенная нейросеть, либо «левые» входные данные, либо вы строите логику датасаенса на CSS, например, либо все вместе.

Є нюанс: ви говорите про майже топові (!) сучасні (!) відеокарти. На жаль, майже у всіх студентів розбиті ноути 2013 року випуску, а не ігрові станції. Тому так, проводити на них обчислення запарочно.

І тут варто розділяти ігрові відеокарти типу GTX 1080 Ti (які згорять після місяця безперервного використання) і ті, що прописані в кошторисі. Кошторис, нагадую, не остаточний.

Нюанса нет. Во-первых, я говорю про средние видеокарты. У 1080 пиковая производительность порядка 8-9Тфлопс. У довольно старой 770 — 3.3Тфлопса. У 680, которая начала продаваться в 2012 году — 3.2 Тфлопса.

Во-вторых,

які згорять після місяця безперервного використання

я не знаю как вы там их используете, но я знаком с людьми, которые на них майнят битки 24/7 и ничего у них не сгорает.

майже у всіх студентів розбиті ноути 2013 року

Не верю. Пусть, даже если вам кажется что это так, то в КПИ достаточно ресурсов, которые могут предоставить студентам под проекты, реально требующие эти ресурсы.

PS: Заглянул в прайс ваш...
$17 112,36 — 17 кусков на «підтримку і обслуговвування»? Совсем уже двинулись? На кой хрен покупать оборудование HP, в котором никто не будет разбираться, потом платить им за поддержку и обучение?

За те же деньги можно купить нормальные десктопы с топовыми видеокартами и объединить их в кластер силами грамотных студентов. Производительность будет в разы выше, плюс приятным бонусом, для вышеупомянутых грамотных студентов, будет возможность поиграть в фаркрай на максималках.

Про підтримку і обслуговування відповів вище. Про ігрові відеокарти — теж.

Дуже радий, що у ваших друзів майняться бітки на ігрових картах. Але нагадую, ми НЕ для майнінгу устаткування закупити хочемо. І не для того, щоб грати в ігри.

Про всяк випадок повторю: не можна закупати ігрові компоненти для наукових і освітніх цілей. Для цього вони не призначені.

І тут варто розділяти ігрові відеокарти типу GTX 1080 Ti (які згорять після місяця безперервного використання)

У геймеров не горят до выпуска следующей.

Кажись вы веточкой промахнулись :). Если нет, то смысл моего сообщения такой же, что если, как говорит автор, у него сети обучаются вечность, то это проблемы не в мощности компьютера, а в реализации алгоритмов.

Но если вдруг там реально упирается в мощность оборудования и нужны видеокарты — то производительности обычных десктопных карт хватает с головой.

Видимо вы так и не поняли суть моего сообщения. Сейчас объясню.
Во-первых, дело в том, что зачастую нейросети и прочий «датасаенс» пихают туда, где не самая сложная эвристика посчитает задачу за меньшее время и с допустимой точностью. Особенно этим страдают студенты в вузах.
Во-вторых, разработка параллельных алгоритмов — это прежде всего математика. И если уж студент занимается этим, то в КПИ есть ресурсы, на которых можно это проверить. Т.е. для обучения (о котором идет речь) производительности обычной видеокарты либо КПИшного кластера будет предостаточно.
В-третьих, аренда GPU-инстанса у амазона стоит 0,5$ в час. Этого для целей «провести воркшоп» вполне достаточно.
В-четвертых, я никак не пойму, если мощности

Не хватает и очень часто

, то каким образом можно увеличить ее путем горизонтального масштабирования количества видеокарт, если

куча алгоритмов на GPGPU просто не кладутся.

. Вы противоречите самому себе.

Мне кажется, что либо у вас буквы, которыми я пишу преобразовываются в непонятные символы, либо вы вообще не читаете.

Ок, повторим эксперимент. Оперируя лишь вашими профессиональными в данной области утверждениями.

Берем ваше утверждение 1:

Нет. Не хватает и очень часто.

Речь идет о мощностях, которых не хватает. Допустим возьмем некую видеокарту производительности Х, в которой 1024 параллельных вычислительных блока (ВБ), они же CUDA-core, они же шейдерные блоки.

Берем утверждение 2:

Безумная куча алгоритмов, что долго считают нихрена не параллелятся

Исходя из этого утверждения уже становится очевидным, что ваша безумная куча алгоритмов не параллелится и не может полноценно загрузить 1024. Но все же мы получаем некий абстрактный коэф. ускорения, допустим 32, по сравнению с ЦПУ.

Автор «покращення», как и вы, говорит не хватает мощи и предлагает купить серверных "«видюх» на 24к. В итоге вы получаете не 1024, а 20480 ВБ и получаете, ура коэф. ускорения 34,5, потому что см. утверждение 2.

Поэтому я и задаю логичный вопрос на кой нужны серверные видюхи и в таком количестве, если

куча алгоритмов на GPGPU просто не кладутся.

Так в том то и дело, что для большинства студентов нету необходимости в больших мощностях, т.к. процесс обучения строится на базовых несложных задачах, которые не требуют точности, в отличии от энтерпрайза. Например взять то же распознавание обычного текста. В данном случае даже среднестатистического CPU хватит с головой.

Другой случай — отдельные студенты, профессора, которые более глубоко этим занимаются. Им, действительно, могут понадобится мощности побольше. Но и они есть. Есть КПИшный кластер, есть для более серьезных исследований — научная grid-сеть, состоящая из нескольких кластеров и т.д.

Еще когда я обучался в КПИ открывали научный центр HP — класс с около 16 тонкими клиентами и центральным сервером состоящем из, кажется, 24 HP-шных блейда 4-ядерными ксеонами. И за год там от силы пара студентов на нем что-то делало.

На моем курсе тоже было пару студентов, делавших диплом по нейросетям, в том числе и на GPGPU и всем всего хватало. А тут хотят купить 4 теслы по 3584 ядра в каждой.

Давав посилання на кластер гілкою вище. Про деталі і умови його роботи в курсі.

И за год там от силы пара студентов на нем что-то делало.

Як думаєте, чому?

Потому что были другие более интересные им темы.

Є альтернативний варіант — тому що отримати доступ до чогось адміністративного нереально в принципі.

Цей тред можуть читати відповідальні з того боку, тому без деталей: отримати доступ до вказаних вами ресурсів вкрай заморочно, вся діяльність буде жостко обмежуватись, а лояльних представників адмінки, які зможуть допомогти або спонукати до діяльності, аж 2-3 людини, яких знаємо і поважаємо.

В нас вже є одна лаба на ФІОТ від Proffstore. Компанія зробила ремонт, поставила топове залізо, а адміністрація потім закрила двері на ключ і нікого не пускає (пруфи: vk.com/wall-23762795_335407). Висновки напрошуються самі: можна зробити красиво і відкрито як на заході, а можна написати кілька служебок і ходити в лабу по талонам.

Если все так сложно, то почему нам давали доступ даже сдавать там лабы?

Бо у ваших прєподів і кафедри були домовленості про здачу лаб там?

Да. Позже, кому надо, спокойно запрашивали доступ для дипломов/курсовых — все было норм.

А если в новую лабу, доступную всем, будет слишком много желающих — что делать будете? Как по мне, концепция «всё всем» работает только когда раздают что-то даром никому не нужное. Но в таком случае, зачем тратить деньги на то что не будет нужно никому. А если эта лаба всё-таки нужна большому количеству людей — вам тоже придётся организовывать какую-то очередь и вычислительные мощности по талонам.

Кроме того, если вы хотите решить проблему доступа студентов к существующим и свободным ресурсам путём создания новых ресурсов — это так себе решение. Может есть способы надавить на тех кто не пускает?

Минулоро року студенти подали проект на Громадський бюджет з ідеєю провести ремонт на футбольному полі КПІ. Виграли голосування, зі сторони КМДА все узгодили. Але адміністрація КПІ банально не погодилась надати відкритий доступ до поля всім охочим, як того вимагає регламент Громадського бюджету. Баталії тривали 4 місяці, після чого проект завернули.

Навіть якщо продавити і надати доступ до кластеру всім охочим (що майже нереально) — нема і бути не може жодних гарантій, що через місяць адмінка його не прикриє.

Ну, якщо ви, шановний авторе, хочете вчити нейронку рік, а не пару тижнів (умовно), то вперед, винаймайте хмарний сервер. І тоді цих коштів стане якраз на 20 команд, в кращому випадку

Есть разница между обучением и применением на практике, в реальных проектах.
Научиться работать с нейронками можно, используя все те же почасовые сервера.
Нужно провести воркшоп — ок, купите GPU cloud на пару дней.

Запускать реальный проект, который требует 2 недели машинного обучения — тоже отличная идея, но кто дал вам право претендовать на ее реализацию за бюджетные деньги?

кто дал вам право претендовать на ее реализацию за бюджетные деньги?

Лол, очевидно право им дал, киевский городской совет, так же как и всем остальным участникам.

Подобных мне — это каких?
Развитые страны от недоразвитых отличаются как раз уровнем коррупции.
Этот топик — моя попытка ей противостоять.

Во-первых, спасибо, но я уж сам буду решать, где искать.
Во-вторых, не так много обывателей понимают, что у этого предложения под капотом «а давайте вы купите нам видеокарт за бюджетные деньги».
Еще меньше обывателей понимают, почему это плохо.
Но здесь, но DOU, это понимают.
Здесь это можно обсудить.

Еще меньше обывателей понимают, почему это плохо.

А чому це погано?

Отвечу вашими же словами:

нема і бути не може жодних гарантій

Нет гарантий, что у всех будет доступ
Нет гарантий, что не будет майнинга

Покупка мощных видеокарт за деньги налогоплательщиков, без гарантий и без контроля — это плохо.

Звідки інфа, що не буде ні гарантій, ні контроля? Обговорювали це питання в сусідній гілці.

Но ты же ищешь коррупцию среди бедных преподов.

В моём ВУЗе (а это не Киев был, всего лишь областной центр) преподы кафедры Химии (опять-таки, это такая непопулярная кафедра, у них даже своей специальности не было, чисто непрофильный предмет для студентов) могли себе позволить ездить в Европу. Хотя официально три копейки получали. Это просто препод, не лезший ни в науку, никуда. Преподы, работавшие на кафедрах помоднее могли иметь и больше.

Да, коррупция в ВУЗах не такая на вид страшная — красть в конце-концов нечего, если ты не прям аж ректор/зам, но зато она массовая.

А тема таки о «дайте много тысяч долларов на науку», а не о преподах.

Всім привіт, мене звати Макс, я співавтор проекту лаби Data Science і учасник спільноти ІТ КПІ (fb.com/newitkpi, t.me/itkpi). Спробую розбити відповідь на декілька окремих коментарів, щоб можна було розділити обговорення на окремі гілки.

В першу чергу спасибі автору топіка за достатньо конструктивну риторику посту, яка спонукає до дискусії. Короткий зміст:

1) Передумови і обгрунтування необхідності лаби
2) Що таке Громадський Бюджет
3) Які цілі поставлено в рамках ресурсів ГБ
4) Що буде зроблено після виграшу

Підписатись на коментарі