Чи варто купляти власний сервер для тренувань нейромереж додому

Усі статті, обговорення, новини про AI — в одному місці. Підписуйтеся на DOU | AI!

Чи варто купляти власний сервер для тренувань нейромереж додому, чи краще орендувати хмарні потужності в Україні у 2023 році?

По-перше, очевидно, що є ризик незапланованого відключення світла. По-друге, треба враховувати вартість електроенергії в Україні, якої треба буде чимало для обчислення на топових відеокартах. По-третє, чи вигідно це фінансово? Інше питання: чи зручніше та безпечніше зберігати дані на диску вдома, чи на S3, Google Cloud Storage, чи Azure Blob Storage? Чи легше буде підключатися до хмарного сервера, аніж налаштовувати віддалений доступ до свого сервера, який стоїть вдома?

Електроенергія. Кабінет Міністрів України постановою від 30.05.2023 р. № 544 встановив для всіх жителів України фіксовану ціну на електроенергію, яка з 1 червня по 31 грудня 2023 року становитиме 2,64 грн/кВт∙год, незалежно від обсягу споживання. Отже, користуючись RTX 3090, що споживає 350 Вт на максимальній потужності, ви платите 0.924 грн∙год. Для порівняння, ціна оренди RTX 3090 на vast.ai становить $0.25∙год, тобто 9.375 грн∙год (курс $ 37.5), що в десять разів дорожче за користування домашньою відеокартою. На AWS EC2 оренда g5.xlarge instance (NVIDIA A10G 24GB) коштує $1∙год.

Ціна ПК. 90 000 грн ($2 400) — 110 000 грн ($2 900) за RTX 3090, 64 — 128 GB RAM, 1 TB SSD, AMD Ryzen 9 5xxx, або схожий ПК.

Зберігання даних. Якщо ми говоримо про зберігання даних, то вартість 1TB на Amazon S3 в Україні становить приблизно $23 ($0.023∙GB або 0.86 грн) на місяць. Якщо ви плануєте тренувати нейромережі на великих датасетах, ці витрати можуть швидко зростати. Натомість, вартість 1TB SSD для домашнього сервера в Україні в середньому становить 2 000 — 3 000 грн ($53 — $80), і це одноразова покупка.

Безпека та доступність. Хмарні сервіси, такі як AWS або Google Cloud, інвестують мільярди в безпеку своїх даних. Вони пропонують шифрування, резервне копіювання та захист від DDoS-атак. Вдома вам потрібно буде витратити додаткові кошти та час на налаштування безпечного віддаленого доступу, RAID, та інше.

Зручність. Якщо ви використовуєте хмарний сервіс, вам потрібно буде платити за інтернет-трафік при завантаженні та вивантаженні даних. В середньому, ціна за 1GB вивантаження з AWS в Україні становить $0.09. Якщо ви працюєте з великими датасетами, ці витрати можуть накопичуватися. З іншого боку, використовуючи власний сервер, ви платите лише за домашній інтернет, який, зазвичай, не обмежує трафік.

Якщо ви плануєте тренувати нейромережі на великих датасетах або працювати над довгостроковими проектами, власний сервер може бути вигіднішим варіантом з економічної точки зору. Однак, якщо ви шукаєте гнучкість, надійність та високий рівень безпеки, хмарні сервіси можуть бути кращим вибором.

Я для своїх цілей зібрав би свій, з часом 😊

Пост з каналу @eiaioi, де я пишу про дослідження у сфері Machine Learning / Deep Learning / Data Science. Підписуйтесь!

Поділіться в коментарях, хто вже збирав свій сервер, скільки це коштувало, та чи, на вашу думку, вигідніше зараз замовляти компоненти з-за кордону, чи купляти в Україні?

👍ПодобаєтьсяСподобалось2
До обраногоВ обраному0
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Есть смысл если будете тренировать не сильно большие модели много. Если на пару тренировок — нет смысла. Если только учитесь — колаб вам в помощь.

Власне рулить

($2 900) за RTX 3090

А не дорохо? Я зара дивлюсь на 3090 за 800 євро на єбеї і це навіть ненайнижча ціна

можна a40 чи навіть а6000 за 3к знайти за хорошого терпіння, a40 зазвичай спихують дешевше бо там пасивне охолодження і треба додатково вішати бловери на кастомний адаптер

А5000 йде стабільно за 1к-1.5к в будьякому разі, за терпіння можна й дешевше. Я в євро кажу, в баксах мабуть дешевше, не в курсі особливо, це залежить від ринку. В штатах завжди ціни нижчі наприклад

А клауд продасть тобі ту саму бушну карту втридорога (насправді вдвадцятидорога, просто такого слова не придумали)

Частіше користують локальним компом. Він же ігровий комп і іноді переставляю ssd з віндою/убунтою. За цей рік убунта чомусь злітала 2 раза і потрібно було пів дня чекати щоб все заново налаштувати. Є свої незручності.

Можно безкоштовно на google colab, але там ліміт сессії 12 годин.

Для початківців і 80% задач google colab цілком достатньо.

Загалом я за наявність локальної машини в офісі/вдома. Ціни на відеокарти дуже впали, зараз ту ж 3090 можна взяти за 26 — 35к грн з гарантією і в плівочках (а refurbished чи з рук і від 20к) й за потреби ще одну додати в систему. 4090 в частині тестів дає 50-80% приросту проти 3090, що робить і її досить привабливою покупкою за 75к грн. 128Gb RAM DDR4 3600Mhz буде вартувати ~12к грн, DDR5 5600Mhz ~15к грн з запасом. Дешеві швидкі SSD дають змогу легко нарощувати розміри сховищ з числом слотів на сучасних материнках і заводити raid-масиви за потреби. Якщо інвестував в блок живлення і корпус з запасом на виріст, то система досить безболісно оновлюється роками під потреби. Imho, 2 — 5к $ за локальний девбокс — цілком допустима ціна, тим більше, що ця ж машина може покривати багато інших задач і розваг. Не бачу змісту рахувати витрати на електроенергію, бо це не ферма для майнінгу 24/7, що себе окупити має сама, а робочий інструмент, що багато в чому пришвидшує твою роботу без необхідності ганяти ті ж сотні гігабайт даних/налаштовувати інстанси, тоді й оцінювати у твоїх людино-годинах робочих як і покупку ноутбука робочого, а часто ще й оплачується клієнтом з перспективою економії сотень доларів на місяць на тих же рахунках AWS в довгу (або враховується в ціну роботи) + неодноразово помічав, що орендовані потужності AWS/Azure іноді програють в рази у швидкодії на тих самих задачах локальній машині з такими ж характеристиками.

Коли майнінг був на максимальному хайпі під час ковіду, економічно вигідніше було купити ноутбук з Quadro RTX 4000 Max-Q, ніж десктоп чи сервер з відеокартою аналогічної потужності. Для погратись з пет-проектами і задовольнити цікавість цього виявилось достатньо, бонусом на ньому можна грати в ігри чи задіювати по прямому призначенню в CAD-ах.

А чого одразу сервер — домашній/робочій/ігровий комп. Це ж універсальна махіна і коли він не зайнятий тренуванням моделей можна в ігрухи погоняти, або щось інше робити.
Можна ще й в оренду здавати якщо не під робочі задачі то навіть під cloud ігри.
У такому варіанті покупка цілком виправдана

Тоді виникає питання, а скільки ти готовий вкласти у...

сервер — домашній/робочій/ігровий

, щоб усе описане увести в експлуатацію?

Грубо кажучи домашній сервер окупиться через 3000 годин, якщо користуватись самому, а якщо поділитись з колегами то швидше

Але якщо потрібна потужність буде більша за 1 сервер тоді домашній сервер буде простоювати

Також потрібно врахувати чий проєкт, якщо власний то є шанс, що окупиться, якщо проєкт замовника то час фахівця коштує дорожче за час машини тому вигідніше орендувати декілька серверів

Якщо коротко, то ні не варто.

Підписатись на коментарі