Сучасна диджитал-освіта для дітей — безоплатне заняття в GoITeens ×
Mazda CX 5
×

Вибір MacBook Pro для ML

Усі статті, обговорення, новини про AI — в одному місці. Підписуйтеся на DOU | AI!

Допоможіть вибрати Mac для машинного начання між:

MacBook Pro 16 "Z14V-CTO15 M1 Max 10C CPU 24C GPU, 64GB, 1TB SSD, 2.1 kg, 21H battery life video
MacBook Pro 14 "Z15G-CTO45 M1 Max 10C CPU 32C GPU, 64GB, 1TB SSD, 1.6 kg, 17H battery life video

Ціна одинакова. Різниця тільки в

— розмірі екрану,
— 24C GPU vs 32C GPU,
— вазі,
— battery life.

На скільки 16’’ комфортніше для очей ніж 14’’, чи критично 24C GPU vs 32C GPU для файн тюнігу трансформерів?

👍ПодобаєтьсяСподобалось0
До обраногоВ обраному0
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Брать можно любой макбук, просто учить на нем модели — не надо. Для этого обычно используют удаленный инстанс (в облаке или локальном мощном компьютере) на котором запущен, например, Jupyter. В нем ты работаешь как бы. Но непосредственное обучение происходить будет, например, в Ray кластере. Т.е. несколько машин с видеокартами объедены в кластер и в распределённом режиме жуют данные.

Так і роблю, просто є можливість замовити макбук.

Ок. Тогда по личному опыту: я выбираю 15/16 последние годы. У 13/14 экран все-таки маловат для случаев когда работаешь на ноутбуке весь день. Вес — безразличен, все равно в рюкзаке живет. Батарейка — разница не существенна. Ядра GPU/NPU — совсем безразлично, CoreML будет актуален для обучения примерно никогда.

Таки монитор есть в природе.
Зачем целый день без острой нужды

Справжній митець повинен бути голодним.
Тому будь який. І чим слабіший тим краще. Може голова буде аине мязи

для ML
21H battery life video

В тебе шо в тулеті розетки нема?

Я себе взял для таких задач Мак 14 с 16 ядрами GPU — больше не надо.
Прикол в том, что даже с 32 ядрами встройка на уровне максимум 3060 по тестам — мне этого мало. У меня есть отдельно комп с 3090 — вот на нем реально можно на длительное время запускать тренировку. А на маке только прототипировать — и тут уже не так уж важно насколько быстро оно работает (если конечно денег не жалко).
Плюс еще в том, что можно запустить на серваке что-то и закрыть ноут, уйти куда-то, и нет необходимости ждать пока оно досчитает.

с 32 ядрами встройка

10.4 TFLOPS

3060

13 TFLOPS

3060

Може краще 2060(2080) х2 ?
Чи пучок 1080

Терафлопсы не показывают в полной мере мощность графики, это лишь теоретическая мера.

В чому різниця між M1 Max і M1 Pro?

кампуктеры это всё сложно, там много деталек, начни для начала с деревянных счётов

M1 Pro до 32GB RAM, до 200GBps, до 16-Core GPU
M1 Max до 64GB RAM, до 400GBps (x2 больше каналов памяти), до 32-Core GPU

Що таке 16-core Neural Engine це не GPU?

це додаткові ядра тільки для інференсу через Core ML

Это специальный проприетарный и крайне неудобный ML-фреймворк для Apple устройств, с помощью которого можно запускать ml-модели в разных режимах (cpu, gpu, neural engine).

и которые реализовывают отдельные операции в аппаратном виде (convolution, batch norm и т.д.). Внятного интерфейса для работы с Neural Engine до сих пор нет (CoreML не считается).

На скільки 16’’ комфортніше для очей ніж 14’

ну сходи к барыгам и посмотри, у тебя гейбуков до того не было чтоли и ты решил спустить 5к зелени?

чи критично 24C GPU vs 32C GPU для файн тюнігу трансформерів?

это вообще смех. Берешь арендуешь тачку любую и тюнишь своих трансов cloud.google.com/compute/gpus-pricing

топик кг/ам

чи критично 24C GPU vs 32C GPU

для ваших ML там вообще-то заявлен отдельный 16-core Neural Engine на чипе

Нижче є лінк на гіхаб з цією проблемою

Если планируется юзать без моника — 16 дюймов

До речі, яка пам’ять в GPU MacBook Pro?

Там нету как такой отдельно гпу памяти, там unified memory lpddr5

Тоді скільки з 64GB unified memory виділяється на GPU?

Походу сколько нужно будет, с учетом os. Насколько я знаю лимитов типа 32гб нету.

Там по сути оперативка, которая используется и на видюху. Какую используют точно не скажу, но говорили, что за счёт unified memory там или оперативка или видеопамять одна из самых быстрых. Нужно искать детали

GPU

M1 Max LPDDR5-6400 — 400GBps
24C — 7.8 TFLOPS, 32C — 10.4 TFLOPS
для примера
Xbox Series X GDDR6 — 560GBps, 12.15 TFLOPS

Я, звісно, не вмію в ML, але підозрюю, що GPU — це останнє, що буде потрібно для тренування моделей, роботи і тд
Скоріше, варто дивитись на більше CPU для кращого перфомансу — але в стандартних комплектаціях вони обидва йдуть в ряд, тому я б радив глянути на кастомні конфігурації з оф сайт еплу — сам так зробив

да вы явно не специалист в этой области... любая работа с Deep Learning моделями или большим массивом данных без GPU зачастую будет сложновата

зачастую будет сложновата

невозможна

не знав, буду знати тепер, дякую
а чому саме графічну потужність потрібно?
я думав, що головне мати хорошу обчислювальну потужність процесора для обробки даних

Вычислять можно не только на CPU. На GPU возможно распаралеллить вычисления на тысячи потоков en.m.wikipedia.org/...​_block_(CUDA_programming

Ml хорошо паралеллится, поэтому юзать мощную гпу зачастую эффективнее.

— выясни насколько тебе реально важна разница в gpu
— зайди в эпплстор и сравни 14 и 16 по комфорту (себе взял 16)

Собрал целый консилиум и все откуда-то должны знать что для тебя важнее и больше понравится :)

Краще пісюк як мл ферма, і якийсь macbook m1 для vnc/ssh

Макбук и ML — вещи несовместимые. Ориентироваться в выборе технике следует в основном только по видеокарте. Только Nvidia с поддержкой CUDA, RAM 4 GB и больше.
PyTorch, TensorFlow лучше всего оптимизированы под видеокарты с поддержкой CUDA. И к тому же, сейчас большинство ML-комьюнити сидит на линуксе, странно для таких целей использовать MacOS.

Мені в основному тільки trasformers з HF потрібні. Ніби парцює towardsdatascience.com/...​-on-apple-m1-26f0705874d7
Який ноут з CUDA до 5к рекомендуєте?

Ніби парцює

Вроде должно работать, но опять же, tensorflow-metal — это неофициальный модуль от Apple, не от tensorflow team, вероятно даже без публично доступных исходников (Metal код), поэтому любые баги и др. проблемы будут означать месяцы ожидания пока на apple dev forum не заметят ваш пост и не исправят проблему. В то время как чел с CUDA видеокартой на линуксе будет без проблем работать, мы можете месяцами ждать пока не завезут Metal реализацию какого-то оптимайзера или оп. кернела, который уже давно реализован для CUDA. Или запускать все на CPU, что будет намного медленнее, чем на CUDA видеокарте.

Який ноут з CUDA до 5к рекомендуєте?

Про ноут не скажу, я себе сам собирал комп.
Вот, например, топ CUDA видеокарт для машинного обучения:
analyticsindiamag.com/...​or-deep-learning-in-2021
Цены разные, от $1к за одну только видеокарту до $10к и больше (на таких можно и аналоги GPT тренировать). Главное чтобы у GPU было 4 ГБ или больше памяти.

Аналоги GPT можно обучать практически на любой видеокарте, это лишь вопрос требуемой производительности.

На жаль зараз ніби працює це дуже умовно. Є тільки підтримка tensorflow, про pytorch (зазвичай нові моделі у huggingface реалізуються в першу чергу саме на торчі) та jax поки доведеться забути. У майбутньому звісно це зміниться, але хто зна коли. Але не дивлячись на це, для не надвеликих трансформерів (GPT-2-large може і влізе, але сумніваюсь, що це буде зручно) М1Мах 32 показує непогані бенчмарки. 24-гпу, доречі, майже на третину гірше, при невеликій різниці в ціні

Про торч навіть для тесту на CPU варто забути в маку?

файн тюнінгу моделі з huggingface

github.com/...​orch/pytorch/issues/47702
да похоже воз и ныне там :-) а уже столько лет прошло с релиза M1
а я уже подумывал о маке

Тільки 16″ є сенс брати. 14″ сильно перегрівається, гірші динаміки, менший охлад через розмір.

ось тест:
www.youtube.com/watch?v=paikjf2zZJo

На скільки 16’’ комфортніше для очей ніж 14’’, чи критично 24C GPU vs 32C GPU для файн тюнігу трансформерів?

Я не юзаю внешний моник, поэтому взял 16-ку, если бы юзал то 14-ку выбрал бы. Автономность на 16-ке тоже будет лучше. По весу разницу в 150 грамм между прошкой 2019 года заметна, но не критична.

По поводу 32 vs 24, www.youtube.com/watch?v=rdOYj3zIGaw

16-тий підкупляє довшим battery life і пізнішим/тихішим запуском кулерів при тестах.
В мене зараз 17″ (2.7 кг) плюс зовнішній десктоп, використовую обидва.
Я боюся що 17″ —> 14″ буде шоком для моїх очей.

Я боюся що 17″ —> 14″ буде шоком для моїх очей.

Ну ты скейлинг можешь поставить и меньше, тогда размер элементов будет такой же, просто будет влезать мало инфы)
да и после твоего ноута 16-ка будет казаться тебе легкой и компактной))

це відео не дає відповіді на питання M1 Max 24C GPU vs M1 Max 32C GPU

Значит другое видео на канале у этого чела было.
Суть в том, что обычно разница в 24\32 ядра будет около 20-30% в как в ML, так и в других вещах, которые полностью грузят gpu.

Дещо капітанські тези

для машинного начання

- забути про життя батареї
— дивитись на фічі gpu
— екран треба вибирати на місці під себе
— не брати ноут під такі задачі
— не брати апл

Я не збираюся запускати ML на батереї. На батареї звичайні задачі.

— дивитись на фічі gpu

Якраз питання чи відчутно 24C GPU vs 32C GPU ?

На батареї звичайні задачі.

Забудьте
Якщо батарея не з’ємна і немає докпорту, то це все майже миттєво перетворює ноут на стаціонарний моноблок

Зазвичай, більше===краще
Але у вас можуть бути специфічні задачі і в аплу можуть бути специфічні визначення «ядра»
Тому — тестуйте

Та які там в мене можуть бути спецефічні задачі на батареї, SageMaker відкрити хіба.
21H battery life на перегляд відео далеке від реальності?

21H battery life на перегляд відео далеке від реальності

В перші декілька місяців — правдоподібно
Потім — сильно ні

Напишу дисклеймер, что данный персонаж местный сумасшедший и слушать его бредни из 5 пунктов можно только ради смеха. Вдруг кто не знает.

)

Цікаво, що в вашому відео підтверджена моя остання теза
youtu.be/rdOYj3zIGaw?t=524

Тому мої «місце» переходить вам

так вот в чём дело а у меня 3й мак и снова проблемы с батареей, надо завязывать с ML пока не поздно :-)

www.lot.com/...​ggage/hazardous-materials
«15-inch MacBook Pro unit sold primarily between September 2015 and February 2017 eligible for Battery Recall Program.»

с удивлением обнаружил, эти устройства в списке запрещённых к перевозке в самолёте
были 2 таких мака (домашний и рабочий) в обоих выдуло батарею так что у крышки снизу геометрия нарушилась, пришлось нести в сервис

Проблема не в самій батареї і навіть не в її ціні
Проблема в аплі, який вбудував батарею, як ще один механізм planned obsolescence в усі свої продукти

возможно конечно, но те ноуты указанные выше, там батарея выходила из строя неожиданно для самого Apple, поэтому позже они запустили акцию замены батарей бесплатно
в частности в рабочем ноуте поменяли батарею за деньги, а в домашнем сломалась чуть позже плюс я не спешил с заменой, дождался акции и поменял почти бесплатно

неожиданно для самого Apple

*Посміхнувся*

Я ще пам’ятаю, як апл відмазувався від купи проблем на своїх пристроях поки не отримував колективні позови в американських судах

Проблем про які він знав від початку або за роки до позовів

Підписатись на коментарі