Вибір MacBook Pro для ML
Допоможіть вибрати Mac для машинного начання між:
MacBook Pro 16 "Z14V-CTO15 M1 Max 10C CPU 24C GPU, 64GB, 1TB SSD, 2.1 kg, 21H battery life video
MacBook Pro 14 "Z15G-CTO45 M1 Max 10C CPU 32C GPU, 64GB, 1TB SSD, 1.6 kg, 17H battery life video
Ціна одинакова. Різниця тільки в
— розмірі екрану,
— 24C GPU vs 32C GPU,
— вазі,
— battery life.
На скільки 16’’ комфортніше для очей ніж 14’’, чи критично 24C GPU vs 32C GPU для файн тюнігу трансформерів?
71 коментар
Додати коментар Підписатись на коментаріВідписатись від коментарівБрать можно любой макбук, просто учить на нем модели — не надо. Для этого обычно используют удаленный инстанс (в облаке или локальном мощном компьютере) на котором запущен, например, Jupyter. В нем ты работаешь как бы. Но непосредственное обучение происходить будет, например, в Ray кластере. Т.е. несколько машин с видеокартами объедены в кластер и в распределённом режиме жуют данные.
Так і роблю, просто є можливість замовити макбук.
Ок. Тогда по личному опыту: я выбираю 15/16 последние годы. У 13/14 экран все-таки маловат для случаев когда работаешь на ноутбуке весь день. Вес — безразличен, все равно в рюкзаке живет. Батарейка — разница не существенна. Ядра GPU/NPU — совсем безразлично, CoreML будет актуален для обучения примерно никогда.
Таки монитор есть в природе.
Зачем целый день без острой нужды
Справжній митець повинен бути голодним.
Тому будь який. І чим слабіший тим краще. Може голова буде аине мязи
В тебе шо в тулеті розетки нема?
Я себе взял для таких задач Мак 14 с 16 ядрами GPU — больше не надо.
Прикол в том, что даже с 32 ядрами встройка на уровне максимум 3060 по тестам — мне этого мало. У меня есть отдельно комп с 3090 — вот на нем реально можно на длительное время запускать тренировку. А на маке только прототипировать — и тут уже не так уж важно насколько быстро оно работает (если конечно денег не жалко).
Плюс еще в том, что можно запустить на серваке что-то и закрыть ноут, уйти куда-то, и нет необходимости ждать пока оно досчитает.
10.4 TFLOPS
13 TFLOPS
Може краще 2060(2080) х2 ?
Чи пучок 1080
В чому різниця між M1 Max і M1 Pro?
кампуктеры это всё сложно, там много деталек, начни для начала с деревянных счётов
M1 Pro до 32GB RAM, до 200GBps, до16-Core GPU32-Core GPU
M1 Max до 64GB RAM, до 400GBps (x2 больше каналов памяти), до
Що таке16-core Neural Engine це не GPU?
це додаткові ядра тільки для інференсу через Core ML
що таке Core ML спец софт?
Это специальный проприетарный и крайне неудобныйML-фреймворк для Apple устройств, с помощью которого можно запускать ml-модели в разных режимах (cpu, gpu, neural engine).
и которые реализовывают отдельные операции в аппаратном виде (convolution, batch norm и т.д.). Внятного интерфейса для работы с Neural Engine до сих пор нет (CoreML не считается).
що таке convolution та batch norm
ну сходи к барыгам и посмотри, у тебя гейбуков до того не было чтоли и ты решил спустить 5к зелени?
это вообще смех. Берешь арендуешь тачку любую и тюнишь своих трансов cloud.google.com/compute/gpus-pricing
топик кг/ам
для ваших ML там вообще-то заявлен отдельный16-core Neural Engine на чипе
це не для тренування
Нижче є лінк на гіхаб з цією проблемою
Если планируется юзать без моника — 16 дюймов
До речі, яка пам’ять в GPU MacBook Pro?
ddr3
Тоді скільки з 64GB unified memory виділяється на GPU?
Крутяк
Там по сути оперативка, которая используется и на видюху. Какую используют точно не скажу, но говорили, что за счёт unified memory там или оперативка или видеопамять одна из самых быстрых. Нужно искать детали
M1 Max LPDDR5-6400 — 400GBps
24C — 7.8 TFLOPS, 32C — 10.4 TFLOPS
для примера
Xbox Series X GDDR6 — 560GBps, 12.15 TFLOPS
Я, звісно, не вмію в ML, але підозрюю, що GPU — це останнє, що буде потрібно для тренування моделей, роботи і тд
Скоріше, варто дивитись на більше CPU для кращого перфомансу — але в стандартних комплектаціях вони обидва йдуть в ряд, тому я б радив глянути на кастомні конфігурації з оф сайт еплу — сам так зробив
да вы явно не специалист в этой области... любая работа с Deep Learning моделями или большим массивом данных без GPU зачастую будет сложновата
невозможна
не знав, буду знати тепер, дякую
а чому саме графічну потужність потрібно?
я думав, що головне мати хорошу обчислювальну потужність процесора для обробки даних
Вычислять можно не только на CPU. На GPU возможно распаралеллить вычисления на тысячи потоков en.m.wikipedia.org/..._block_(CUDA_programming
зрозумів, дякую
— выясни насколько тебе реально важна разница в gpu
— зайди в эпплстор и сравни 14 и 16 по комфорту (себе взял 16)
Собрал целый консилиум и все откуда-то должны знать что для тебя важнее и больше понравится :)
Краще пісюк як мл ферма, і якийсь macbook m1 для vnc/ssh
не варіант
Макбук и ML — вещи несовместимые. Ориентироваться в выборе технике следует в основном только по видеокарте. Только Nvidia с поддержкой CUDA, RAM 4 GB и больше.ML-комьюнити сидит на линуксе, странно для таких целей использовать MacOS.
PyTorch, TensorFlow лучше всего оптимизированы под видеокарты с поддержкой CUDA. И к тому же, сейчас большинство
Мені в основному тільки trasformers з HF потрібні. Ніби парцює towardsdatascience.com/...-on-apple-m1-26f0705874d7
Який ноут з CUDA до 5к рекомендуєте?
Вроде должно работать, но опять же, tensorflow-metal — это неофициальный модуль от Apple, не от tensorflow team, вероятно даже без публично доступных исходников (Metal код), поэтому любые баги и др. проблемы будут означать месяцы ожидания пока на apple dev forum не заметят ваш пост и не исправят проблему. В то время как чел с CUDA видеокартой на линуксе будет без проблем работать, мы можете месяцами ждать пока не завезут Metal реализацию какого-то оптимайзера или оп. кернела, который уже давно реализован для CUDA. Или запускать все на CPU, что будет намного медленнее, чем на CUDA видеокарте.
Про ноут не скажу, я себе сам собирал комп.
Вот, например, топ CUDA видеокарт для машинного обучения:
analyticsindiamag.com/...or-deep-learning-in-2021
Цены разные, от $1к за одну только видеокарту до $10к и больше (на таких можно и аналоги GPT тренировать). Главное чтобы у GPU было 4 ГБ или больше памяти.
Аналоги GPT можно обучать практически на любой видеокарте, это лишь вопрос требуемой производительности.
На жаль зараз ніби працює це дуже умовно. Є тільки підтримка tensorflow, про pytorch (зазвичай нові моделі у huggingface реалізуються в першу чергу саме на торчі) та jax поки доведеться забути. У майбутньому звісно це зміниться, але хто зна коли. Але не дивлячись на це, для не надвеликих трансформерів (GPT-2-large може і влізе, але сумніваюсь, що це буде зручно) М1Мах 32 показує непогані бенчмарки.24-гпу, доречі, майже на третину гірше, при невеликій різниці в ціні
Про торч навіть для тесту на CPU варто забути в маку?
тесту чого
файн тюнінгу моделі з huggingface
github.com/...orch/pytorch/issues/47702
да похоже воз и ныне там :-) а уже столько лет прошло с релиза M1
а я уже подумывал о маке
Тільки 16″ є сенс брати. 14″ сильно перегрівається, гірші динаміки, менший охлад через розмір.
ось тест:
В мене зараз 17″ (2.7 кг) плюс зовнішній десктоп, використовую обидва.
Я боюся що 17″ —> 14″ буде шоком для моїх очей.
це відео не дає відповіді на питання M1 Max 24C GPU vs M1 Max 32C GPU
Дещо капітанські тези
- забути про життя батареї
— дивитись на фічі gpu
— екран треба вибирати на місці під себе
— не брати ноут під такі задачі
— не брати апл
Я не збираюся запускати ML на батереї. На батареї звичайні задачі.
Якраз питання чи відчутно 24C GPU vs 32C GPU ?
Забудьте
Якщо батарея не з’ємна і немає докпорту, то це все майже миттєво перетворює ноут на стаціонарний моноблок
Зазвичай, більше===краще
Але у вас можуть бути специфічні задачі і в аплу можуть бути специфічні визначення «ядра»
Тому — тестуйте
Та які там в мене можуть бути спецефічні задачі на батареї, SageMaker відкрити хіба.
21H battery life на перегляд відео далеке від реальності?
В перші декілька місяців — правдоподібно
Потім — сильно ні
)
Цікаво, що в вашому відео підтверджена моя остання теза
youtube.com/watch?v=rdOYj3zIGaw?t=524
Тому мої «місце» переходить вам
так вот в чём дело а у меня 3й мак и снова проблемы с батареей, надо завязывать с ML пока не поздно :-)
www.lot.com/...ggage/hazardous-materials
«15-inch MacBook Pro unit sold primarily between September 2015 and February 2017 eligible for Battery Recall Program.»
с удивлением обнаружил, эти устройства в списке запрещённых к перевозке в самолёте
были 2 таких мака (домашний и рабочий) в обоих выдуло батарею так что у крышки снизу геометрия нарушилась, пришлось нести в сервис
Проблема не в самій батареї і навіть не в її ціні
Проблема в аплі, який вбудував батарею, як ще один механізм planned obsolescence в усі свої продукти
возможно конечно, но те ноуты указанные выше, там батарея выходила из строя неожиданно для самого Apple, поэтому позже они запустили акцию замены батарей бесплатно
в частности в рабочем ноуте поменяли батарею за деньги, а в домашнем сломалась чуть позже плюс я не спешил с заменой, дождался акции и поменял почти бесплатно
*Посміхнувся*
Я ще пам’ятаю, як апл відмазувався від купи проблем на своїх пристроях поки не отримував колективні позови в американських судах
Проблем про які він знав від початку або за роки до позовів