Допоможіть обрати потужний ноутбук для роботи з LLM (бюджет 100—120К ₴)
Бюджет
Приблизно 100 — 120К грн
Основні сценарії:
- Розробка
- Запуск та донавчання LLM
- Робота з даними через LLM
- Блогінг / стріми / монтаж
Яких порад потребую:
- Чи орієнтуюсь на адекватні характеристики?
- Де дешевше замовляти за кордоном (платформи, сервіси)?
- Ваш досвід запуску LLM: чого вистачало, чого не вистачало?
- Чого категорично не радите?
Про себе, перелік пристроїв та на що зважаю при виборі розписав у Notion для зручності подальшого оновлення.
59 коментарів
Додати коментар Підписатись на коментаріВідписатись від коментарівКоментар порушує правила спільноти і видалений модераторами.
Дякую за детальні поради, надіюся ще комусь згодиться..
Я все ж замовив MSI Titan по норм ціні, ще чекаю доставку.. як прийде відредагую допис
AWS Sagemaker
Ще таке недавно з’явилось:
ollama.com/turbo
Рассмотрите макбуки с процессорами МАХ и большим колвом оперетивы
Во многих задачах они могут обходить модные видеокарты
Врахую, та гляну як по бюджету..
А хтось намагався хайпові штучки з минулого перепрофілювати під ШІ задачі. І я говорю про асіки для майнінга криптовалют, бо конструктивно і по задачам, числодробилки в блокчейнах і навчання нейромереж це однакова задача, а значить асік можна перешити
Для того, щоб ранати дійсно працюючі LLMки локально — треба ₴ на $ в бюджеті поміняти :))
Якщо мова йде про локальний запуск DeepSeek R1 70B або Llama 3.3 (70B), вам потрібно принаймі 24Gb VRAM. Наразі я таких ноутбуків не зустрічав.
Тож ваш вибір поміж потужним десктопом і хмарою. Ноутбук можна взяти виключно для remote connection, вибирайте за автономністю. Раджу придивитись до Snapdragon Elite.
Users can reserve a massive 96 GB of RAM for the integrated Radeon 8060S GPU
www.notebookcheck.net/...-Max-series.997342.0.html
-
Наразі на подібних моб. процесорах не розглядатиму..
Колись у майбутньому можливо, але не зараз бо для інших задач не піде
легко зустріти зпевняю вас
і це ще не максимум
Якось такі ж думки були, але це реально дохлий номер з ноутом. Треба мінімум десктопне залізо. Не так давно спілкувався з людьми хто на залізі ганяє реально продакшен реді моделі там ціна сетапу від 150к думаю це дещо дає розуміння які шанси це все підняти на ноуті і чому більшість стартапів з АІ вилетить в друбу найбільші 2 роки за прогнозами Gartner
Топовий макбук.
Чому не ПК? За такі гроші немає сенсу брати ноутбук. Краще ПК для обчислень + ноут для всього іншого.
Тож братиму поки ноут для всього, а ПК чи сервер згодом для обчислень за потреби буде
привіт192-bit / WebCam
а на такий ноут можна встановити якійсь LLM?
Dell G3 3590 / 15.6″ (1920×1080) IPS / Intel Core i5-9300H (4 (8) ядра по 2.4 — 4.1 GHz) / 16 GB DDR4 / 480 GB SSD / nVidia GeForce GTX 1660 Ti Max-Q, 6 GB GDDR6,
Привіт, LLaMA 3 8B можна спробувати поставити лоукально, а яка буде швидкодія треба тестувати, хмарні все ж простіше використовувати
дякую
Я підтримую ідею хмарних рішень, адже великі LLM важко запускати локально через ресурсоємність та обсяг моделей.
Але якщо потрібно запускати локально, то для моделей рівня LLaMA 3 8B або GPT-OSS 20B потрібен потужний ноутбук з топовим CPU, графікою не нижче RTX 4080/4090 і 32+ ГБ оперативної пам’яті.
Наприклад, Lenovo Legion 7 Pro IRH8 (i9-13900HX, RTX 4090 16GB, 32GB RAM) — дуже гарний варіант у бюджеті 120 тис. гривень, який дозволить комфортно працювати з LLM локально через LM Studio або подібні програми.
для рендеринга люди пользуют внешние видеокарты подключенные через ТБ4, на знаю на сколько критично это для ЛЛМ, но тогда можна брать макбук про на М4 и какую нибудь 4090 во внешний карман.
Ну мак найдоступніший ноут який можна використовувати для навчання, тільки тре брати з максимальною кількістю оперативної пам’яті.
як правильно вже написали, то краще/дешевше/швидше використовувати клауд. «ноутбук» для подебажити це Ок, але для цього достатньо й дешевший ноут
Якщо мова йде про трансформери — то ніякий, на мою думку треба хмарні потужності. На роботі по декілька днів тренували моделі(не прям великі) з 2 H100 гпушками, я не уявляю як на ноутбучними потужностями можно з ними працювати(навіть якщо лише файнтьюнити)
Підтримую.
Допомагаю знайомому підняти проект для тренування умовно-невеликих кастомних моделей на А100 і там також це займає по багато годин, іноді десятки годин.
Щось подібне робити на власному залізі, тим паче ноутбуку — нереально в якихось розумних масштабах.
Хіба виключно для навчання і саморозвитку, але тоді підійде і будь-яка середня відеокарта, якщо ми про навчальні проекти.
dashboard.tensordock.com/...3NTQ3NTMxNDEkajYwJGwwJGgw
чи
www.hyperstack.cloud/gpu-pricing
ну і які ллм автор зібрався запускати та ще й донавчати (що вимагає набагато більше ресурсів) на ноутбуці? не мороч голову і збирай гроші на клауд
Є багато малих і середніх моделей.
Все що завгодно крім макбука
Розумію, згоден 👍
чому?
CUDA немає — більшість AI-фреймворків оптимізовані під NVIDIA CUDA, а Metal/MPS від Apple часто повільніші та з обмеженою підтримкою моделей.
Закритість екосистеми
Фіксована пам’ять — 48/64/96 ГБ unified memory не розширюється, SSD теж припаяний.
Ціна/продуктивність
Сумісність — багато AI-репозиторіїв та інструментів або не підтримують Metal, або потребують костилів і патчів.
і все ж популярні моделі працюють на мак найкраще серед інших ноутбуків.
Alex Ziskind має десятки відео на цю тему. раджу глянути
От за цю рекомендацію вдячний, досліджу питання
Так як багато хто радить Маки, якого не спішив купувати одразу
Як раз нещодавно обирав собі ноутбук для роботи. В якийсь момент думав що було б прекрасно LLM запускати, тому подивився кілька десятків оглядів. З того що зрозумів я, важливо 2 речі: кілька VRAM та пропускна здатність. Перше дозволить завантажувати більші моделі, друге — отримувати швидшу генерацію.
Таким чином, умовний Macbook Pro M4 Pro 48 RAM завдяки Unified Memory дозволить працювати з більшою кількістю моделей, ніж ПК з 5090, бо в останньому обмеження у 32 VRAM. Проте швидкість роботи моделей розміром менше 32 ГБ буде з 5090.
Із ноутбуків схожу технологію впровадила AMD, їх серія процесорів Ryzen AI Max має Shared Memory. Там працює все не так гарно як у Apple, але результати достойні.
Тому особисто я б обирав або Macbook з максимальною кількістю RAM (Unified Memory) на яку є гроші. В тому числі можна глянути на минулі покоління. Або вже на Ryzen AI. Одоробла на Intel я б не брав, бо окремо купа RAM не треба, вона служить як буфер для завантаження LLM до GPU.
все що не нвідіа — біль
але сперечатись не буду, кожен тринькає гроші як серце підказує во )
проблема nvidia в тому що їх найкращий продукт має лише 32 VRAM. а це аматорські llm
Є Ada RTX 6000
І є самопальні монстри з серверних a100/h100 + надрукований брекет під охолодження
В гроб можна досить креативно впихувати серйозні речі. В ноут ні
Це все одно буде недешево, але сам гроб необовязково мати останній як і останню версію pcie. У мене xeon 2696 v4 наприклад і A40 з ібея з адаптером під дві дуйки звідти ж. сам гроб 22ядра і 256gb коштує копійки. Тяне квантизовану ламу 70b і шустро працює для одного-двох юзерів/ботів з людськими моделями
Зара он вийшов rtx pro 96gb. через рікдва нахомячу десь бу
Проблема в тому що моделей треба багато. Embedding — модель, llm — модель, розпізнавання — ще модель, синтез — ще модель.
а це все виходить за межі вимог тс.
якщо виходить, то йому треба макбук ейр в мінімальній комплектації, вистачить м1 і підписки на чотжопете
є два типи вибиральників — одні хочуть рекомендацію під серйозну роботу увірватися в область, другі шукають кучеряву причину раціоналізувати чому потрібно натиснути «купити» за 100к наворочений ноутбук що сподобався
Моя відповідь — першому типу вибиральників
згоден. виглядає так, що автору явно мало ноута.
А який вже обрали й купили? Тестували продуктивність з LLM?
Бо щодо поради брати MacBook із Unified memory не певен чи хороший варіант, бо ж при нормальному завантажені пристрою все інше буде лагати щось мені підказує..
Хоча в бюджет вкладається, але є інші з ним нюанси..
врешті я відмовився від ідеї піднімати LLM, бо зрозумів що іграшкові для генерації віршиків не матимуть застосування, а великі потребують так багато VRAM (або аналогів), що в мене нема грошей на це. тому конкретної моделі не пораджу, адже купив нудний офісний ноут, який максимум 3b підніме
чудово описав розрив зато
будьякий ноут не потяне нічого більше за «погратись» тому й сенсу нема
всякі райзен ейай і прочі маргінали — ну не ображайся тоді як якийсь п***уватий пакет раптом того не підтримує
погратись — клауд і комфортний ноут
серйоз — окремий сервер і комфортний ноут, чи робоча станція, або клауд якщо рокфелер
ноут з зовнішнім жпу ну бенефітів нема нмд, фактично це робоча станція на мінімалках з обмеженими опціями. Нмд через мережу зручніше
Завдяки цій дискусії почав краще розуміти що дійсно для великих моделей братиму сервер за потреби.. під завдання..
А поки оберу пристрій який задовольнить більшість моїх потреб, в тому числі й у LLM, просто на мінімалках
Для того досить ігрового ноута. В принципі якщо макбук тобі не вперся як мені, то чудовий компроміс якийсь ігровий віндовий/лінуксовий ноут
Там десь по сусідству дядя онлайнпобачення з онлайндівчиною робив на докер-сірниках — якраз в самий раз
Все що не нвідіа — на твій ризик. Воно все й на нвідіа не завжди ставиться прямо, бо від версії до версії між пакетами є конфлікти, те підтримується те ні, там бага, там треба даунгрейднуть
а на доганяючих платформах — і подавно
А рілі важливий момент, все ці жпу важливі для запуску моделей локально
Якщо питання просто роботи з llm то жодного дупеу не треба зовсім — підключай антропік чи опенай чи huggingface, просто через апі, і тільки встигай насипати.
У мене MacBook 64gb M1 Max і я на ньому дуже комфортно запускаю менші або середні моделі як gpt-oss-20b або Deepseek R1 32b. Можливо Deepseek R1 70b теж потягне, але я не пробував. Це єдині сценарії, коли ноутбук вмикає кулери.
При повному(якщо модель не влазить у Vram повністю) завантаженні інші речі лагають, але в такому навантаженні немає сенсу, тому це не проблема. В інших випадках все окей.
Скажу одразу, що я не використовую локальні моделі ніколи і тестував їх виключно через цікавість ідеї. Наразі всі хмарні рішення працюють краще для всього, якщо потенційна втрата приватності — це не проблема для вас.
Нема такого лептопа
Як не хмара, то найдешевший спосіб — відносно старий гроб за копійки з класною відяхою і стореджем в ньому і там запускати юпітер чи шо душа забажа
всерйоз тобі треба мінімум 64gb RAM, краще 128+, і мінімум 24gb nvidia gpu, чим більше тим краще
vRAM не вистачає :D
очікувати що ти щось адекватне зробиш без доступу до мінімум A100/H100
на погратись/помацати краще клауд
Врахую 👍
Розглядати варіанти, де є порт для підключення зовнішнього GPU. Це якраз дозволить продовжувати подальший апгрейд.
Думав над цим варіантом, але знову ж доцільність такого рішення зважаючи на ціну..
На підтримку цієї можливості зважаю, але не роблю обов’язковою умовою при виборі
Геймерські ноутбуки до 120K переважно підтримують цю опцію.
Якщо серйозний пiдхiд, то тiльки хмара
+ це буде згодом, поки треба своє а не в хмарі 💙💛
Ось тут ще пишуть про HP ZBook Ultra G1a, не знаю, наскільки він краший/гірший за Ваші варіанти:
www.storagereview.com/...0b-without-a-discrete-gpu
Незвичний варіант, але поки мені потрібна більша портативність.. тож шукатиму далі..
Дякую за цікаву пораду!
У статті вище порівнється 2 пристрої:
1) Міні-ПК HP Z2 Mini G1a
2) Ноутбук ZBook Ultra G1a
Ноутбук досить портативний:
www.notebookcheck.net/...rk-and-game.994758.0.html
Але вони з радеоном. Наскільки це серйозне обмеження порівняно нвідіа?