«Це жахливо — коли обмежені світові запаси DRAM лежать на домашніх ПК та використовуються 5% часу» — Сем Альтман

У подкасті Cheeky Pint генеральний директор OpenAI Сем Альтман висловився про локальний запуск AI-моделей на персональних комп’ютерах. За його словами, можливість запускати відкриті моделі вдома не розв’язує проблему дефіциту обчислювальних ресурсів.

«Багато хто прагнуть виконувати запуск локально. Люди чомусь вважають, що проблема вирішена, адже з’являються моделі з відкритим вихідним кодом, які можна запускати на власних комп’ютерах, тож, мовляв, ресурси дата-центрів більше не знадобляться».

Але з погляду глобального розподілу, зазначає Альтман, нераціонально тримати велику частину запасу DRAM у індивідуальних комп’ютерах.

«Це, насправді, просто жахливо — коли значна частина обмежених світових запасів оперативної пам’яті лежить у комп’ютерах користувачів, причому використовується лише 5% часу».

Тож в умовах, коли ресурси вкрай обмежені, необхідно прагнути до їх максимального використання — а це можливо саме в хмарному середовищі, вважає керівник OpenAI.

А яка ваша думка щодо цього?

👍ПодобаєтьсяСподобалось0
До обраногоВ обраному0
LinkedIn

Найкращі коментарі пропустити

Це жахливо — коли обмежені світові запаси грошей лежать на приватних рахунках громадян, а не доступні корпораціям для створення чудових продуктів.

ну звичайно ж він буде проти цього, і проти відкритих моделей. Як і Амодей. Якщо всі перейдуть на локальні моделі, то за що вони їсти будуть? :)

Забери свої брудні лапи від моєї памʼяті, паскуда!

Будуть ходити по домах зі зброєю, добровільно-примусово збирати оперативку на благо суперінтелекту.

Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

github.com/IainKay/ram-altman

Пік цього мему :)

Ентузіасти зібрали проєкт, який буде щодня повідомляти Сему Альтману, скільки ОЗП у вас не використовується.

Эти заигрывания с ИИ и их «основателями» мне напоминают 2019 год в Украине... Кто понял, тот понял..

Термінатор на рідких кристалах? Повстання машин? Судний день? Зірка смерті? Агент Сміт? Перезавантаження?
Дивно що тема квантових комп"ютерів притихла, мабуть чекає в шухляді поки тема потужної аішечки протухне як проривний блокчейн.

Більш ніж упевнений — в гаражі у Маска вже є готовий квантовий компʼютер наступного покоління)

Тобі має бути соромно, що Альтман не має RAM для нових підписок 😁

Тобі має бути соромно, що Альтман не має RAM для нових підписок 😁

А чувачок веселиться на повну, як я бачу

Це наскільки треба бути відірваним від простого люду щоб вважати подібне дотепним. Ну або у нього ціль щоб його ненавиділо ще більше народу.

У нього свій власний слопосвіт, куди нам до нього ...

чомусь цей «дефіцит обчислювальних ресурсів» нагадав про коней і Лондон в доавтівкову еру..

Я знав що він гей, але не знав що він пі...ас

Да просто взять всьо і паделіть!
А так гарний привід відправити авіаносець до Тайваню чи де там ту оперативку роблять!
А якщо серйозно то вже задрали ці гучні заяви від людей які на АІ заробляють кінцева мета яких заробити побільше

семен, готов продать тобі всю свою память

$500 за планочку 32gb — і весь блістер твій

від серця відірву, але чого не зробиш заради прогресу

пиши в дм

сказал тот чья контора сжигает миллиарды долларов. Сря память я запоатил что хоч то и делаю. Более того комп с 32 гигами что я купил еще до войны мне прослухит еще лет пять если не больше. и мне ща пофиг сколько там за стоит память изза шарамыжников типа Альтмана

До речі, у прізвища «Маск» є цікавий трюк — якщо переставити літери, то ми отримаємо «Скам»

Ну а якщо переставити літери в Tesla, то вийде Steal :) Явно варто задуматися, особливо після Roadster. А взагалі мені дуже подобається ось такий мем на подібну тему:

Часом на третьому пайтоні не програмуєте?)

Ну не на другому ж :)

А якщо ще раз переставити, то вийде «гівно» або щось інше. Залежить від вживаних речовин 😀

В Україні та РФ почалось знищення датацентрів.
Коли датацентри, які обслуговують АІ, почнуть знищувати в Америці, Європі, Азії? :)

як почнуть кабелі між континентами чікі-пікі, то волатимуть що не вистачає кобелів

На другий день у війні між США та Китаєм

Нєєєє, на перший

На другий датацентри вже закінчаться

Думаю кітай дуже в курсі що винести датацентри це найгуманніший спосіб зробити сша аграрною економікою, а самим залишитися індустріальною )

Собсно саме через це для росії втрачати теж більше ніж україні в плані економіки. Ми захостимось і в європці. А у них просто не буде де

вже нема амазону у ОАЕ та Бахрейні

Передайте хтось цьому єблану що дефіцит ram викликаний дефіцитом виробничих потужностей а не дефіцитом сировини. Так що хай інвестує в виробництво і не скиглить.

Кремнієвих пластин не вистачає в першу чергу для HBM, старі лінії що робили ще DDR4 пам’ять вже массово пеналаштували на випуск HBM. Альтман і ко хочуть цевільний ринок взагалі обрушити як я зрозумів. А те що не буде з чого до їх ChatGPT конектитись, навіть в Пентагону за чиї бюджети йде нонитва — кого це цікавить ?

Частина сировини йде через Ормузьку протоку.

до речі... цей єблан законтрактував 40%(!) від усього поточного світового виробництва DRAM, звісно це викликало дефіцит

Доречі питання.
Малий хоче комп’ютер ігровий. Ми вже купили RTX 3080 Ti 12Gb (думаю що для ігор йому вистачить). Але я подивився на ціни DDR5 і трохи проифигів, з бюджетом що в нас на цей комп, треба буде брати мабуть 16 Gb, не більше.
Але в мене якась чуйука того що скоро цей треш з цінами на пам’ять закінчиться. Бо там або новини попадаються, що китайці щось придумать, або новни про те що ці великі датацентри які будуються в мінусах (в тому числі і в цьому треді). Хоч деякі експерти прогнозують зріст попиту аж до 2030 го року.
От я і думаю брати в першу чергу пам’ять зараз, чи спершу інше залізо?

Привет. Берите другое железо либо поищите на более старой платформе, под ddr4 память, она сейчас никому не нужна, но по факту не сильно хуже ddr5.

або DDR3, я ще кілька років тому купив б.у. П.К. (потрібно було для оутсорс проекту мережу із кількох П.К. із підтримкою DirectX11.1) і проапргредив пам’ять до 16GB, згодом придбав нотбук, який також задовільняв мінімальні вимоги по вимогам до пам’яті та відео, надіюсь на декілька років вистачить. Я з часом не «витягуватимуть» оновлені ОС та програми із завищеними вимогами до HW (хоча можна сидіти і на Lubunty і/або Windows 7/10) то або робитиму поступово апгрейд або візьму б.у. техніку, що відповідатиме новим вимогам.
Вже з десяток років закон Мура не працює для десктопів (нема такого стрімкого росту «прожорливості», ця напасть пішла в мобільки)

Діду, ви на свою «Україну» вже поставили титанову раму?

Та звісно що поставив. І «зірочку» титанову, бож там і привід ланцюговий, а не ремінний!

С DDR4 уже та же проблема, год назад еще ее не было. Теперь производители зарядили все мощьности на датацентры.

а в реалі зараз які ціни на DDR4 ? Бо вона користується попитом для апгрейда старих ноутів, і це зараз трендово, оскільки нове «кусається».

Для більшості топових сучасних ігор AAA в піку в приділі використовується 18-20 GB RAM and при топових налаштуваннях.
Із 16 GB фізичної пам’яті доведеться або знизити налаштування до середніх чи «кібр спортивних», і поставити NVMe SSD та налаштувати файл підкачки щоб він був лише на ньому і поставити придільй розмір, щоб не фрагментувався і не перекидався на інщі диски.
За декілька років швидше за усе треба буде ще більше пам’яті. У ігроробів на можливості нового обладнання розгорнулась «творчість». Оптимізаціямі в стилі Карлмарка більше ніхто не займається це фінансово не виправдано. Більшість студій користується існуючими рушиями типу : Unity, Unreal, CryTech або Godot і в програмну частину не лізуть.

Але в мене якась чуйука того що скоро цей треш з цінами на пам’ять закінчиться

До 29 року очікується дефіцит

Я собрал малой на АМ4 сокете и DDR4 памяти. Ткнул рязань 5 5600Х, 32 ГБ нормальной ДДР4, и то и то взял б\у, предварительно прогнав (с разрешения продавцов) в стресс-тестах. Полет нормальный, играми довольна, все, что хочет, тянет. Просит теперь второй моник xD

в нашому селі запоребриковий сленг не понімають

Малий хоче комп’ютер ігровий. Ми вже купили RTX 3080 Ti 12Gb (думаю що для ігор йому вистачить).

Нам колись і ZX Spectrum 48k вистачало, 8 кольорів, головне щоб в голові фантазія працювала. Ще й додатково читали книжки з наукової фантастики.

16 гб сегодня это вообще ни о чем. если хочется сэкономить, можно собрать что-то на DDR4.

Відеокарта хороша, вистачить на будь які ігри, але не завжди на максимальних (ще залежить від screen resolution).

Я не бачу сенсу чекати, не думаю що ситуація стане краще.

Я б брав все таки ddr5, на крайняк хоча б ddr4 памʼять, чим швидше тим краще. Далі може бути ще гірше по цінам. Те саме SSD nvme, та ж проблема.

Цікаво, всі ці лідори сучасних технологічних компаній тільки зараз гуртом довбанулись, чи так було завжди, а я просто не помічав до певного віку?

Не «меньш жахливо» ніж те що виробник GPU програмно придушуе можливості відеочіпа, так що потрібно робити ось це: github.com/Zagitta/gpu-unlock

Спалиш карту цим, програмне придушення і розділення між ...50 та ...90 аналогічне між Pentium i Celeron. Конструктивно чіп один і той самий, але тільки 90-та серія це повністю гідний де усі участки працюють. Відповідно молодощі серії якісь участки не пройшли тестування і їх відрізали до 60% кристалу в молодших серіях просто не активні. 20% чіпів з пластини взагалі повністю йде в брак як непридатні.
VBIOS программно придушує на такі карти вольтаж та тактові частоти і т.д. Коли цю штуку хачать, карта горить в раз. gpu-unlock і тому подібно, це фактично перепрошивка VBIOS з заводських налаштувань, з усіма витікаючими — а конкретно передчасний або миттєвого виходу GPU з ладу.
На подивитись як вони це виробляють, з поясненнями www.youtube.com/watch?v=h9Z4oGN89MU

Скажу чесно, що не пробував ще це робити (у мене 4090) але з того що я вже бачив або читав, кажуть що цей unlock не дуже і впливає на температуру карти.

на комусь іншому спробувати завжди безпечніше, тож його залізка

До чого тут це? Я ще не спробував тому що в мене основна OS це Windows11 для якої також є GPU-unlock але моя карта не підтримується.

заклик «потрібно робити ось це», коли навіть сам і не спробуваши «оце» у довгостроковому періоді, — саме до того і саме так звучить

А ви я бачу маленький псіхолог?

Так. Тому що майбутнє про локальні моделі і RL під конкретних спеціалістів , а не про голку на яку підсіли зараз кастомери, які як наркомани готові від***ти за ресет ліміту в Кодексі =)))))

Чим більше завантажена пам’ять, тим більше електроенергії споживає ПК.

Сам факт зберігання якихось даних жодним чином не впливає на енергоспоживання ані DRAM, ані SRAM, ані FLASH.

“I can’t bear to watch poor people stuffing their faces.”

То атропіки мають бажання вийти в 2 трильйон IPO, то цей чувак такий:
«Друзі мої, щиро прошу забути про цих ніщебродів, вони не заплатять вам так, як наші партнери»

Чують вже, що бульбашка скоро буде бах-бах

Несе чувака, дефіцит іншого типу пам’яті — HBM. На домашні ПК та лептопи встановлюється пам’ять типу SO-DIMM, LPDRR та СAMM2. Дефіцит на ринку побутових типів пам’яті і здорожчання цін виник виключно через те, що виробничі потужності задіяні під HBM — через тюльпаноманію датацентрів. В першу чергу виникає дифіцит кремнієвих пластин бо задля виготовлення HBM їх треба в два з половиною разів більше. Але через Margin pressure — виготовляти HBM суттєво вигідніше ніж роздрібну пам’ять для звичайних пристроїв.
Справа в тому, що біржові аналітики кажуть, Альтман і ко. навіть чудово розуміють — що вони роблять із бульбашкою, але йдуть в вабанк.
Потім ці датацентри перетворяться на те саме, чим колись стали над дорогі і над прибуткові сервери Sun microsystems зі SPARC після краху dot-COM.

більше того, навіть ті 5% часу використовуються з сумнівною ефективністю. 64к вистачило б усім, як казав колись Біл Гейтс.

Він, здається, казав про 640КБ

Це жахливо — коли обмежені світові запаси грошей лежать на приватних рахунках громадян, а не доступні корпораціям для створення чудових продуктів.

Десь я це чув там продукт був Циклон Б, деякі національності порівнювались із гризунами яких треба потравити. Золоті коронки з зубів по видирати, з когось здерти шкіру на якісь пореби, зістрижене волосся для виробництва утеплювача покривал та ковдр, трупи зпалити і викорастити як добриво на полях та табірних господарствах.

В дещо іншій формі звучало занепокоєння, що європейські пенсійні фонди дуже мало інвестують в європейські стартапи.

Вас надурили, насправді гроші не лежать у сейфах, а доступні корпораціям для створення чудових продуктів

Натякає на «тонкі» клієнти замість пк?

Сказочный идиот. Зато работяга не может себе сделать апгрейд на пк.

Теріторіальні центри комплектування датацентрів треба розгортати

ну канешно він хотів би. і не тільки він. Технофеодалізм, знаєте лі дуже приємна штука, коли ти головний технофеодал і в любу хвилину можеш цю хмару відключити якимсь не дуже приємним людям, які дозволяють собі якісь критичні висловлювання — нехай позакривають пиздаки, миші галімі!!!!!

Будуть ходити по домах зі зброєю, добровільно-примусово збирати оперативку на благо суперінтелекту.

просто жахливо
нераціонально тримати велику частину запасу DRAM на індивідуальних комп’ютерах

а наскільки цпу недовантажені та тупо простоюють на персональних тазиках — то взагалі ірраціональний жах)

а ще скільки мобілодибілок

точно, і якщо все то задіяти... цеж скільки раст проектів можна булоб зібрати... а так очікують в чергах довгими годинами, якщо не днями, поки всі ті крейти позбираються... — дабл-жах)

пошук і вибивання ресурсів під ШІ — то насправді прикриття для раст проектів)

Нокіа лоханулась, що не написала QT на расті, як і блекбері
Годна тєма для Пінтагона (майже каламбур), вони там за сайфеті що була сайфенаута

пошук і вибивання ресурсів під ШІ — то насправді прикриття для раст проектів)

був би ШІ умний, то переписав би сам себе на расті (як то кажуть: «хочеш зробити світ краще — почни з себе») й не звіздів що йому раму мама мила милом мало

Нокіа лоханулась, що не написала QT на расті

і раста тоді ще не було, і для проектів з вікнами та віджетами ООП концепт достатньо зручний

переписав би сам себе на раст і не ...

Краще тоді вже принаймні хоч на mojo щоб не тільки собі, а і людям читабельний код бо науковці пайтонистисть полюбляють. Та і взагалі поки чекали би поки реліз збереться — вже щось нове з МП з’явилося би)

mojo

потужний «гусь» уже на взьоті

раста тоді ще не було

от могли би придумати, слабаки, була вільна ринкова ніша ржавого софта щоб самим не стати приплюснутими і не зарджавіти (і не тільки собі, а людям)

потужний «гусь» уже на взльоті

зразу всім не вгодиш

от могли би придумати

нереально було для тих залізок, от згадую для ресурсних аналогій що-небудь з того часу коли в них впиралися софтом на персоналках... було як тільки джава з’явилася — то пробував з нею попрацювати бо подобалося ще тоді все таке нове-яскраве — але то просто нереально тормознуто було на залізках того часу, так і закинув її тоді, хоча може то і гуд)

джаву ж тоді і придумали для ембедед телевізорів: один раз нкодив і гуглярдразів до кінця світу перевикористав копіпасту
це ж має бути йти в ширнармаси тепер ШІ домайнспіціфік ланхуахє для будь якої маштобованої рами від кілобайта до мєгатєрабайт на залежно від скейла мешнета

джаву ж тоді і придумали для ембедед телевізорів

а казали що як і раст замінить всі мови програмування, отже ...)

нє, казали що не потрібно буде програмістів (в мене підозра, що ШІ також придумали риптлоіди, бо думають, що розумні люди не потрбіні щоб їх замінити тупаками щоб на ізі менеджити і майнити ресурси), але щось пішло не так

і там потужність, яка і не снилась колись суперкомп’ютерам

а наскільки цпу недовантажені та тупо простоюють на персональних тазиках

колись були популярні проекти розподілених обчислень на ПК (від обчислення формул ліків від раку до пошуку сигналів інопланетян), тоді ще не було динамічної зміни частоти і космічних TDP — споживання ПК фактично було стале, розподілені агенти мали мінімальний пріоритет в ОС і харчувались CPU idle cycle, тому постійна 100% утилізація CPU ні на користувацькі задачі, ні ні на енергоживлення не впливали, Internet трафік був мінімальний і епізодичний

зустрічалося таке колись (може і зараз є), вліпити собі маловідомий софт на свій персональний комп заради якось проекту — то тільки для окремої категорії користувачів підходив, зновуж не кажучи вже про додаткове енергоспоживання

а взагалі то було не про те чи є чим навантажити залізки щоб то розжовувати як-то-можна

All hail our benevolent psycho overlord and second coming prophet St. Sam! :)

ну звичайно ж він буде проти цього, і проти відкритих моделей. Як і Амодей. Якщо всі перейдуть на локальні моделі, то за що вони їсти будуть? :)

не перейдут, локальные модели отстают года на 4

локальних моделей достатньо для вирішення локальних задач

Пересічним не потрібні оці ваші топові моделі з advanced reasoning та agentic workflow, їм достатньо моделей які дадуть відповідь на питання «як зрозуміти шо у кота глисти», «у мене чешеться ліва лопатка вже тиждень, це рак?», «побудь будь ласка моїм психотерапевтом і скажи що в усьому винні батьки які мене недолюбили», «де в крижополі купити комбікорму свиням», «хочу щоб мене хотіли тьолки що робить» і тд.

модели 4хлетней давности не очень для этого подходят, к тому же поставить их себе эти самые заурядные вряд ли смогут, хотя это пара кликов

????? ну якщо використовувати їх без тулзів то так — відстають. В Біоніку та ЛМ студіо вже давно є і скіли, і величезна кількість локалок підтримує tool calling , бази знань та все те що ви бачите у хмарних сервісах.

даже с tool calling локальные модели отстают от флагманов на 3–4 года в качестве reasoning и внутренней полировки ответа

Цікаво скільки на його ноуті оперативки

Забери свої брудні лапи від моєї памʼяті, паскуда!