Менеджери Meta не знають, як виправдатись: Премії «лідерам» дорожчі за навчання DeepSeek V3

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Паніка серед «лідерів» Meta

Нещодавно гучного розголосу набув стартап із Китаю — розробники за $5,5 мільйонів навчили нову модель DeepSeek V3. Ця цифра, дуже різко контрастує з мільярдами, що зазвичай вкладають конкуренти з-поміж техногігантів.

Модель привернула увагу після звіту CNBC, який показав, що DeepSeek V3 обійшла Llama 3.1 від Meta та GPT-4o від OpenAI за бенчмарками.

Одразу після звіту з’явився тред на професійному форумі Blind iз красномовним заголовком: «Менеджери Gen-AI Meta у режимі паніки».

Автор особливо підкреслює той факт, що у організації є «лідери», кожен з яких отримував більше, ніж коштувало усе навчання DeepSeek V3. І таких лідерів багато.

Цей факт викликає занепокоєння серед менеджменту — бо тепер витрати треба пояснювати. Цікавою також є інша реакція Meta :

«Інженери метушливо розбирають DeepSeek і намагаються скопіювати все, що тільки можна», — пише автор треду.

Реакції розробників

Копіювати розробку китайців дійсно можна, бо на відміну від того ж OpenAI, код у DeepSeek V3 відкритий — модель можна завантажити собі на машину та локально запустити. Китайців за це навіть називають «старим добрим» OpenAI — бо зараз творці ChatGPT більше схожі на «ClosedAI».

Розробників окремо тішить, що «ефективний менеджмент», який не розуміє власної технології, отримає прочухана:

Також на форумі зазначають: це китайський проєкт, а значить вони просто завищують свої результати, бо китайці повинні бути «перші в усьому».

На це знаходиться доволі вагомий контраргумент — кожен може сам завантажити модель, та перевірити все, що його цікавить.

Основна причина, чому стартап DeepSeek, скоріш за все, не зможуть купити західні компанії — це «патронаж» від уряду Китаю. Підтримка ШІ на державному рівні не буде чимось неочікуваним: вже найближчим часом OpenAI може отримати всебічну підтримку від уряду США. Британія також нещодавно оголосила «повний розворот» у бік штучного інтелекту на державному рівні.

👍ПодобаєтьсяСподобалось6
До обраногоВ обраному1
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

астановитесь.

Свого часу (після війни) справді вірили що автопром СССР задавить автопром США. Чому? Бо СССР на якихось виставках показував свої ауто по 1 цент пучок.

Теж потім було з Космосом. СССР запустив перший супутник тупо як показуха= «proof of concept» — а каліфорнійський універ запустив супутник від котрого була користь, бо він дані геофізики знімав і за пальмою першості не гнався — а відкрито опублікував наперед плани.

І де той СССРівський автопром та космос?

Цілком можливо що китайцям модель коштує дешевше, і все заявлене правда. Зрештою за рівнем IQ по переду планети китайці, японці і інші.

Поживемо — побачимо.

ну по космосу СССР был таки на равных. И Россия потом еще 20 лет пользовалась достижениями дешевой доставки разработок СССР на орбиту, пока наконец Маск за счет денег НАСА не смог предложить альтернативу.

Велика частина автопрому СРСР пре на вас просто зараз з ціллю розчавити, везе снаряди наприклад. Навіть ніви зуміли пристосувати, цей завод італійського походження оборонкою до цього не займався. З іншої сторони КРАЗ-и та усе ще старі зіли, МАЗ 500, КАМАЗ і т.д. Пересадити усіх на : Iveco, Man, Kenwood, CAT, Volvo і т д. як бачите грошей не знайшлось.
Щодо автомобілів то в СРСР по висновкам вчених на замовлення госплану (це така структура в СРСР типу агенцій Блумберг, корпорації RAND і т.п. до яких яких звертається Волл Стріт та Пентагон задля аналітимкою та збори данних тощо, що перестала існувати) — то це був одним із найбільших дефіцитів в самому СРСР, одразу після житла, особливо на малотонажні і легкові. Виготовлялись здебільшого вантажівки. Ціна в тому числі і собівартість були шаленими, значно вищими за американські, європейську і японські, зокрема і через санкції. Запорожець коштував дорожче за Ford mustang. BTW Поцікавтесь як усе цікаво із покупкою авто зараз в США, і з обслуговуванням та ремонтом теж. Це якраз зворотня сторона того — що в 2008, Детройт колишній флагман американської економіки, конкретно програв конкуренцію. Трамп ніби пішов рятувати залишки Детройта, історичних спонсорів республіканців. Демократи їх навпаки топили підтримуючи Tesla.

В чому сенс новини, ніби то через цю китайську мовну модель якій для навчання потрібно набагато менше GPU акції NVidea вчора впали рекордно, вони втратили 600 мільярдів долларів ринкової капіталізації (капіталізація це не попит, це лише потенційне бажання покупця придбати — попит це ще і за Адамом Смітом фізична можливість придбати).
Тобто якісь медведі, що зіграли на пониженні заробили баснословно на цьому, напевно хтось ще і слотів накупив і т.д.. Не здивуюсь, що це міг бути той же Цукерберг — який це прогорнув через китайців, навмисно оприлюднивши саму модель щоби обвалити курс акцій.

Не здивуюсь, що це міг бути той же Цукерберг — який це прогорнув через китайців, навмисно оприлюднивши саму модель щоби обвалити курс акцій.

І тут змова... Курс акцій обвалився бо виклали під mit ліцензією код моделі, ваги і пейпери, що детально описують непогані досягнення китайців у найпередовіших задачах в сфері застосування lim і розкривають все те, що американський бігтех так активно ховав з моменту початку буму gen ai. На додачу до всього ще й спрощують деякі уже як здавалось стандартні рішення для цих задач (supervised fine-tuning) і сильно оптимізував ефективність підготовки найновіших моделей — короче певний час займе все перевірити, але схоже, що це дійсно змінить багато чого(як мінімум можливості сема альтмана зробити OpenAI прибутковим, і сильно девальвує еффорт і багатомільярдні вкладення американських платників податків і одну з перших серйозних необдуманих ініціатив Трампа з якої йому тільки злитися по тихому залишиться).

Чекаємо заяву від мінцифри, що в Україні теж запустять підтримку ШІ на держ рівні, і виділяють для цього дохриліон гривень. Ну а чо, завод з виробництва чіпів жеж збудують, от і ші знадобиться

зачекай, ми ще гіперлуп не добудували

Сцена Нью Васюків з мільйоном дронів скінчилась. Як виявилось гроші не потрапили не до дронів ні навіть до того хто їх на обіцяв ті дрони. Тепер вже youtu.be/...​KQ8Tc?si=uLb4JD4jFju65G1w

Як виявилось гроші не потрапили не до дронів ні навіть до того хто їх на обіцяв ті дрони

джерело?

Я вважаю, головне, що ми повинні винести з усієї цієї історії, так це мільйонний приклад того, що конкуренція — це добре, а монополія — це погано. Як тільки компанія починає відчувати себе монополістом (у будь-якій сфері, не тільки в ІТ) — якість падає, ціни ростуть, користувачі в дупі, лише менеджмент і стейкхолдери в шоколаді. А от коли компанії конкуруюють між собою, то все навпаки — користувачі в шоколаді, а менеджмент в дупі.

Крайня форма конкуренції — це війна. Тобто десь має бути і приділи. А коли виграють конкуренцію китайські компані з рештою, фактично бо мають значно кращі умови, то і на виборах премагають республікнаці в голові із Трампом. От зараз на повногому, як це колись було із Іраком в 2003-му, розглядають віськове вторгення в Панаму. Обговорють зміну там уряду, захват Панамського каналу у володіння та видвоення із Панами Китайських та Бразильских компаній, які там активно інвестували. В якості аргументів наводится «Кібр загрози з Панами», зокрема дяльність крипто-офшорів та корупція Панамського уряду. Тобто така система — це вже не вільний ринок, це дійсно імперіалізм.
Ну а те що сталось в META — це дісно зворотня сторона монополії.

АІ получив найбільший поштовх з моменту появи чатгпт, зробив АІ доступнішим і дешевшим для всіх і наблизив AGI ще ближче, виграли абсолютно всі компанії і всі користувачі крім nvidia, а журналюги, які зґвалтували вчених, вийшли з заголовками «АІ пузирь лопнув» і тим самим обвалили ринок

Світ зійшов з розуму

PS Висміювати мету, яка одна з перших заопенсорсила моделі і єдина із ФААНГів виклали велику модель, моделі, які були самими популярними до deepseek, це ще одне дно

а журналюги, які зґвалтували вчених, вийшли з заголовками «АІ пузирь лопнув» і тим самим обвалили ринок

То або в вас таке враження склалося, або «труднощі перекладу» наших змі.
Якщо подивитися відомі західні новини, то вони говорять одне: в Китаї зробили аналогічну модель за набагато меньші гроші, і та модель ще й потребує меньше обчислювальних ресурсів.
Тобто то, що є в ЮС не унікальне, були влиті набагаааато більші інвестиції, і виявилося шо і стільки чипів не треба, як колись думали. А на Заході ж нестача чипів і гонка, хто їх викупить. Вот ринок і зреагував на то. А не просто

«АІ пузирь лопнув»
виявилося шо і стільки чипів не треба

Навпаки, тепер треба ще більше чипів. Як раз Діпсік комодітізацією ШІ доводить, шо чим дешевше інференс, тим більше попит, той самий парадокс Джевонса. Плюс опенсорсність ще більше попит створює. А маркет просто традиційний sell news, за тиждень все повернеться

Навпаки, тепер треба ще більше чипів

тоді росте прибуток не самої компанії яка це впроваджує, а скажімо NVidea і виробників електроенргії і т.д. Це більша собівартість і менший спред відповідно. Так що коли інжерени кажуть, що метод грубої сили не завжди вірна ідея — вони праві.
Просто метод грубої сили це історична інженерна культура в США, для усього NASA Saturn 5, Muscle car-и на V8 з 7-8 літровими двигунами і т.д. навіть коли йдеться про мікрочіпи — часто теж підхід найпростішого масштабування, грубою силою. Не багато корпорацій постійно йдуть в інновації, та вони є звісно — це культура оминная ризиків, коли якась бізнес модель працює (часто потім піздно коли міняються умови або є кращі конкуренти, саме тому Стів Джобс топив за японську систему).
Радянька інженерна школа — навпаки пошук хитрих рішень складних проблем. Теж в усьму — автомат калашнікова, ракетні двигуни, двоконтурні турборіяктивні двигуни, вінто-вентиляторні аві двигуни, суперскалярні архітектури і т.д. Ще дуже часто реверс інженерінг і управлінска культура на копіювання відомих рішень (перейнята Китаєм і в кубі, але має місце і в США так само). Максимално не ординарні в цьому — Чехи, там усе «чудно», але працює дуже добре.

Якщо подивитися відомі західні новини, то вони говорять одне: в Китаї зробили аналогічну модель за набагато меньші гроші, і та модель ще й потребує меньше обчислювальних ресурсів.

Такі ж самі журнлаюги які розповсджують фейки «обучили за $6 млн. а опенаі збирає 1 трлн.». Забули лише врахувати вартість H800, яких у фонда дохрена, те, скільки проб і помилок вони зробили щоб отримати цю модель, забули врахувати зарплати, і забули сказати що це 4-ий найбільший фонд в Китаї, а не якісь стартап в гаражі.

Наприклад meta обучає свої моделі за тиждень десь. Давай, порахуємо кількість електрики і напишемо жовтий заголовок: «$5 млн. достатньо для навчання моделей»

Тобто то, що є в ЮС не унікальне, були влиті набагаааато більші інвестиції, і виявилося шо і стільки чипів не треба, як колись думали.

Виявилося що розробити з нуля набагато важче і потребує набагато більше інвестицій, ніж скопіювати, оптимізувати і підтюнути.

Виявилось, що в реальних задачах таки недотягує до o1.

Виявилось, що знадобилося різниця в необхідних обчислювальних ресурсах не така вже і велика.

Ну і очевидний що алгоритми будуть покращуватись. Но чіпів ніколи не буде мало, просто більш складніші моделі зможуть тренувати. Акції нвідіа уже відскочили на половину.

Жодна з існуючих великих LLM не є опенсорс, включаючи моделі Фейсбуку.

ну ок, не опенсоурс а у вільному доступі

АІ получив найбільший поштовх з моменту появи чатгпт

З чого би це ? Це Microsoft просто почали маркетингову компанію із розкрутки, так само як Windows 95 не був і не першим не кращім GUI, а от маркетингова компанія була якраз дуже. В кожному голівудському фільмі треба було зняти сцену із спвібесідою на який роботдавець скаже «Обов’язковий досвід роботи із Windows 95» і усюди розказати про книгу Білла Гейтца «Бізнес зі швидкістю мислі», яка по суті є рекламними матеріалами продуктів Microsoft.
Щодо великих мовних моделей то BERT від DNNresearch Inc, яка була поглинута Google Brain була натренована раніше в 2013 щоправда на значно меншій кількості слів. Та Ілью Суцкевера типу CTO, вдалось переманити в OpenAI, після того як Ларі Пейдж мав необережність розповісти Ілону Маску в приватній бесіді, що хоче вивести на ринок. А от Альтман вже зробив отаке www.youtube.com/watch?v=42067mMnVx4

І шо? До айфона також були тач скріни, но продукт зробив епл, ринок створив епл.
Це проблеми гугла що за технологіями не побачили продукту.

Як на мене це був Palm, хоча перший PDA це дійсно Apple Newton, та він просто пройшов повз ринок.
Сенс iPhone був в тому, він відповідав користувачу навіщо він треба — телефон/PDA/іPod із інфраструктурою, зокрема iTunes, тобто ліцензійною музикою. Palm мав обмежене використання, хоча мені попадалася в руки погратись — дуже сподобався свого часу.
Із LLM — Google це розглядали не як продукт назовні, а як функцію пошувика задля таргетованої реклами, власне усе давно і працює.

Я вперше почув про це три дні тому, в програмі новин вантадж зі слів пані ведучої (Палкі Шерма) це китайский дешевший аналог чата gpt, сьогодні про цей діп сік з кожного утюга. Вирішив перевірити, я маю два запити на яких будь який АІ лагає. Як на мене чат gpt виразно кращій, на цей момент.

Deepseek V3 вже місяць як зʼявився, зараз про R1 несеться.

Они сопоставимы. Где-то одна лучше другой, где-то хуже.
Вопрос в том, что DS опенсорсная и это все меняет.

Я б з задоволенням відмовився від 20 $ підписки, якщо б якась інша модель була така ж классна як і чат gpt ще й безкоштовна. Взагалі мій основний спосіб використання — аудіо вхід, мікрофон, я процессі переходу з B1 -> B2, треную англійску, я пробував Gemini, він не дотягує до моїх потреб.

нікому не кажи, вчителів англ залишиш без хліба)

Мені здається що до будь якого вчителя цю штуку треба пилити та пилити, можливо що це взагалі недосяжно, іноді розмови видаються достатньо непоганими, але є купа ньюансів, до того як вони зробили «advanced voice mode» спілкування виглядало так: ти маєшь часове вікно, в яке треба втиснути свою думку, якщо ти неясно виразився — розмова піде не так я ти того хотів. «Advanced voice mode» перші хвилини це як з людиною, але десь через 15 хвилин вже починає тормозити та глючити. Після того як вони ввели підписку «pro» глюків та тормозів стало дещо більше. Сьогодні «advanced voice mode» вже був з камерой, мабуть перегони с китайцями пушать їх відкривати нові можливості навіть на 20 $ в місяць. Але глюків стало ще більше, томозити почало хвилин через п’ять.

DS опенсорсная и это все меняет.

+ набагато швидше/дешевше за Чатгпт

1. Ось тред з розбором як їм це вдалося x.com/...​tatus/1883712727073607859
2. На тлі цього НВідіа сьогодня впала на 15 відсотків x.com/...​tatus/1883890625143300336 (хоча тут як раз парадокс Джевонса більше підходить, тож хто хотів зайти — чудова нагода)
3. Groq вже задеплоїв його на свої асікси, 275 токенів/секунду x.com/...​tatus/1883742632880505012

А, це топік ще про old news V3, а не про R1, про який я накидав

Broadcom теж гарно просів

Він же невід’ємна частина blackwell, h100 і т.д., тому не дивно

4. Perplexity вже задеплоїли її без модерації ) x.com/...​tatus/1883934137951903969

5. Deepseek прямо сьогодні релізіть опенсорсну мультімодальну huggingface.co/deepseek-ai/Janus-Pro-7B

Підписатись на коментарі