AI-запит коштує в 10 разів дорожче за звичайний пошуковий запит в Google

Запити з використанням штучного інтелекту, наприклад чатбота Bard, можуть обійтися Google в 10 разів дорожче звичайних пошуків за ключовими словами. Про це в інтерв’ю Reuters сказав голова ради директорів Alphabet Джон Хеннессі.

Це пов’язано з тим, що запити до мовних AI-моделей вимагають більшої обчислювальної потужності та витрат електрики.

На думку аналітиків, найближчими роками додаткові витрати Google у зв’язку з цим можуть становити мільярди доларів. Оцінки варіюються. Деякі вважають, що якщо на половину запитів до AI-чату даватиметься відповідь з 50 слів, то до 2024 року додаткові витрати Google становитимуть $6 млрд. Інші стверджують, що інтеграція чату в пошуковик буде коштувати їй додатково $3 млрд.

Це може стати на заваді зусиллям техногіганта зі скорочення витрат на тлі економічної невизначеності. Компанія вже звільнила 12 тисяч співробітників, а також почала економити на офісах.

Для зменшення витрат, пов’язаних з AI, Google має намір використовувати обмежену версію моделі LaMDA, на якій побудовано Bard. Фахівці вважають, що зниження витрат вплине на якість відповідей.

👍ПодобаєтьсяСподобалось1
До обраногоВ обраному0
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Стоимость запроса в гугл поднялась в 10 раз, а вот стоимость поста от DOU Community как была 5 гривен за 1000 слов так и осталась.

Вони в 10 разів дорожче через те, що Google, Microsoft, OpenAI та інші використовують неймовірно дорогі відеокарти nVidia для серверів. OpenAI використовує nVidia A100, яка коштує близько $10000.

Ця проблема має технічне рішення, наприклад AMD Radeon 7900 XTX коштує в 10 разів дешевше. Їм тільки потрібно перенести своє програмне забезпечення з CUDA на іншу технологію, наприклад VulkanCompute.

Це не дуже важко зробити. Ось мій порт моделі Whisper з TensorFlow на DirectCompute: github.com/Const-me/Whisper

можно бу видюхи с майнинга юзать и вообще копеки будет запрос стоить

У гугла есть TPU — они могут быть более оптимизированы под инференс.

Ах вот оно что. Твой порт может спасти всю вселенную. Держи в курсе, таинственный Константин, в солнцезащитных очках.

Технология DirectCompute поддерживается только на Windows, OpenAI нужно считать свои модели на серверах. Порт бесполезен для OpenAI, но он является примером того, что портировать такие штуки с CUDA на vendor-agnostic стек не сильно сложно, я сделал этот порт один, примерно за месяц.

OpenAI думаю вполне способны сделать другой порт, на другую технологию, которая подходит для серверов. Например, Vulkan Compute. Если сделают, сэкономят примерно в 10 раз стоимости оборудования.

Та буде народ це робити, це треба наймати додатково людей щою портувати, менеджити це все, народ що робить SOTA моделі таким займатись не буде.

Їм легше сфокусуватись на research і відюх понакупляти.

Щоб робити research & development, купляти відюхі це дійсно робоча стратегія. Проблема полягає в тому, що масштабування дуже дороге.

Директор OpenAI Sam Altman колись скаржився, що від витрат на обчислення ChatGPT йому хочеться плакати: twitter.com/...​tatus/1599669571795185665

Американський професор оцінив витрати в $3 мільйони на місяць: twitter.com/...​tatus/1600196981955100694 Це був початок грудня, відтоді ChatGPT залучив ще більше користувачів.
Розробка та підтримка порту програмного забезпечення на Vulkan обійдеться їм значно дешевше.

Краще б тензорфлоу оптимізували

Підписатись на коментарі