Щоб робити research & development, купляти відюхі це дійсно робоча стратегія. Проблема полягає в тому, що масштабування дуже дороге.

Директор OpenAI Sam Altman колись скаржився, що від витрат на обчислення ChatGPT йому хочеться плакати: twitter.com/...​tatus/1599669571795185665

Американський професор оцінив витрати в $3 мільйони на місяць: twitter.com/...​tatus/1600196981955100694 Це був початок грудня, відтоді ChatGPT залучив ще більше користувачів.
Розробка та підтримка порту програмного забезпечення на Vulkan обійдеться їм значно дешевше.

Технология DirectCompute поддерживается только на Windows, OpenAI нужно считать свои модели на серверах. Порт бесполезен для OpenAI, но он является примером того, что портировать такие штуки с CUDA на vendor-agnostic стек не сильно сложно, я сделал этот порт один, примерно за месяц.

OpenAI думаю вполне способны сделать другой порт, на другую технологию, которая подходит для серверов. Например, Vulkan Compute. Если сделают, сэкономят примерно в 10 раз стоимости оборудования.

Вони в 10 разів дорожче через те, що Google, Microsoft, OpenAI та інші використовують неймовірно дорогі відеокарти nVidia для серверів. OpenAI використовує nVidia A100, яка коштує близько $10000.

Ця проблема має технічне рішення, наприклад AMD Radeon 7900 XTX коштує в 10 разів дешевше. Їм тільки потрібно перенести своє програмне забезпечення з CUDA на іншу технологію, наприклад VulkanCompute.

Це не дуже важко зробити. Ось мій порт моделі Whisper з TensorFlow на DirectCompute: github.com/Const-me/Whisper

HP Probook 445 G8: Ryzen 5 5600U, 32GB RAM, 2TB SSD.
Купив рік тому, дуже задоволений.