Nvidia релізнула свій чат-бот — Chat with RTX. Розбираємося, на що він здатний

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Nvidia випустила ранню версію свого чат-бота на базі ШІ — Chat with RTX. Технологія може резюмувати відео з YouTube, працювати з документами, давати релевантні відповіді тощо. Працює локально на комп’ютері, і все, що вам потрібно, — це графічний процесор RTX 30-ї або 40-ї серії з принаймні 8 ГБ оперативної пам’яті.

• Розмір програми становить майже 40 ГБ, а екземпляр Python займає близько 3 ГБ оперативної пам’яті. Після запуску ви отримуєте доступ до чату через браузер.
• Для роботи з YouTube достатньо ввести URL-адресу, і чат шукає в транскриптах конкретні згадки (зручно для для пошуку у відеоподкастах) або підсумовує все відео. Однак у цій ранній демоверсії ще трапляються помилки та аварійні завершення роботи.
• Chat with RTX без проблем витягує всю ключову інформацію під час сканування PDF-файлів і перевірки даних. Відповіді також майже миттєві, без затримок, які зазвичай спостерігаються під час використання хмарних чат-ботів ChatGPT або Copilot.
• Чат не запам’ятовує контекст, тому наступні запитання не можуть ґрунтуватися на контексті попереднього. Він також створює JSON-файли всередині папок, які ви просите проіндексувати (тому краще не використовувати його для всієї папки «Документи» у Windows).

Великим недоліком Chat with RTX є те, що він справді схожий на ранню демоверсію для розробників. Чат по суті встановлює вебсервер і екземпляр Python на вашому ПК, який потім використовує моделі Mistral або Llama 2 для запиту даних. Потім він використовує ядра Nvidia Tensor на графічному процесорі RTX, щоб прискорити ваші запити.

Спробувати попрацювати з чатом можна тут.

Хто вже затестував, діліться, для чого використовували чат? Як вам його робота порівняно з іншими ШІ-моделями?