Nvidia релізнула свій чат-бот — Chat with RTX. Розбираємося, на що він здатний

Усі статті, обговорення, новини про AI — в одному місці. Підписуйтеся на DOU | AI!

Nvidia випустила ранню версію свого чат-бота на базі ШІ — Chat with RTX. Технологія може резюмувати відео з YouTube, працювати з документами, давати релевантні відповіді тощо. Працює локально на комп’ютері, і все, що вам потрібно, — це графічний процесор RTX 30-ї або 40-ї серії з принаймні 8 ГБ оперативної пам’яті.

  • Розмір програми становить майже 40 ГБ, а екземпляр Python займає близько 3 ГБ оперативної пам’яті. Після запуску ви отримуєте доступ до чату через браузер.
  • Для роботи з YouTube достатньо ввести URL-адресу, і чат шукає в транскриптах конкретні згадки (зручно для для пошуку у відеоподкастах) або підсумовує все відео. Однак у цій ранній демоверсії ще трапляються помилки та аварійні завершення роботи.
  • Chat with RTX без проблем витягує всю ключову інформацію під час сканування PDF-файлів і перевірки даних. Відповіді також майже миттєві, без затримок, які зазвичай спостерігаються під час використання хмарних чат-ботів ChatGPT або Copilot.
  • Чат не запам’ятовує контекст, тому наступні запитання не можуть ґрунтуватися на контексті попереднього. Він також створює JSON-файли всередині папок, які ви просите проіндексувати (тому краще не використовувати його для всієї папки «Документи» у Windows).

Великим недоліком Chat with RTX є те, що він справді схожий на ранню демоверсію для розробників. Чат по суті встановлює вебсервер і екземпляр Python на вашому ПК, який потім використовує моделі Mistral або Llama 2 для запиту даних. Потім він використовує ядра Nvidia Tensor на графічному процесорі RTX, щоб прискорити ваші запити.

Спробувати попрацювати з чатом можна тут.

Хто вже затестував, діліться, для чого використовували чат? Як вам його робота порівняно з іншими ШІ-моделями?

👍ПодобаєтьсяСподобалось0
До обраногоВ обраному1
LinkedIn
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter
Дозволені теги: blockquote, a, pre, code, ul, ol, li, b, i, del.
Ctrl + Enter

Каже, що треба мінімум 8 гігабайт відео пам’яті, а у мене 4

а його можна підключити до гугл міта і змусити запротоколювати усі поінти, які були озвучені/винесені в процесі?

Рекомендую Fathom в такому випадку, найзручніші самері, хайлайти і скріпт для відео дзвінків

Підписатись на коментарі