Як вижати максимум з Ollama на старому ПК?
Перше питання — чи є сенс? Взагалі? Мені потрібен локальний помічник по розвитку не комерційного проєкту «Цифрове безсмертя», але залізо не те: FX-8350 з 16 ram, та карта Radeon 570 з 8 гб пам’ятю. Встановив Ollama, OpenClaw, Open-Webui, DuckDuckGo — та во вкладці браузера через локал-хост підключив модель llama3.1:8b-instruct з квантуванням 4. Все працює (після двох діб налаштувань та матюків),але повільно :)
Що я можу зробити щоб прискорити роботу нейронки без придбання чи апгрейда заліза?
4 коментарі
Додати коментар Підписатись на коментаріВідписатись від коментарівНу якщо проект справді некомерційний — я можу дати від себе API до OpenAI, наприклад
дякую. а навіщо вам це? лишній клопіт. я можу і сам сгенерувати на платформі OpenAI собі токен.
У мене там спонсорських кредитів майже на 20k, я їх все одно не встигну потратити — то хоч на щось корисне підуть!
В них там є программа безкоштовного використання API, але треба поповнити на 5$ та дати дозвiл на sharing ваших запитiв для навчання їхньої AI