почитайте ще про кешування саме в Клоді, наприклад той же Опус дає 4К токенів, які живуть 5хв, при кроках ці 4К токенів (якщо вони байт-ідентичні) будуть тарифікуватись по 10% від вартості, але ніхто не каже, що коли ми кладемо в голову контексту шматок 4К+ то вони просто не кешуються, бо шматок повністю не лізе в кеш. Можна зекономити на виклику інструментів, але налізти на кешуванні. Ваша ідея класна, дякую, що поділились!
почитайте ще про кешування саме в Клоді, наприклад той же Опус дає 4К токенів, які живуть 5хв, при кроках ці 4К токенів (якщо вони байт-ідентичні) будуть тарифікуватись по 10% від вартості, але ніхто не каже, що коли ми кладемо в голову контексту шматок 4К+ то вони просто не кешуються, бо шматок повністю не лізе в кеш. Можна зекономити на виклику інструментів, але налізти на кешуванні. Ваша ідея класна, дякую, що поділились!