17 років, занурююсь в AI Performance Architecture (Inference, RAG, KV-cache). Шукаю однодумців

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Усім привіт! Віднедавна залетів у тему AI Performance Architecture.

Зараз збираю базу: розбираю GPU-архітектуру, математику KV-кешу та RAG. З останнього — запускав Llama-3-8B на llama.cpp, паралельно колупався в PyTorch Profiler, щоб відловлювати просадки GPU (stalls) на prefill’і, також займаюсь калістенікою кому цікаво можем і це обговорити:З

Шукаю однодумців для обміну досвідом. Обговорити інференс, оптимізацію або в майбутньому разом увірватися на якийсь хакатон. Хто над чим зараз працює?

Пишіть тут у коментарях або стукайте напряму в Телеграм: @neptun127 . Буду радий конекту!