🔥Edge AI/LLM/Embeddings/ML на мобільних пристроях🔥

Привіт!

Я помітив, що зараз в українській AI/ML спільноті практично нема місця, де можна живим складом обговорювати розробку, оптимізацію, інтеграцію та запуск моделей (LLM, ембедінги, Vision, OCR, Speech і т.д.) прямо на edge-пристроях — телефонах, планшетах. Хочеться зібрати невеличку українську тусовку для обміну досвідом, хелпу й живих розмов.

Про що чат:

• Запуск і оптимізація LLM, ембедінгів, Vision, OCR, Speech і всього іншого локально (без хмари).
• Робота з llama.rn, onnxruntime, executorch, mediapipe, ML Kit, virtual table, edge RAG та подібним.
• Всілякі кейси: як запустити локальну LLM/embeddings на мобілці, оптимізувати inference, чи підключити Vision без інтернету.
• Ділимося бібліотеками, порадами, проблемами й фіксами.
• Привітна атмосфера, без токсика і обов’язкових «доказів експертизи».

Для чого це потрібно:

• Усі ми стикаємось із нестачею інфи по edge deployment, з глюками оновлень, оптимізацією під різне залізо, а ще іноді просто не вистачає фідбеку від «своїх».
• Давайте зберемось в одному місці, щоб простіше шукати/давати відповіді, швидше вирішувати проблеми й допомагати одне одному.
• Вірю, що разом простіше і швидше розв’язувати задачі, пробувати нові ідеї та просто спілкуватися по темі, яка реально цікава.

P.S. Якщо знаєш людей, яким це теж цікаво — шерни пост або тегай їх у коментах!

🔗 Телеграм канал