Raspberry Pi + Hailo — гарний кейс вдалого позиціонування! Hailo-8 (~26 TOPS при ~2.5W) — це справді «заточений» NPU: фіксована архітектура dataflow, statically compiled graph, і саме тому він такий ефективний на inference production-моделей.
Наш кейс: спробували inference на локальному NPU (Intel AI Boost, Core Ultra 5 135U) для embedding workload. Очікували прискорення — насправді CPU (10-17 ms/batch) виявився конкурентним.
Кілька технічних спостережень з нашого досвіду з аналогічними системами:
NATS message bus для routing між компонентами добре масштабується, але envelope-рівнева security policy (які subjects доступні якому агенту) виявляється зручнішою за filesystem-level...
Господи, та за що? Звідки в вас стільки соціалізму в голові? Схеми — це коли Міндіч nи3дить гроші постачальників Укренерго. Або коли Фьодоров «обілєчує» айтішні галери через Дія-сіті. ФОПи — це абсолютно легальний бізнес.
Запускали granite4.1:3b локально через Ollama на Core Ultra 5 135U. Порівнювали wall-clock latency в двох режимах: з format:"json" (grammar-constrained) та без.
У 2013 році проходив співбесіду в Амазон у Дублінському офісі. У мене тоді було десь роки 4 досвіду, майже все — Java.
Перший раунд проводив такий бородатий дядька років 45-и, трохи схожий на стереотипного байкера.
копіювання, бо саме російський переклад завалений цією калькою. українські перекладачі не зобов’язані озиратися на російську парадигму, а українські ігруни (які до 2022 р.
Анатолій Бабак
Anna Vynnychenko
Коментарі