Technical QA Manager в Waverley
  • Як зробити свій IT-курс на Udemy і чи воно того варте

    Если есть нормальное железо и зеленый фон, то рекомендую посмотреть в сторону OBS Studio. Можно записывать и офлайн, и стримить, к примеру, напрямую в YouTube. Из плюсов: бесплатная, спокойно пишет в full hd (есть поддержка nvidia кодеков для юзеров с дискретной видеокартой), можно добавлять сколько угодно оверлеев (картинки, камеры, конкретные окна, весь экран и т.п.), есть огромное кол-во разнообразных фильтров по типу chroma key (для зеленого фона) и noise suppression (против посторонних шумов). Можете посмотреть пример стрима, который я писал в YouTube пару недель назад: youtu.be/mVpN8QUKEOQ?t=4880. У меня в момент записи комп просто взлетал, гул был очень серьезный. С шумодавом вообще ничего постороннего не слышно. Ну и по оверлеям у меня были и слайды, и окна терминала, и камеры телефонов + веб-камера, и всякие статические картинки — весь фарш, в общем. Как по мне, то OBS Studio — топчик. Но разобраться с ней будет, пожалуй, сложнее, чем с какими-то платными аналогами, более заточенными на UX.

  • Как я работаю: Сергей Король, Technical QA Manager в Waverley Software

    Спасибо! Рад, что статья оказалась полезной.

    По сну: семи часов вполне достаточно в будни. В выходные могу позволить себе поваляться чуть дольше — 8-9 часов.

    Что касается work-life balance: тут необходимо отталкиваться прежде всего от того, что для вас есть — life. По моим наблюдениям, баланс нужен именно в личной жизни и быту. Для меня это:
    — выстраивание доверительных отношений с близкими (включая откровенные беседы, даже на неприятные и болезненные темы);
    — поиск компромиссов в решении общих вопросов (умение ставить себя на место других);
    — совместный досуг (ужин вне дома, вылазки куда-либо на выходных, встречи с друзьями для настолок, даже банальный просмотр сериалов по вечерам);
    — выделение некоторого времени «лично для себя» (мужчинам иногда очень нужно уходить в «пещеру»);
    — максимальная разгрузка по вопросам уборки (домработница, посудомойка, стиральная машина и т.п.).

    От этих, и многих других факторов зависит ваше психологическое состояние прежде всего. Что в свою очередь, напрямую влияет на вашу продуктивность. Все наши проблемы идут из головы. И пока там не будет порядка, ни о каком балансе не может быть и речи.

  • Дом с голосовым управлением: мой опыт реализации

    Ну вот как раз доп. звенья мне и не очень нравятся во всех этих схемах. И дело даже не только в реакции. Устройств много, разные вендоры, разные приложения, отсутствие полного контроля. Я бы никогда не доверил, к примеру, манипуляции со входной дверью или окнами сторонним приложениям. Правильно тут где-то в комментах высказывали мнение насчет отвязки от вендоров, унификации всего и т.п.

    По поводу распознавания: я так и не понял вашего мнения насчет вынесения всего этого дела из облака в офлайн. Как машина различит, к примеру, «turn on the light in the kitchen» и «how can I turn on the light in the kitchen/car/plane» без пост-обработки? Что есть — general question, а что относится к управляющим командам в контексте умного дома? Тут как минимум должен включаться какой-то хороший классификатор для сужения области поиска до контекста конкретного домена. И если контекст, к примеру, умного дома, то фразу еще придется разобрать по кусочкам: intent detection, parameters extraction для определения устройства (поиска его идентификатора в home graph, если речь о Гугле) и управляющей команды. Да, и давайте не забывать еще об oauth. Как по мне, то тут вообще без шансов увидеть все это дело в офлайне. Ни один из провайдеров не вынесет свою базу знаний в офлайн. Даже со стратегической точки зрения это невыгодно, ибо им постоянно надо совершенствовать свои модели на наших данных.

  • Дом с голосовым управлением: мой опыт реализации

    Ну почему же? В статье ведь приводится пример с русской моделью. И как раз эта версия уже появилась в оптимизированном варианте. Как решится проблема с микрофонами, сразу начну тестирование.

  • Дом с голосовым управлением: мой опыт реализации

    По-моему, мы друг друга не поняли. Я говорил о распознавании речи в облаках в контексте Гугла и Амазона.

  • Дом с голосовым управлением: мой опыт реализации

    Насчет реле: выглядит интересно, спасибо! Но как именно оно интегрируется с Алексой и Гуглом. В описании нет не слова об этом. Где задается friendly name, на которое откликается устройство? Источников света то может быть и несколько в комнате. Или все контролируется через некий «Smart Life» app? Если так, то это как раз больше всего и смущает меня в подобного рода решениях: когда я не понимаю, кому отдаю контроль. В случае с Гуглом или Амазоном я не переживаю, ибо это зарекомендовавшие себя корпорации. Но когда появляется дополнительное китайское облако... Скажу по опыту с Xiaomi, у которых тоже есть интеграция с Alexa / Google: девайсы частенько не обнаруживаются и глючат при голосовом управлении. А что будет если китайское облако ушло в нокдаун? Девайсы попрежнему будут работать? В общем, вместо того, чтобы избавляться от лишних звеньев, мы их добавляем в случае интеграции с 3rd-party провайдерами.

    Возвращаясь к более глобальным вопросам. Вы не первый, кто цепляется за лампочку, приведенную в качестве hello-world примера. Давайте возьмем более сложные кейсы: кондиционер без WiFi, светодиодная лента с неизвестным протоколом, не smart ТВ. По сути то, что можно спокойно встретить в произвольном доме или квартире нашей страны. Каким будет ваш подход?

    А насчет Google Assistant и смарт колонки можно подробней? Каким образом осуществляется подвязка и голосовая идентификация устройств без smart home actions?

    По RPi 4 ресурсам пока не могу сказать. Как приобрету и протестирую, тогда можно будет обсудить.

    Насчет Offline Speech Recognition: тут же дело не просто в получении текста, а в распознавании базового контекста. Все эти умные колонки то рассчитаны на более широкий круг задач. Не только smart home. Сейчас вам захотелось включить лампочку, через минуту — рассказать сказку ребенку. Дабы понять ваше намерение, Амазону и Гуглу придется весь post-processing и intent detection переносить в офлайн, а не только speech recognition. С Kaldi все гораздо проще, ибо мы сами ограничиваем контекст его использования.

  • Дом с голосовым управлением: мой опыт реализации

    Распознавание речи в облаке будет осуществляться.

  • Дом с голосовым управлением: мой опыт реализации

    Мне кажется мы говорим о разных вещах. Какой это Sonoff выключатель стоит 6 баксов? Даже на aliexpress сенсорный двухкнопочник стоит около 20. В Украине ± такой же ценник. Или речь все же о голой WiFi-driven плате, требующей постоянных 5-24В?

    По поводу 300 баксов и прочих дорогостоящих устройств: это был пример похожих сравнений из комментариев, когда речь шла об Apple, Lutron т.п. Каждый сам для себя выбирает оптимальный вариант по карману и удобству.

    По поводу русского языка: у нас тут какой-то замкнутый круг образуется. Я писал о его поддержке в контексте умных колонок и smart home скиллов. Причем тут Google Assistant? Это лишь сервис. Его нельзя рассматривать в изоляции, ровно как и Kaldi. Вы же не будете осуществлять голосовой ввод через мобильный телефон? Потому я и намекнул о микрофонах.

    Разворачивание Kaldi локально безусловно потребует сервера. Но к счастью, совсем недавно выпустили версию, оптимизированную под RPi. Так что уже можно начинать тестить на 4й версии.

    Касательно локального разворачивания решений Google / Amazon и сравнения с Kaldi. В контексте офлайн работы все равно победа будет за Kaldi. Независимо от сетапа, оба провайдера при любых раскладах будут ходить для транскрайба на облачный Speech-to-Text. Посему, в статье преимущество локального деплоя рассматривалось в контексте latency и избавления от лишних облачных звеньев. Но полной независимости от интернета, к сожалению, все равно не удастся добиться.

  • Дом с голосовым управлением: мой опыт реализации

    Хоть в статье это и было довольно прозрачно описано, но повторюсь: Sonoff требует прямого подвода к фазе. Если у вас к выключателям подведено питание — вопросов никаких нет. В противном, и довольно таки распространённом случае, ремонты частенько делают с учётом экономии проводов. Посему, чтобы добраться от выключателя до фазы в коробке, нужно продолбить стену и в последствии переклеить обои. Ну и делать это придётся во всех комнатах. Очень дорогой выйдет выключатель, не так ли? Да и вообще, это немного разные весовые категории. Сравнивать Соноф с реле за 2 бакса вообще бессмысленно. По большому счету, если есть желание и возможность покупать колонки по 300 баксов в каждую комнату, и прочие дорогие свистелки, то эта статья определенно не будет воспринята всерьёз. Касательно Google Assistant, JBL и русского языка: тут я уже не совсем понял, где в этом сетапе массив микрофонов? Более того, готовые решения не зря ведь сравнивались с Kaldi, ибо Kaldi можно развернуть у себя дома. А это означает то, что даже без интернета лампочку можно будет зажечь голосом, в отличие от облачных решений. В этом то и была ключевая задумка при изначальном рассмотрении данного подхода.

    Поддержал: anonymous
  • Дом с голосовым управлением: мой опыт реализации

    Спасибо за крутой продукт и работу над официальным CLion плагином! Вроде в последнем комментарии к issue описаны достаточно подробные шаги по установке. На днях попробую и отпишусь.

  • Дом с голосовым управлением: мой опыт реализации

    Вот тут как раз основная проблема с кейсом, когда ничего из этого списка нет. :) Если бы их колонка стоила $20-30 (ну пусть даже $50), как echo dot / google mini, тогда разговор был бы совсем другим. А остальные apple устройства, на мой взгляд, не очень подходят для таких задач по причине того, что они не фокусируются на ASR проблемах. В умные колонки то не зря встраиваются массивы микрофонов и DSP чипы. Так что для чистоты эксперимента тестить Siri надо именно на HomePod. Только цена кусается. Особенно с учетом того, что такие колонки потенциально придется расставлять во всех комнатах.

  • Дом с голосовым управлением: мой опыт реализации

    Ну philips hue объективно сложно рассматривать всерьез, ибо ее уже давно хакнули: bitbucket.org/xoseperez/fauxmoesp. И там ни скиллов не надо писать, ни сервисов. Более того, за эту лампочку можно выдать абсолютно любой девайс, если его нужно только включать / выключать. А так — да, с готовыми умными устройствами ничего программировать / паять не надо. Но ведь статья была совсем не об этом. Те, кто захотел проникнуться всеми скрытыми посылами, — это уже сделали. Точку зрения не воспринявших я тоже прекрасно понимаю и ничуть не осуждаю. Каждый выбирает для себя то, что ему по душе.

  • Дом с голосовым управлением: мой опыт реализации

    Спасибо и вам за участие! Рад, что понравилось!

    Поддержал: Liubov Chornaya
  • Дом с голосовым управлением: мой опыт реализации

    Насчёт света: если обучать реле в режиме interlock, то мы защищены от ложных срабатываний. Если ASR услышала одно, а реле уже находится в этом состоянии, — то ничего не произойдёт (кроме неверно записанного стейта в БД, и если нет доп. источников определения состояния). А вот с self-lock — да, любая неправильно интерпретированная команда уже может очень сильно раздражать.

    По разным источникам: у меня в одной из комнат и основной свет, и светодиодная лента подключены по такой схеме. Это ещё не беря во внимание кондиционер. Я им просто дал разные friendly name. За год может пару раз было такое, что колонке послышался другой источник. Но это надо очень невнятно или тихо говорить. Ну и само имя должно быть очень похожим.

    По звуку: буду иметь ввиду, спасибо!

  • Дом с голосовым управлением: мой опыт реализации

    Буквально пару дней назад набрел на такой девайс: store.matrix.one/...​2-wifi-bt-microcontroller. Хочу заказать для теста. К слову, скоро (до НГ) от alphacep появится новая Kaldi модель, заточенная под RPI.

  • Дом с голосовым управлением: мой опыт реализации

    Я думал, что за Kaldi уже никто и не спросит. :) В конечном итоге я взял готовую русскую модель от alphacep: alphacephei.com/...​kaldi/kaldi-ru-0.6.tar.gz. Она же встроена и в докер образ (линка в статье была). База там закрытая. Автор утверждает, что обучали они ее на 1к часов записей. Их демку можно потыкать тут: alphacephei.com/ru. WER в контексте умного дома я не проверял. Все же тут нужна хорошая разнородная выборка. На глаз, в идеальных условиях с определением приставок / корня проблем не было. А вот на окончаниях уже появлялось много неточностей. К примеру: выключив, выключал, включим — вот такое частенько проскакивало. Потому я дополнительно подключал библиотеку для сравнения строк. В целом, задав определенный порог similarity, проблем с интерпретацией не возникало. Но вот замечание по безопасности весьма резонное. В самом базовом случае надо анализировать текущее состояние устройства. Причем, на нескольких уровнях. Основная проблема с обычными устройствами в такой схеме в том, что они не дают никакой обратной связи. Взять ту же лампочку. Ну отправим мы допустим радиосигнал на реле. Но без доп. телодвижений мы никак не поймем, а включилась ли она на самом деле, или нет. Сигнал мог не дойти, реле могло сломаться, лампочка могла перегореть. У меня были идеи насчет доп. датчиков освещенности и тока/напряжения, которые будут независимым образом собирать информацию о текущем — реальном — состоянии устройства. Тут, как мне кажется, надо рассматривать каждый девайс индивидуально. И его влияние на окружение. В случае наличия вероятности спалить квартиру, нужно много перестраховок. Начиная с common sense checks: утюг уже включен, и если юзер опять его включает, то вероятно он имел ввиду совсем другое, значит надо переспросить. Или такое: утюг долго включен, свет уже выключен / на дворе ночь — надо спросить, все ли в порядке. Нет ответа — обрубить питание на розетке.

  • Дом с голосовым управлением: мой опыт реализации

    До Apple руки пока не дошли. Если Google и Amazon я мог пощупать в рамках проекта, то Apple девайс пришлось бы уже покупать, как кота в мешке. Я так понимаю, что у них альтернативная колонка — это home pod? $300, по-моему, перебор по сравнению с конкурентами. Или есть что-то более дешевое? А насчёт homebridge я пока не готов дискутировать. Вернусь из отпуска — обязательно гляну. Насчёт китайского хлама я понял посыл. Но как это будет работать с обычными кондиционерами и ТВ, к примеру? Нужно будет плагины писать? Сам по себе нодовский сервер поднять, или mqtt настроить — это не rocket science. Тут важно понимать, в чем именно будет его преимущество по сравнению с тем же Гуглом, на который уже можно заливать код напрямую для общения с девайсами? А вообще, я ведь не зря проводил сравнение с Kaldi. Облачные решения — это круто конечно. Но им нужен постоянный и хороший интернет. Без этого управлять голосом чем-либо будет невозможно. Потому в своих первых порывах я акцентировал внимание на полностью изолированном от мира решении.

    Поддержал: anonymous
  • Как в Provectus использовали Alexa от Amazon для изучения английского

    Время ответа не увеличится. Наоборот — уйдет lambda bottleneck. Cold start в voice приложениях очень бесит.

  • Как в Provectus использовали Alexa от Amazon для изучения английского

    А почему не захотели сделать единый backend? Для не smart home скиллов можно ведь выбрать опцию https server вместо lambda.
    Еще не совсем понятно, какую роль тут играет UI? Админка?
    Ну и главный вопрос: зная то, сколько факторов влияет на точность распознавания речи, как вы решали проблему далеко не идеального амазоновского STT? Так ведь и quiz завалить можно. :)