«Весь світовий відеоконтент — потенційно наш дата-сет». Як двоє українських студентів збудували стартап, що залучив $500 тисяч

Harmix — український стартап, який підбирає музику для відео за допомогою AI. Нещодавно команда залучила інвестиції на пів мільйона доларів, а ще на етапі pre-seed — грант на $25 000 від Українського фонду стартапів і $13 000 від Amazon.

Киянин Назар Поночевний — засновник і СЕО стартапу, львів’янин Дмитро Лопушанський — СТО. Їм обом по 20 років, вони досі є студентами КПІ й УКУ, зараз за програмою обміну навчаються в Університеті Торонто у Канаді. Ми поспілкувалися з Назаром і Дмитром про ідею стартапу, залучення інвестицій під час війни й те, чому вони обрали для розвитку продукту ринок США.

Дмитро Лопушанський (зліва) та Назар Поночевний (праворуч)

«Наше завдання — підібрати музику до певної історії»

— Назаре, коли і як виникла ідея створення стартапу?

Назар: У вересні 2018 року. Спочатку це була просто цікава ідея, на яку мене наштовхнули захоплення музикою та штучним інтелектом. На той момент я був учасником Startup Week від Ukrainian Future, де розробив перший бізнес-план. Тоді проєкт називався Explore Your Mind. За місяць стартап пройшов на суперфінал Intel-Техно Україна — це національний відбір на міжнародний конкурс науково-технічної творчості школярів Intel International Science and Engineering Fair (Intel ISEF) у США.

Дмитро: Я вперше почув про Harmix на Intel-Техно Україна. Побачив виступ Назара на сцені, журі високо оцінило його роботу. Цікаво, що тоді ми не підійшли один до одного знайомитися — це відбулося лише за рік.

Ми обоє були в 11 класі, розвивали власні проєкти. Я розробляв мультифункціональний пристрій для незрячих HelpyEyes, представляв його на кількох міжнародних конкурсах від Малої академії наук України в Туреччині, Малайзії і Сінгапурі. Ми перетнулися з Назаром на конкурсі Advanced Innovation Global Competition (AIGC) у Сінгапурі, де обидва отримали золоті медалі. Так почалася наша співпраця — спочатку просто на рівні обміну ідеями.

Назар: І хоча все починалося більше як технологічна забава, експеримент, але після спілкування з друзями-монтажерами я швидко розумів, що є реальна проблема, яку я можу розвʼязати. Наступного року я вже розробляв технології і писав наукову роботу.

Назар: У вересні 2019 року, коли ми вже вступили до вишів, то стали повноцінно співпрацювати. У 2020 році розробили Android-застосунок, але його було складно тестувати, він був ще не готовий для публікації в Google Play. Отже, ми створили чат-бот у Telegram, для якого було легше отримати фідбек і вести розробку. За чотири місяці залучили перші 3000 користувачів. Потім подали заявку на патенти. У 2021 році отримали від Українського фонду стартапів грант у $25 тисяч, а також $13 тисяч від Amazon у вигляді кредитів для AWS.

Пізніше ми знайшли в Україні інвестора на наступний раунд у пів мільйона доларів. На початку 2022 року в нас тривали перемовини. Але коли почалася повномасштабна війна, звичайно, у всіх змінилися пріоритети — і нам знову довелося шукати інвестиції.

Коли ми приїхали до Торонто на навчання за програмою обміну, продовжили докладати зусилля і все-таки змогли залучити інвестиції уже тут. Також влітку минулого року ми брали участь у конференції Collision в Торонто. За два місяці поїхали на Startup World Cup, а у жовтні — на TechCrunch Disrupt.

— Розкажіть про основну ідею стартапу. Що за продукт ви пропонуєте, яку проблему він розвʼязує?

Назар: Стартап називається Harmix — від слів harmonius і mix, тобто «гармонійне поєднання». Починали ми з ідеї побудови технології на основі штучного інтелекту, який може підібрати гармонійний трек до відеоматеріалу. Ми позиціюємо це саме як доповнення музикою конкретної історії.

Дмитро: У нас є два напрями: B2C і B2B. Роботу над першим ми почали з того, що торік випустили Android-застосунок і змогли залучити 30 тисяч користувачів. Нині ми готуємо реліз iOS-застосунку.

Щодо B2B-напряму, у якому ми починаємо працювати, то наша технологія пропонуватиме глибший аналіз матеріалу. Клієнти зможуть завантажити не лише відео, а й текстовий опис музики, яку людина хоче знайти, референс аудіо, тобто подібну музику; опис сцени, де має грати трек тощо. Йдеться про професійну версію нашого продукту з розширеним функціоналом.

— Хто ваша основна аудиторія?

Назар: Наші потенційні клієнти B2B-напряму — працівники ТБ. Для ефіру на телебаченні характерні стислі терміни, за які потрібно швидко знайти музику у бібліотеці на мільйон пісень, усе змонтувати, потім ще є «очищення прав» — тобто отримання ліцензії на музичний твір. Harmix може допомогти у цій справі, бо він навчався на великій кількості фільмів, відео. Навіть уже після вибору самого треку ми можемо ще підказати, наприклад, який уривок з музики використати, щоби все було динамічніше.

Так само нашими потенційними клієнтами є ті, хто працюють над кінотрейлерами. Вони теж мають суттєві часові обмеження — буквально кілька тижнів, щоб до готового фільму зробити промо. Також Harmix може допомогти із саунд-дизайном в іграх. Ця сфера має іншу специфіку, бо там набагато більше матеріалів для пошуку: звуки, ефекти тощо.

Серед наших B2C-клієнтів — блогери, відеомонтажери, які мають багато контенту й хочуть за допомогою штучного інтелекту робити його якісніше та швидше.

Назар Поночевний (крайній ліворуч) та Дмитро Лопушанський (крайній праворуч) на конкурсі Advanced Innovation Global Competition (AIGC) у Сінгапурі, де обидва отримали золоті медалі

«Ми хочемо побудувати зручний інструмент, коли не користувач адаптується до системи, а система адаптується під користувача»

— Поговорімо про технічну складову. На основі чого здійснюється вибір музики?

Назар: Ми почали розробку технології ще 2018 року. На неї вже є отриманий міжнародний патент. Також подали заявки на національні патенти в США, Канаді, Європейському Союзі, Україні. Усе базується на технологіях штучного інтелекту — це машинне навчання, комп’ютерний зір, комп’ютерний слух. Використовуємо від найпростіших моделей машинного навчання, наприклад Random Forest, до більш просунутих моделей глибокого навчання, наприклад модифікацій мультимодальних трансформерів. Намагаємося використовувати ансамбль з різних методів, підходів, щоб отримати справді повноцінний опис відео. Ми аналізуємо розташовані в кадрі обʼєкти, погоду, кольори, динаміку, зміну яскравості та кольорів, дії, що відбуваються на відео тощо.

Аналогічний підхід у нас і до музики. За допомогою ШІ ми намагаємося зрозуміти жанр, настрій, використовувані музичні інструменти, темп, тональність, чи є вокал, які слова, про що пісня, який її посил тощо.

Також розробляємо систему, яка б аналізувала особистий профайл людини: її побажання, темперамент, бо у кожного монтажера, режисера є свій підхід, своє розуміння музики. Тож ми хочемо побудувати зручний інструмент, коли не користувач адаптується до системи, а система адаптується під користувача, стає зручним середовищем для його креативної діяльності.

— На основі чого робитиметься такий аналіз?

Назар: Сьогодні ми збираємо анонімні захищені дані про наших користувачів, дивимося, на які саме параметри вони звертають увагу, коли шукають музику. Поки ця персоналізація на етапі тестування.

Дмитро: Так, тут фактично є дві частини. Перша — це пошук на основі параметрів, які задаються. Такий собі Google для музики, тільки в Google можна задати лише текст, а у нас — набагато більше вихідних даних, бо креативна індустрія оперує не лише текстом, а й великою кількістю модальностей, тобто відео, аудіо та текстом. Друга частина — навчання нашої системи розуміти те, як людина нею користується і відповідно до цього готувати рекомендації. Тобто враховується інформація між сесіями пошуку. Але друга частина ще в розробці, ми більше фокусуємося на першій — підборі під задані параметри.

— Які зараз є можливості у застосунку, які параметри можна задати вручну?

Назар: Сьогодні ви завантажуєте відео, обираєте жанр, настрій, інструмент, вокал, fade-ефекти, гучність. Це те, що доступно у В2С-застосунку.

Але наразі ми проводимо багато внутрішньої розробки для В2В-версії — і там цей функціонал уже суттєво розширюється. Не можемо завчасно розкривати деталі, але ми перебудовуємо всю логіку застосунку, щоб вона була більш інтуїтивно зрозумілою.

— Півтора року тому система була навчена на 1200 фільмах. На чому зараз відбувається навчання? І які показники?

Назар: Тоді це був лише один модуль для створення пари «відео — музика». На сьогодні ми вже «згодували» нейромережі понад 30 тисяч фільмів і відеороликів.

Але оскільки у нас додається складова текстового опису музики, то ми розширюємо наші дата-сети. Навчання відбувається не тільки на фільмах, а й на основі інших даних: додаткова інформація про виконавця, настрій композиції тощо. Я б сказав, що весь відеоконтент з музикою, який зараз використовується у світі — це потенційно наш дата-сет, на якому ми навчаємо модель.

Дмитро: Нам важливо, щоб дата-сет складався з візуальних матеріалів, які мають гарно підібрану музику. Тож при збиранні публічних відео для тренування моделей ми застосовуємо метрики якості — наприклад, звертаємо увагу на їхню популярність.

На конференції Collision 2022 разом із заступником міністра цифрової трансформації України Олександром Борняковим

— Що було найскладніше реалізувати з погляду технологій?

Назар: У будь-якому завданні з машинним навчанням наріжним каменем є дані. Моделі розробляються, покращуються, але саме якість даних дає результат. Тому ми створили окремий департамент дата-інженерії, який правильно обробляє та аналізує дані.

Але загалом у нас все більш-менш класно виходить завдяки команді. Зокрема, завдяки Дмитру, який спеціалізується на дата-інженерії, big data. В українських вишах — Українському католицькому університеті та Київському політехнічному університеті — одні з найкращих програм з дата-інженерії, де викладають одні з найкращих спеціалістів. Ми багато чого вчимося у них, натомість вони допомагають, менторять, якщо у нас виникають питання.

Дмитро: Я навчаюся в УКУ на програмі «Дата-інженерія». Ми розбираємо багато патернів, які я потім можу переосмислити і використати в стартапі.

Назар: Так само в Університеті Торонто, де ми з Дмитром навчаємося за програмою обміну, ми провадимо дослідження: я більше у сфері Human-Computer Interaction та Machine Learning, а Дмитро — інженерії та машинного навчання. Тож ми маємо доступ і до найкращих експертів у канадському виші.

«Стартапу не можна «з’їсти» все — треба починати з «маленьких шматочків»

— Цікаво, чи є у вас є музична освіта?

Назар: Вся команда щонайменше цікавиться музикою. Дехто має профільну освіту. Наприклад, я закінчив музичну школу. Деякі члени команди у вільний час займаються музикою, пишуть композиції. Також серед нас є професійні музичні супервайзери, які вже понад 20 років опікуються не тільки записом музики, а й її просуванням, менеджментом, ліцензуванням, підбором під рекламу для відомих брендів.

Дмитро: Я не маю музичної освіти, проте граю на укулеле, вчуся грати на фортепіано, загалом цікавлюся музикою, люблю її слухати.

— Читала, що музика, яку пропонує Harmix, ліцензована найбільшими правовласниками: Warner Music, Sony Music, Universal. Розкажіть, на яку кількість варіантів може розраховувати ваш користувач?

Назар: У нас є три різні цифри. Перша — те, що вже пішло в реліз, працює в Android-застосунку. Там під’єднана YouTube Audio Library — близько 5000 пісень. Це здебільшого відкрита ліцензія Creative Commons, яка дає змогу в комерційних роликах на YouTube використовувати музику з атрибуцією або без. Друга — 26 000 треків, якщо додати наші партнерські угоди, які ми проводили з приватними базами даних — вони вже згодилися на співпрацю, залишається їх інтегрувати. Зараз ми думаємо, в якому з напрямів це втілюватимемо — В2С чи В2В. Третя — понад 3 мільйонів треків — система, яка в активній розробці для В2В.

— Ви вже розповіли, хто ваша аудиторія. Раніше ви називали своїм основним потенційним ринком США та Індію, зараз тільки США. Що змінилося та на чому був заснований ваш вибір?

Назар: Так, це правда. Раніше ми казали про США, Європу, Індію, Китай і багато інших країн. Тепер збагнули, що, хоча всі ці ринки потенційно для нас цікаві, там є наші клієнти і в доволі великій кількості (особливо в Індії), стартапу не можна «з’їсти» все — треба починати з «маленьких шматочків» і поступово рухатися до своєї цілі. Тому визначили, що перший крок — це США.

Дмитро: Крім того, тут ще важлива схожість ринків. Наприклад, ринки в Індії і в Північній Америці дуже відрізняються.

Вагомим фактором є те, де фізично перебувають члени команди. Ми з Назаром у Торонто. А Канада і Штати насправді дуже подібні, ми можемо вивчати все на власному досвіді. Так, звичайно, є певні відмінності, але загалом ринки та культури схожі. А будувати продукт на ринку тієї країни, де ми навіть ще не були — як на мене, погане рішення.

— Півтора року тому, коли ваш продукт існував у вигляді чат-бота в Telegram, була інформація, що користувачі завантажили у Harmix 12 000 роликів, а 20% юзерів — користувачі з Британії, Іспанії, США, Туреччини та Ірану. Як зараз змінилися ці показники?

Назар: Географічне співвідношення не змінилося для B2C-категорії. Нині йдеться про близько 60 тисяч відео, 47% наших Android-користувачів з Індії, Бразилії, Мексики, Великої Британії, США, Індонезії, Єгипту, Бангладеш, Німеччини.

— Також ви зазначили, що думаєте про варіанти монетизації...

Назар: У В2С є система донатів в Android-застосунку. Тому поки що голосно говорити про якусь монетизацію. Нині ми тестуємо варіанти монетизації для B2B і функціонал, який входитиме в різні підписки. Наш бізнес працюватиме за freemium-моделлю.

Дмитро: Поки що в нас один випущений офіційний продукт — Android-застосунок. Щодо Telegram-боту — приїхавши в Канаду, ми одразу ж помітили, що тут люди майже не користуються цим месенджером. Тож ми його вже не просуваємо, не рекламуємо і зняли з нашого сайту. На ринку США, куди ми тільки заходимо, домінантними є iOS-платформи. Тому ми й готуємо реліз iOS-застосунку.

Коли ми запустили В2С, у нас була лише опція з невеличкою підпискою, яка насправді була не дуже добре оптимізована та більше схожа на донат. Люди не купували додаткові функції, а просто підтримували Harmix, тому що він їм подобався, вони хотіли пожертвувати на розвиток компанії. Тепер для монетизації В2В-напряму ми проводимо user interview, визначаємо найпріоритетніші фічі.

«Стартап — це завжди про оптимізацію ресурсів»

— Назаре, ви починали стартап сам, потім до вас приєднався Дмитро. Як кількісно змінювалася команда за ці роки, які спеціалісти залучалися?

Назар: У нас завжди була гнучка команда. Спочатку був тільки я, кілька менторів; професори, з якими ми починали наукову роботу. Потім я став залучати першого інвестора, який обійняв менеджерську позицію. Пізніше ми стали активними резидентами бізнес-інкубатора Ukrainian Future, він нам надавав послуги з консалтингу, допомагав з фандрейзингом. Потім покликали фрилансерів для першої Android-розробки, потім для чат-боту, збору додаткових даних, дата-сетів.

За весь період існування Harmix фултайм у нас працювали близько пʼяти людей. Усі інші були фрилансерами, але їхня кількість іноді доходила до 10–15 людей: маркетологи, менеджери, фінансисти, розробники, дослідники, ментори. Нині в нас офіційно 12 людей у команді. Інхаус ми провадимо розробку та дослідження у сфері ШІ та дата-інженерії, але ще у нас є чотири підрядники, які надають аутсорс-послуги — як юридичні, так і з розробки інтерфейсів обох мобільних застосунків і вебверсії. При цьому ми в команді проводимо дослідження з UX, придумуємо дизайн, а вже реалізацію ідей передаємо на аутсорс.

— Плануєте розширювати команду?

Дмитро: Так. Після того, як ми опублікували новину про залучення інвестицій, оголосили набір у команду. З того часу проводимо співбесіди, бо багато хто зацікавився. Нам потрібні люди з навичками у сферах дата-інженерії, машинного навчання. Нині розробляємо новий функціонал для професійної B2B-версії застосунку.

Назар: Оскільки ми ще самі студенти, то часто залучали людей з вишів. Наприклад, комусь в університеті дали завдання зробити проєкт чи курсову та сказали, що головне використати певний стек технологій. Люди тоді до нас зверталися: «Не хочете, щоб ми розробили щось для Harmix?». Ми, звичайно, залюбки погоджувалися, допомагали, надавали менторство. Студентам це було вигідно, бо вони навчалися, могли отримувати фінансову, ресурсну підтримку, робили щось прикладне, цінне, корисне. А ми у результаті отримувати класні продукти, які потім давали клієнтам.

Але у нас певний мікс студентів і досвідчених спеціалістів, ми намагаємося тримати цей баланс. Бо стартап — це завжди про оптимізацію ресурсів. З одного боку, ми «вирощуємо» у своїй компанії нових спеціалістів, а з іншого — залучаємо вже сеньйорних, які зможуть навчати, брати на себе менеджмент розробки, будувати архітектуру тощо.

Дмитро: Так, ми не повністю «джунова» компанія. У нас виникають завдання різних рівнів складності, для яких є різні спеціалісти. Хоча, до речі, буває таке, що суперскладні задачі ми даємо людям з меншим досвідом, тому що їм цікаво за них взятися. Усе залежить від пріоритету. Якщо це не терміново, то можемо дати складне завдання людині без особливого досвіду, щоб вона спробувала провести кілька експериментів (знову ж таки з наставником). Наприклад, зараз один з таких проєктів — генерація музики.

— На яких умовах залучаються члени команди? Є ті, хто працює на волонтерських засадах, чи всі отримують грошову винагороду?

Назар: Тут усе індивідуально, у нас немає загального протоколу для всіх. Є люди, які стажуються на волонтерських засадах, навчаються. Є фрилансери, чию роботу ми оплачуємо. Є part-time, full-time співробітники, які отримують зарплату.

При цьому ми вважаємо, що кожен, хто приєднувався до стартапу навіть на ранніх стадіях, зробив хоч манюсінький внесок у стартап, все одно має право на його частинку, опціони. Ми намагаємося побудувати стратегію, як незалежно від нас, фаундерів чи інвесторів, оцінювати внесок кожного учасника та розподіляти опціони. Давати кожному відчуття, що людина будує не чужий, а власний продукт.

Команда Harmix на спільній щотижневій зустрічі

«Навіть якщо у людини немає українського громадянства, то в нашій команді всі почуваються українцями»

— Поділіться вашими планами.

Назар: Реліз iOS- і В2В-версій. Ми дуже схвильовані, бо відчуваємо величезний потенціал у технології, бачимо людей, яким вона потрібна, вони реально «горять» і чекають її.

Хочемо, щоб наш стартап справді був майданчиком для розвитку багатьох айтівців з України і перетворився на велику компанію. А ще прагнемо допомогти у розбудові більш сучасної екосистеми продуктів для креативної індустрії.

99% нашої команди — українці. Ми дуже активно залучені в вітчизняну економіку, і хоча ми працюємо зараз на ринок США, але майже половина команди перебуває в Україні.

Дмитро: Хочемо долучитися до IT-розвитку України. І, звичайно, головна мрія — про нашу перемогу.

Все про українське ІТ в телеграмі — підписуйтеся на канал DOU