Обійми Дощу «Діти». Нова пісня і кліп, який мені створили мої 10-річні доньки, і як мене врятував ШІ

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Привіт! В спільноті DOU мене знають, як експерта з інтерактивної картографії і візуалізації даних, автора JS-бібліотеки Leaflet та розробника Mapbox GL JS. Але не менш важлива частина мого життя — музика. Вже 18 років як існує гурт Обійми Дощу, в якому я співаю, граю на акустичній гітарі і пишу пісні. Якщо ви були на Премії DOU в Києві, то чули на відкритті декілька наших пісень в акустичному форматі.

Нещодавно ми презентували нову пісню і відео з амбітного нового альбому, над яким працювали 7 років. Це красива, мелодійна і щемка рок-музика з елементами прогресивного року, джазу і пост-року, витонченими струнними аранжуваннями і виключно україномовною лірикою, і загалом піснями, що створювались з величезною любов’ю і турботою роками, як монументальні симфонії, поки кожна нота і кожен звук не стануть на своє місце.

Перша пісня з альбому, «Діти», досліджує наш міцний зв’язок з власним дитинством, який ми проносимо крізь все життя, і щоб підсилити її сенси, мої 10-річні доньки-близнючки Марійка та Даринка разом зі мною створили дуже особливе і зворушливе відео з анімованими дитячими малюнками (це був наш великий сімейний проєкт на пів року).

Розумію, що це не зовсім в тематиці форуму, але нам дуже складно достукатись до нових слухачів після багаторічної творчої паузи, тому намагаюсь використовувати всі можливі комунікаційні канали, щоб знайти правильну авдиторію. Тож подивіться відео, і як припаде до душі — поділіться ним з друзями, підпишіться на наші сторінки і додайте пісні в свої плейлисти.

Відео на YouTube | Посилання на всі стрімінги і соц. мережі

Ну і оскільки ми на DOU, то додам одну технічну деталь про кліп: я дуже скептично відношусь до штучного інтелекту в творчості, але в цьому відео ШІ мене врятував від провалу.

Дівчата створювали малюнки на своїх айпедах в програмі Procreate, яка записує таймлапси процесу малювання, що я в свою чергу експортував і монтував у фінальне відео. І хоча напочатку ми виставляли в налаштуваннях запис в 4k, за замовчуванням там доволі низька якість, яка зовсім не підходить до такого формату відео, де багато наближень до індивідуальних елементів. І в якийсь момент налаштування збились, а я це не помітив, поки не було пізно — багато з малюнків було намальовано з низькою якістю відео.

На порятунок прийшла ШІ-модель для апскейлінгу Real-ESRGAN, яка в першу чергу розроблялась для реставрації старих аніме-серіалів, тому дуже добре працює саме на анімованих малюнках. Я знайшов реалізацію моделі, яка добре працювала на Mac — Real-ESRGAN-ncnn-vulkan, і потім за допомогою ffmpeg розбивав кожне відео, яке записалось в низькій якості, на окремі кадри, кожен проганяв крізь апскейл до 4k в цій моделі, потім склеював всі кадри назад в 4к-відео і його вже використовував в монтажі (в DaVinci Resolve, найкращому і безкоштовному відеоредакторі). Це спрацювало — в фінальному відео ви навряд знайдете відмінності між тими відео, що записались в хорошій якості, і тих, що довелось апскейлити.

Дякую за увагу і буду дуже вдячний коментарям і поширенню! Ну і в якості бонусу, фото авторок відео: