Чому ми в ЛУН робимо АІ дизайнера інтерʼєрів і які технології для цього використовуємо

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Привіт! Мене звати Володимир Кубицький, я head of AI в лун/bird. Моя команда, flair — інженери АІ рішень лун. Ми хочемо розповісти, як прийшли до створення АІ дизайнера інтерʼєрів і які технології для нього використали.

АІ працює в проді лун вже 8 років, зокрема: transformer-и для екстракції гео-даних з оголошень, cnn ембедінги для класифікації зображень та їх порівняння, а retrieval моделі для рекомендацій. Ми охоче впроваджуємо технології, які створюють додаткову цінність для користувачів.

Зі зростанням якості генерації зображень у Stable Diffusion та MidJourney, захотілось застосувати їх у нас. Дати можливість користувачу в 1 клік побачити, як буде виглядати квартира з оголошення в іншому стилі. Для новобудов на лун це може принести максимум користі — замість планування можна буде дивитись рендери квартир. АІ візьме на себе частину роботи, яку раніше робив дизайнер інтерʼєрів.

Ми згадали АІ фільтр «з килимами на стіні», який робили на 1 квітня 2018, як фан демонстрацію можливостей cnn image класифікатору для фільтрації оголошень. Він був досить вдалим, тому і в цей раз ми вирішили піти схожим шляхом — для початку зосередитись на двох стилях: килимовий совок і елегантна скандинавія.

Місяць експериментів, тести трьох різних варіантів реалізації, показав — Stable Diffusion з depth2image оптимальний для нас. Для редизайну інтерʼєру важливо зберігати геометрію і наповнення кімнати.

Коментар від ML інженерів з flair:

Спершу ми хотіли використати готову модель Stable Diffusion, тому підбирали такий prompt, який генерував би carpet-style інтерʼєри. Виявилось, що такої «краси» модель не бачила, тому потреба в fine-tune була очевидною.

Почали на датасеті, який був з минулої задачі — АІ фільтру «з килимом на стіні». Перше ж тренування показало, що модель відтворює артефакти з навчальної вибірки: засвіченості, випадкові предмети в кадрі, ефект риб’ячого ока. Ми сформували 13 критеріїв для нової вибірки і відібрали 200 зображень з 10 000 переглянутих.

В нашій задачі Stable Diffusion було достатньо 2х епох для донавчання. На GeForce RTX 3090 це займало 5 хвилин. Ми перебрали сотні наборів параметрів та підходів. Для оцінки якості генерації відібрали пул тестових фото. Редизайн кожного інтерʼєру тривав 20 секунд, тому на валідацію йшло більше часу, ніж на тренування. Зупинились на моделі, яка в 90% випадків генерує якісні фото.

АІ дизайнера інтер’єрів додали в bird як перемикач «з килимами/скандинавія» до першого фото в кожному оголошенні.

Щоб більше людей змогли відчути АІ редизайн ми придумали просту гру з телеграм ботом. В ній треба відгадати, що перед вами — фото київської квартири чи її АІ редизайн.

Будь ласка, знайомтесь з ботом — @flair_redesign_with_ai_bot

Грайте, кайфуйте від інтерʼєрів (не від усіх 😀), і давайте ваші найцінніші відгуки.

Ми вдячні ЗСУ за можливість всьому цьому відбуватись і закликаємо всіх зробити першоквітневий донат.