Stable Diffusion — еволюція до Fooocus

💡 Усі статті, обговорення, новини про AI — в одному місці. Приєднуйтесь до AI спільноти!

Минулої осені я опублікував статтю ’Як працює Stable Diffusion — нейромережа для створення зображень з відкритим кодом’. Щоб запустити її на локальному компу приходилося здійснювати деякі «танці з бубном», одного разу я так зламав, здавалось вже налагоджене, середовище, що був змушений підіймати чисту систему на VM, щоб розібратися в чому проблема.. Але прогрес не зупинити, хоча нейромережі підвели нас до краю прірви — завжди лишається місце для кроку вперед! Жартую ;-)

Просто кілька днів тому я натрапив на більш зручну збірку, яка не потребує жодних зусиль для налаштування і видає значно кращі результати. Це Fooocus.

Як пише сам автор: Fooocus — це переосмислення проектів Stable Diffusion та Midjourney.

1. Як запустити локально

Тестував на Windows 10 з відеокартою Nvidia GeForce RTX 3080.
Заходимо на гітхаб автора, в розділ Windows.
Там є прямий лінк на вже підготовлений архів (~ 2 Gb), про всяк випадок продублюю: Fooocus_win64_2-1-791.7z
Архів розпакуйте в будь-яку папку, що не містить у шляхах кирилиці, я для себе вибрав C:\Fooocus_win64_2-1-791
Майте на увазі, що, після запуску батників, нейромережа буде викачувати додаткові моделі і зрештою займе десь 27+ Gb вільного місця на диску.
Після того як архів буде розпакований, у папці з’являться три файли run.bat, run_anime.bat і run_realistic.bat, кожен з файлів запускає відповідний режим.

• run.bat — універсальний режим підійде і для арту і для реалістичних робіт, добре слідує стилям;
• run_anime.bat — підійде для аніме та художнього арту;
• run_realistic.bat — ідеальний для портретів людей у ​​стилі фотореалізму, генерації реалістичних пейзажів чи предметів;

Щоб не винаходити велосипед, давайте візьмемо за основу готовий prompt якоїсь гарної картинки з Lexica.art та порівняємо результати.
Наприклад щось коротке, на кшалт: Pikatchu by Peter Paul Rubens
Lexica згенерувала таких няшек:

Запускаємо run.bat
Якщо це був перший запуск, то зачекаємо кілька хвилин поки догрузяться всі компоненти:

Далі повинен відкритися дефолтовий браузер з локальним лінком.
Вводимо наш промпт: Pikatchu by Peter Paul Rubens, натискаємо ’Advanced’, у правій частині відкриється додаткова панель з налаштуваннями.
Задамо такий самий розмір картинки — 704×1408, кількість (Image Number) — 4, Performance — Quality, стиль, модель і все інше залишаємо по дефолту:

Натискаємо ’Generate’ і спостерігаємо процес генерації:

Весь процес зайняв в мене десь ~2 хвилини, ось результат:

Робимо лівий клік на зображення та скачуємо кожне, натискаючи на іконку в правому кутку:

2. Результат

3. Висновок

На мій погляд результат вийшов навіть кращий ніж еталонний малюнок, насолоджуйтесь!