В этом видео вы познакомитесь с ControlNet All in one или еще по другому эту универсальную модель называют ControlNet Union SDXL. Эта модель заменяет основные модели ControlNet SDXL такие как: canny, line art, openpose, scribble, sigmentation, depth, softedge и даже Tile. Эта модель стоит вашего внимания!
📝В этом видео вы познакомитесь с новой высококлассной моделью Kolors и с поддержкой ControlNet для этой модели.
На данный момент поддержка Kolors доступна только в ComfyUI.
Темы:
02:33 - Установка Kolors
07:53 - Разбор схемы Kolors
12:42 - Установка ControlNet для Kolors
18:34 - Эпилог
🔥 Курс по "AUTOMATIC 1111" (https://stabledif.ru/) с моей поддержкой на сайте
🔥 Курс по "ComfyUI" (https://stabledif.ru/comfyui)с моей поддержкой на сайте
🔑 Ссылки и файлы доступны на Boosty (https://boosty.to/stabledif/posts/9f63bc26-9954-49f1-8591-2c...)
Еженедельный стрим для учеников школы stabledif.ru
💥 Темы стрима:
📌 Automatic1111 (https://stabledif.ru/)
2:36 - Теоретические вопросы по A1111 и ComfyUI
Какие маркировки у моделей существуют. Какие модели универсальные и стоит ли качать большую колекцию моделей. ControlNet модели safetensors и yaml. ControlNet_ALL_IN_ONE или ControlNet_Union, ControlNet++. Что такое VAE. sdxl_vae или vae-840000. Как сделать Backup своей сборки правильно. Automatic1.9 или Forge1.9
34:10 - Толпа и Adetailer A1111
41:27 - Prompt Fooocus в Automatic1111
49:42 - Тестируем подсказку токенов для реалистичной кожи
1:01:33 - Сравним модели SDXL A1111
1:08:01 - Удаляем или заменяем фон REMBG A1111
1:15:00 - Апскейл герба A1111
1:25:22 - OpenPose A1111
1:34:25 - Волк из Ну, Погоди – меняем стиль A1111
📌 ComfyUI (https://stabledif.ru/comfyUI)
1:08:01 - Как сгенерированное изображение отправить на вход
1:49:01- ComfyUI Cloud – для поиска по узлам а не по наборам
1:52:40 - Kolors
2:08:55 - Kolors + ControlNet
2:28:10 - ContralNet-ProMax++ - сравниваем
2:45:10 - AuraSR – Быстрый и крутой апскейлер - аналог GigaScale
2:57:16 - AuraFlow
Картинка создана в Stable Diffusion
Материал очень объёмный и, что самое важное, структурированный. Часть материала представлена в видеоформате, часть – в виде текстов с примерами. Есть также матрицы картинок, множество файлов с примерами и домашние задания для закрепления изученного материала. Как вы понимаете, вся информация не поместится в один пост.
Материал рассчитан на новичков. Мы начнём с самых основ и будем постепенно переходить к более сложным техникам. В завершение курса мы изучим продвинутые плагины, которые будут полезны всем.
По сути, это авторский курс, но не спешите бросать камни – курс абсолютно бесплатный. Зачем я это делаю? Во-первых, мне просто доставляет удовольствие делиться знаниями, во-вторых, несмотря на бесплатность курса, я не отказываюсь от пожертвований, и все, кто сочтёт нужным, могут меня поддержать.
Актуальный список уроков всегда доступен на платформе Sponsr (бесплатно).
Для решения вопросов приходите в мой чат поддержки – TechnomagiX
⚡ Модуль 1. Что такое Stable Diffusion?
Что узнаете:
✅ Как генерируются изображения.
✅ На каких картинках обучалась нейросеть
✅ Ограничения SD
⚡ Модуль 2. Установка программы и первый запуск
Что узнаете:
✅ Как установить SD на свой компьютер
✅ Как запустить SD на удалённом сервере
⚡ Модуль 3. Онтология промпта (семантическая сеть и микросюжет)
Что узнаете:
✅ Виды промптов
✅ Что такое тип промпта
✅ Что такое объект промпта
✅ Что такое модификатор в промпте
⚡ Модуль 4. Prompt-инжиниринг базовый
Что узнаете:
✅ Как влияют ключевые слова
✅ Что такое негативный промпт
✅ Как управлять стилями
✅ Какие есть виды сэмплеров
✅ Как применять основные настройки: CFG, SEED, Step, восстановление лица и множество других настроек
⚡ Модуль 5. Синтаксис в prompt-инжиниринге
Что узнаете:
✅ Что такое токены
✅ Как влияют особые символы
✅ Как применять расширенный синтаксис для управления промптом
⚡ Модуль 6. Модель
Что узнаете:
✅ В чём различия между моделями
✅ Где скачивать модели
✅ Безопасность при использовании моделей
✅ Зачем нужен вариационный автоэнкодер
⚡ Модуль 7. Генерация матриц
Что узнаете:
✅ Как использовать скрипты
⚡ Модуль 8. Чтение метаданных изображения
Что узнаете:
✅ Как извлекать промпт из любого изображения
✅ Как организовать хранение изображений
✅ Программы и расширения для работы с метаданными
⚡ Модуль 9. IMG2IMG (Генерация картинки из картинки)
Что узнаете:
✅ Как создавать вариации из картинки
✅ Как работать с масками
✅ Скрипты для IMG2IMG вкладки
✅ Раскадровка и пакетная работа с картинками
⚡ Модуль 10. Работа с моделями
Что узнаете:
✅ Как объединять модели
✅ Как перенести особенности одной модели в другую
✅ Как создать inpaint модель
⚡ Модуль 11. Масштабирование и исправление изображений
Что узнаете:
✅ Различия между апскейлерми
✅ Способы исправления лиц: codeformer, gfpgan
⚡ Модуль 12. Применяем экстрасети. Эмбединги | Гиперсети | Lora
Что узнаете:
✅ Как применять эмбединги
✅ Как применять гиперсети
✅ Как применять LORA
⚡ Модуль 13. Controlnet – главное расширение SD.
Что узнаете:
✅ Генерация по референсу
✅ Создаём стилизованные QR-коды
✅ Стилизация фотографий
⚡ Модуль 14. Дообучаем нейронку на своих картинках.
Что узнаете:
✅ Как дообучить свой чекпоинт на стиль / на персонажа
✅ Как тренировать свою LORA
⚡ Модуль 15. Изучаем важнейшие плагины SD.
✅ ...
Часть уроков уже доступно, остальные находятся в процессе написания.
Ютюб-канал с видеоуроками Technomagix
Ещё у меня есть телеграм-канал Дневник Алхимика, где я пишу про нейронки и разные технологии, заходите почитать.
В этом видео я расскажу о самой лучшей нейросети на сегодняшний день - Stable Diffusion WebUI Forge, аналог Avtomatic1111.
✨ Что вы узнаете:
- Процесс установки и откуда скачать Stable Diffusion WebUI Forge
- Об интерфейсе и основных настройках Forge скачать, как установить,
- О новых расширениях встроенных расширениях
- О новой модели для и Control net - Photomaker Желаю приятного просмотра)
🔥 Сборка уже обновлена включает в себя:
✅ дополнительные расширения: adetailer, clip-interrogator, sd-webui-ar-plus, sd-webui-prompt-all-in-one, sd-webui-tinycards, stylez, a-detailer
✅ популярные негативные инверсии, подборку моих стилей (около 200 шт.),
✅ дополнительные апскейлеры foolhardy-Remacri, NMKD-Faces, AnimeSharp, и др., VAE - 840000, 560000, sdxl, anime2 и пр. )
Там же все ссылки на все модели для Control net, модель photomaker а так же все остальные модели для Control net и многое другое
Триггерные слова для Photomaker - a photo of photomaker
Все модели, lora, lycoris, текстовые инверсии и пр. можно найти тут - civitai.com
✏️ Пример пути к вашим моделям в файле webui-user.bat:
--ckpt-dir "C:\Forge\webui\models\Stable-diffusion"
--embeddings-dir "C:\Forge\webui\embeddings"
--lora-dir "C:\Forge\webui\models\Lora"
--vae-dir "C:\Forge\webui\models\VAE"
--hypernetwork-dir "C:\Forge\webui\models\hypernetworks"
✏️ В Фокусе заходим в файл config.txt и исправляем путь по примеру -
"path_checkpoints": "C:\\Forge\\webui\\models\\Stable-diffusion",
Привет, друзья! В этом видео я расскажу вам о революционном инструменте InstantID, который позволяет создавать невероятные изображения с использованием вашего лица!🌟 Будь то аниме аватар или художественное изображение, InstantID делает сходство поразительным. 🎭 Вы узнаете, как работает эта технология, как ей пользоваться на Huggingface, запустить в Colab, и если у вас есть видеокарта с 12+ ГБ видеопамяти, я покажу вам портативную версию и установку в Automatic 1111! 🎨
Ссылки из видео:
Мои ссылки:
Всем привет! В этом видео вы узнаете о новом способе восстановления рук в Stable Diffusion, который называется "Hand Refiner" и работает через ControlNet в Automatic 1111. Разбираемся, действительно ли новый препроцессор решает проблему кривых рук, рассказываю как он работает и как его можно применять - есть аж три разных способа! Также затронем тему установки ControlNet.
Ссылки в ролике:
🔗 ControlNet: https://github.com/Mikubill/sd-webui-controlnet
👥 Модели для ControlNet: https://civitai.com/models/38784?modelVersionId=67566
✋ Модель Hand Refiner: https://huggingface.co/hr16/ControlNet-HandRefiner-pruned/bl...
🖐 Лора Perfect Hands: https://civitai.com/models/200255?modelVersionId=228003
🗳 Поддержать ArtGeneration.me голосом: https://productradar.ru/?groupby=year
Мои ссылки:
🚀 Подпишись на Бусти там записи стримов, эксклюзив и ролики выходят раньше: https://boosty.to/neuro_art
📢 Подпишись на основной телеграм, чтобы ничего не пропустить: https://t.me/neuro_art0
🎨 Наша онлайн нейросеть для создания изображений: https://artgeneration.me/
🎓 Только изучаешь нейросети? Начни с наших обучающих курсов: https://neurophotograph.ru/catalog
📱 Подпишись сразу на все мои нейро-каналы в телеграм: https://t.me/addlist/LQ-fUTyhVjEzYjIy
Всем привет, не успели мы отойти от шока, что руки теперь не проблема, так оказывается еще пару недель назад вышел препроцессор для ControlNet который позволяет получать скелет не только людей, как было раньше, но и животных. Я вот только узнал об этом и спешу рассказать вам.
Что нам понадобится:
Automatic 1111 актуальной версии.
Обновленный ControlNet.
Модель CN Animal OpenPose.
Любимая модель 1.5, у меня сегодня A-Zovya Photoreal.
Но сначала расскажу что такое OpenPose, это серия моделей для ControlNet, которые служат для трекинга и воссоздания поз человека, выглядит это примерно так: вы загружаете картинку в контролнет, и получаете с ней скелет модели, а дальше можете в той же позе создать другие изображения.
Естественно с животными это не работало, потому что у них совсем другой скелет и использовать существующие модели было невозможно для братьев наших меньших.
Но вот появилась модель и препроцессор для работы с животными, перейдем к установке.
Обновляете ControlNet зайдя в Extensions и нажав на кнопку Check for updates, дожидается завершения и нажимается на Apply. Модель Animal OpenPose надо положить в папку stable-diffusion-webui\models\ControlNet. Вот все в принципе и готово. Проверяем.
Если вы все сделали правильно, то у вас все выглядит примерно таким же образом, я взял фотку рандомного кота из гугла, вы можете попробовать другую зверушку. Выбираем препроцессор Animal_openpose и нажимаем на кнопочку со взрывом, через некоторое время у вас должна будет отобразиться карта в форме схематичного скелета бедной зверушки.
Например так выглядит кот с картинки выше.
OpenPose есть? А если найду? Ну допустим курлык. Не смог выбрать шутку, держите обе.
А вот такой кот у меня получился по простому запросу raw photo of sitting cat, motion, 8k, uhd с этой картой.
Не идеально, но согласитесь весьма неплохо и главное достаточно просто. Так что теперь сможете наделать отличных портретов своего любимого кота.
Конечно как и все на 1.5 моделях это тоже работает не идеально, но если у вас хороший скилл по инпеинтингу, то вас не напугает даже самая большая проблема - многожопость.
Многожопость лечится инпеинтинг и перегенерацией.
Инпеинтить такие ситуации гораздо проще если использовать inpainting модель для ControlNet.
В тех случаях, когда что-то идет не так и карта создается совсем уж кривая вы можете отредактировать её самостоятельно, сделайте карту, и кликните на Edit в предпросмотре.
Ну совсем на лошадь не похоже.
В открывшемся окне вы сможете отредактировать ключевые точки, просто кликайте по ними и переносите. Это потребует некоторой сноровки прежде чем вы поймете какая кость за что отвечает и как их сгибать чтобы зверушки не выглядели как в FNaF, но у вас обязательно получится. Когда закончите нажмите кнопку - Отправить позу в ControlNet, ну или Скачать JSON, чтобы воспользоваться этой картой позже.
Ах вот ты какой Animal OpenPose
Теперь вам будет проще сделать что-то классное, вы можете комбинировать разные слои CN чтобы получить что-то новое, например человека бегущего с собакой рядом и теперь собака будет иметь реалистичные движения, потому что вы сможете создать её по настоящему изображению.
Отличный пример от моего корейского коллеги
А совсем скоро выйдет видео про работу с руками, до сих пор тестирую различные варианты, чтобы выбрать самый лучший, так что подпишитесь везде, чтобы не пропустить.
