Генерация изображений в Stable Diffusion 1.5: выбор, корректировка и оптимизация
Платформа: https://playgroundai.com/
Генерация качественных изображений — это то, что уже научились хорошо делать генеративные модели, такие как midjourney. Здесь речь пойдёт о бесплатном аналоге, Stable Diffusion 1.5. Рассмотрим как создавать изображения с помощью данной модели.
Интеллект -карта статьи
Постановка задачи: написание imagine prompt
Перед началом генерации изображений с помощью Stable Diffusion 1.5 необходимо ясно сформулировать постановку задачи. На этом шаге важно определить желаемый стиль, содержание и другие параметры генерации, которые помогут определить ожидаемый результат. Четкая постановка задачи облегчает последующие этапы работы и позволяет сосредоточиться на достижении конкретных целей.
Я попросил chatgpt выполнить эту задачу, указав то, что я хочу получить в качестве картинки. Вот мой обычный промпт chatgpt на создание imagine prompt
напиши imagine prompt по моему тексту: юношу с девушкой на ночном мосту в Питере в белую ночь перед разводом мостов. На дальнем плане бортовые огни и волны Невы. Парочка стоят рядом друг с другом, только парень стоит спиной к девушке, его руки за спиной как у заключенного. Парень не любит подругу, которую очаровал и покорил. Девушка сильно влюблена в парня и в бессилии схватила его за руки, чтобы удержать, потому что тот хочет уйти от неё, так как она ему не интересна
А вот полученный imagine prompt на создание картинки. Imagine prompt должен быть на английском языке
Imagine yourself standing on a night bridge in St. Petersburg, during the ethereal White Nights before the bridges separate. In the distance, the gentle glow of the city lights dances upon the waves of the Neva River. You find yourself witnessing a poignant scene between a young man and a woman. They stand side by side, yet the man faces away from her, his hands restrained behind his back like a prisoner. He harbors no love for the woman who once captivated and conquered him. The woman, deeply infatuated with the man, desperately clings to his hands, attempting to hold on, for he yearns to break free, as she fails to pique his interest.
Загрузил в playgroundai.com и получил первый вариант
Путем повторений запроса смог прийти только к такому результату
Это меня не устроило и я решил усложнить процедуру генерации картинки — воспользоваться референсом.
Image to Image. Загрузка референса:
Когда невозможно получить ожидаемый результат, прежде чем приступить к генерации изображения в Stable Diffusion 1.5, необходимо загрузить референсное изображение. Референсное изображение служит основой для сравнения и оценки качества полученных результатов. Оно также может использоваться для определения стиля, цветовой палитры или других характеристик, которые требуется учесть при генерации.
Я использовал
Выбор наилучшего варианта
После завершения генерации изображения в Stable Diffusion 1.5 может предлагать несколько вариантов результата (1-4 шт.). Для выбора наилучшего варианта можно использовать различные критерии, включая визуальное восприятие, сходство с референсным изображением или использование автоматических метрик, таких как структурное сходство или пиксельная ошибка. Оптимальный выбор варианта зависит от поставленных задач и требований.
Из всего предложенного мне понравился экземпляр
Но качество отрисовки оставляет желать лучшего. В следующей итерации я решил использовать этот вариант в качестве референса
и устранить все дефекты здесь с помощью входных параметров модели.
Корректировка изображения
Для достижения наилучшего результата генерации в Stable Diffusion 1.5 можно применять различные методы корректировки изображений. Модель имеет регулируемые параметры, которые могут быть оптимизированы для достижения лучшего результата. Изменение параметров модели позволяет более точно управлять процессом генерации и получить желаемый эффект на изображении.
Image to Image. Image strength
В Stable Diffusion 1.5 присутствует параметр, определяющий степень изменения изображения — Image strength. Этот параметр позволяет контролировать интенсивность преобразований и выбрать оптимальное соотношение между сохранением деталей и общим визуальным восприятием.
У параметра имеется настройка от 0 до 100
Чем выше значение ставится, тем картинка меняется меньше. Если на 0 поставить, то картинка ,вообще, кардинально изменится. Например, на 30 картинки изменяются только в стиле, а поза остаётся и все остальное тоже. 60, 70 и 50 всегда по-разному используются. Если надо изменить не много, то 70-80 берем. Серьёзные изменения наблюдаются ниже 60.
Exclude from Image
Для удаления лишних элементов или артефактов на изображении можно использовать метод Exclude from Image. Это позволяет удалить нежелательные объекты или части изображения, которые могут повлиять на его качество.
EasyNegativeV2, ng_deepnegative_v1_75t car, cars, old, poorly Rendered face poorly drawn face poor facial details poorly drawn hands poorly rendered hands low resolution bad comprosition mutated body parts blurry image disfigured, oversaturated bad anatomy deformed body features fused fingers too many fingers double heads, Deformed, limitation, blurry, bad anatomy, disfigured, poorly drawn face, mutation, moral, mutated, extra limb, ugly, poorly drawn hands, missing limb, sober, blurry, malformed hands, blur, long body, ugly face
Выбор фильтра
Stable Diffusion 1.5 может предлагать различные фильтры или стили, которые можно применить к генерируемому изображению. Выбор конкретного фильтра зависит от предпочтений и целей пользователя.
Я изначально использовал фильтр по умолчанию ReVAnimated. Выбираю его снова
Prompt Guidance. Сила промпта
При использовании Stable Diffusion 1.5 можно использовать текстовые промпты, которые указывают модели, какие особенности или стиль следует учесть при генерации. Контроль силы промпта помогает достичь более точного соответствия требованиям и желаемому стилю изображения.
Удалось выявить закономерность, что когда используется фильтр ReVAnimated и/или референс, то лучше брать силу промта равной 7-8.
В общем, с фильтрами, представленными выше, оптимально работать при силе промпта в диапазоне от трех до десяти. От десяти до пятнадцати наблюдается пограничный вариант, где результат становится специфичным и лучше использовать в экспериментах.
Quality & Details. Качество деталей
Важно обратить внимание на качество деталей при корректировке и оптимизации изображения. Stable Diffusion 1.5 позволяет контролировать детали и сохранять их высокое качество.
Если нет времени на эксперименты, то ставлю обычно этот параметр на отметке 40-50. Бывает, что хорошие результаты достигаются даже при 30, но это уже экспериментальная область.
Заключение
Выставив оптимальные значения параметров, я смог получить подходящее изображение
Генерация изображений в Stable Diffusion 1.5 предоставляет мощный инструмент для создания высококачественных и эстетически приятных изображений. Постановка задачи, выбор наилучшего варианта, корректировка изображения и оптимизация параметров позволяют достичь желаемых результатов. Дальнейшее развитие этой области может привести к улучшению методов генерации и расширению возможностей Stable Diffusion 1.5 для создания уникальных и креативных изображений.
Самые нелепые варианты от нейросети
