注意:python版本一定要用3.10.6
stable-diffusion
大模型生成图片 https://github.com/AUTOMATIC1111/stable-diffusion-webui
将别人ai生成的图片放到PNG info 可以得到他训练时的参数,可以直接导入
运行时最好加上xformers 极大的优化显存占用
.\webui-user.bat --xformers
Lora
可以通过这个自己训练小模型 https://github.com/bmaltais/kohya_ss
图片文件夹设置格式8_tag为一个数字(8表示文件夹中图片重复次数),lora的图片输入文件夹需要为这个文件夹的父文件夹
lora的主要用法是在img2img的inpaint里,去修改原图像的头。
不要在txt2img里面直接用lora。
因为人物肖像的lora,训练素材都是怼脸的大头照,你直接在txt2img里面用,所生成的图片都是大头照。哪怕你在prompt里面输入了 full body,出来的图片还是大头照。当然,你可以降低LORA的权重,就能生成带身体的图片,但是,这样一来,人物的样貌就变了,这不是我们想要的结果。
在txt2img里面,专心制作人物的衣服,动作,场景。最后,再单独用肖像lora,在img2img里的inpaint里进行最后的加工。更加灵活,成品率更高。
值得注意的是,img2img里面的prompt,和Sampling method,要保持和txt2txt里的一样,这样做,可以保证替换的人物脸部跟原图光影统一。
Denoising strength,这个参数非常重要,他调节你的重绘的图和原来图区别有多少