NovelAI泄露模型 环境搭建

前言

https://novelai.net/

泄露模型：磁链下载

是一个基于二次元图片训练的stable diffusion模型，经过实验效果并不如NovelAI官网的效果好，可能是早期版本，但效果也算可以用了。

本文记录一些需要调整的地方。

参考：

https://stable-diffusion-book.vercel.app/https://rentry.co/voldy https://gist.github.com/crosstyan/f912612f4c26e298feec4a2924c41d99https://t.me/StableDiffusion_CN/13436

流程

硬件大概需要8G显存（或Mac M1的统一内存），建议20系及以后显卡。

代码：https://github.com/AUTOMATIC1111/stable-diffusion-webui

支持Win、Mac、Linux系统。

代码更新较快，注意及时拉取最新代码。

模型

泄露中的模型只有这两个有用：

放到models目录，并改名为

hypernetworks（可选）

成功加载后可以在Settings中的Stable Diffusion finetune hypernetwork中看到

剩下在一些运行模式下还需要其他模型，stable-diffusion-webui会自己下载，如果网络慢可以按它的提示手工下载并放到指定位置。

运行及调参

启动参数：

需要增加Negative prompt，例如

Sampling method和Steps：

Euler 25stepsDDIM 20steps

由于stable diffusion特性，图像尺寸不建议调太大，会出现图像上有多个独立物体，没有合理的整体构图。需要高分辨率可以开启Highres.fix或用超分辨率模型单独进行。

Restore faces是优化人脸细节局部的，如果觉得效果还可以的话可以不用。

Settings中将Ignore last layers of CLIP model设为2，这个是NovelAI官方的设置。

CFG Scale：控制图像在【质量】和【符合Prompt】之间的权重，越大越符合Prompt，但可能会降低图像质量。

Denoise Strength: img2img 专属参数, 从 0 到 1 取值, 值越高 AI 对原图的参考程度就越低 (同时增加迭代次数), 用法参考：低 cfg 高 denoise 重绘图, 高 cfg 低 denoise 改细节.

输出设置：

文件名pattern：[seed]-[prompt_spaces][datetime]

Prompt

prompt的调整是个玄学问题，简单说下原则：

虽然感觉很像是跟人交谈，但其实模型不能理解语言，只是在它的训练数据中找相关的【文本-图像对】，所以不要XX之类的描述效果并不好。一般用词组的列表（逗号分隔）就可以了用 () 将要强调的部分扩起来进行强调（权重加强），可以多次使用。

高清图像可以加extremely detailed CG, HD wallpaper之类的词。

高级用法： https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features#prompt-editing

根据数据生成样式embedding

Textual Inversion