不同大模型的后缀文件格式介绍

在大型深度学习模型的上下文中,.safetensors、.bin 和 .pth ckpt 文件的用途和区别如下:

1.safetensors 文件:

这是由 Hugging Face 推出的一种新型安全模型存储格式,特别关注模型安全性、隐私保护和快速加载。
它仅包含模型的权重参数,而不包括执行代码,这样可以减少模型文件大小,提高加载速度。
加载方式:使用 Hugging Face 提供的相关API来加载 .safetensors 文件,例如 safetensors.torch.load_file() 函数。


2.ckpt文件:

ckpt 文件是 PyTorch Lightning 框架采用的模型存储格式,它不仅包含了模型参数,还包括优化器状态以及可能的训练元数据信息,使得用户可以无缝地恢复训练或执行推理。

3.bin 文件:

通常是一种通用的二进制格式文件,它可以用来存储任意类型的数据。
在机器学习领域,.bin 文件有时用于存储模型权重或其他二进制数据,但并不特指PyTorch的官方标准格式。
对于PyTorch而言,如果用户自己选择将模型权重以二进制格式保存,可能会使用 .bin 扩展名,加载时需要自定义逻辑读取和应用这些权重到模型结构中。

4.pth 文件:

是 PyTorch 中用于保存模型状态的标准格式。
主要用于保存模型的 state_dict,包含了模型的所有可学习参数,或者整个模型(包括结构和参数)。
加载方式:使用 PyTorch 的 torch.load() 函数直接加载 .pth 文件,并通过调用 model.load_state_dict() 将加载的字典应用于模型实例。
总结起来:

  • .safetensors 侧重于安全性和效率,适合于那些希望快速部署且对安全有较高要求的场景,尤其在Hugging Face生态中。
  • .ckpt 文件是 PyTorch Lightning 框架采用的模型存储格式,它不仅包含了模型参数,还包括优化器状态以及可能的训练元数据信息,使得用户可以无缝地恢复训练或执行推理。
  • .bin 文件不是标准化的模型保存格式,但在某些情况下可用于存储原始二进制权重数据,加载时需额外处理。
  • .pth 是PyTorch的标准模型保存格式,方便模型的持久化和复用,支持完整模型结构和参数的保存与恢复。
  • ————————————————

那么在Comfyui中使用的模型一般都放到什么位置呢。

.主模型影响画风存储位置:

  1. 大模型也叫底模型,后缀一般是.ckpt或.safetensors,它包含生成图像所需的一切数据,可以单独使用,同时尺寸较大,通常有几GB。前面提到的Stable Diffusion v1.5模型就是大模型,另外,也可以从Hugging Face或Civitai网站下载其他人发布的各种风格的大模型。
  2. 下载大模型后,可将文件放在Web UI安装目录下的“models/Stable-diffusion”文件夹下

stable-diffusion-webui/models/Stable-diffusion

  1. LoRA模型

大模型是地基,lora就是上面的房子装饰

  1. LoRA(Low-Rank Adaptation)模型可以被认为是大模型的补丁,用于修改或优化图像的样式,例如一些LoRA模型可以给图像添加细节;一些LoRA可以让生成的图片具有胶片拍摄的风格;还有一些可以给人物添加中式武侠风格等。
  2. 它们的尺寸通常为几十MB至几百MB,需要和大模型一起使用,不能单独使用。
  3. 下载LoRA模型后,可将文件放在Web UI安装目录下的“models/Lora”文件夹下。
  4. VAE模型—-相当于滤镜
  5. VAE(Variational Autoencoder,变分自编码器)模型后缀一般是.pt,作用类似于图像滤镜,可用于调整画面风格,还能对内容进行微调。
  6. 部分大型模型自带VAE功能,因此使用不合适的VAE可能会导致图像质量降低。
  7. 可将VAE的文件放在Web UI安装目录下的“models/VAE”文件夹下。
  8. Embedding模型
  9. Embedding模型也称为文本反转(Textual inversions),用于定义新的提示词关键字,通常尺寸为几十KB到几百KB。例如用某个角色的图片训练了一个新的Embedding模型时,将它命名为MyCharacter并安装,之后就可在提示词中通过“MyCharacter”关键词来引入这个角色。
  10. Embedding模型的文件一般放在Web UI安装目录下的“embeddings”文件夹下。

  1. Hypernetworks
  2. Hypernetworks模型后缀名一般是.pt,通常尺寸为几MB到几百MB,是添加到大模型的附加网络模型。
  3. 这类模型的文件一般放在Web UI安装目录下的“models/hypernetworks”文件夹下。

2.扩展插件存放位置

stable-diffusion-webui/extensions

3.ControNet插件存放位置

stable-diffusion-webui/extensions/sd-webui-controlnet

© 版权声明
THE END
喜欢就支持一下吧
点赞14 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容