CoreML Stable Diffusion 图像生成

该软件包是 Apple 的 Core ML Stable Diffusion 实现和您的应用程序之间的中介,让您可以运行文本到图像或图像到图像模型

SwiftUI 示例

文档 (API)

如何使用该软件包

1. 创建 GenerativeManager

   let manager = GenerativeManager()

2. 运行异步方法 generate

       let images: [CGImage?] = try await manager.generate(
                with: config, 
                by: pipeline
            )

性能

速度可能无法预测。有时,模型运行速度会突然比以前慢很多。 似乎 Core ML 试图聪明地安排事情,但并不总是最佳的。

The concept

The concept

模型的一组典型文件以及每个文件的用途

文件名 描述
TextEncoder.mlmodelc 将输入文本编码到向量空间中以供进一步处理。
Unet.mlmodelc 核心模型,处理将编码向量转换为中间图像表示的过程。
UnetChunk1.mlmodelc 分段 U-Net 模型的第一个片段,用于在内存受限的环境中进行优化处理。
UnetChunk2.mlmodelc 分段 U-Net 模型的第二个片段,完成第一个片段开始的任务。
VAEDecoder.mlmodelc 将潜在表示解码为最终图像输出。
VAEEncoder.mlmodelc 将输入图像数据压缩到潜在空间中,以进行重建或进一步处理。
SafetyChecker.mlmodelc 通过对照预定义的标准进行检查,确保生成的内容符合安全准则。
vocab.json 包含文本编码器用于分词和编码过程的词汇表。
merges.txt 存储文本编码器中使用的字节对编码的合并规则。

文档 (API)

使用的软件包