基于 Swift 的 llama.cpp 绑定，借助它，您可以直接在您的设备上运行兼容的 LLM 模型。
- 轻量级且易于使用
- 可在 macOS 和 Linux 上运行
- 支持通过结构化并发进行流式传输
- 已为 Swift 6 做好准备！
- 单元测试
- 从 URL 和 HuggingFace 下载模型
使用 Swift Package Manager
.package(url: "https://github.com/srgtuszy/llama-cpp-swift", branch: "main")
这是一个关于如何使用的快速示例。 更多信息，请参考 example/ 文件夹中的示例应用。
// Initialize model
let model = try Model(modelPath: "<model path>")
let llama = try LLama(model: model)
// Results are delivered through an `AsyncStream`
let prompt = "what is the meaning of life?"
for try await token in await llama.infer(prompt: prompt, maxTokens: 1024) {
print(token, terminator: "")
}