这个仓库中的代码正在不断地修订/重构。你可以说我是在开发 LLMFarm 的过程中学习 Swift 的。所以不要对你在这里找到的代码期望太高。如果您对代码、其风格或架构有任何有用的意见，我将很高兴听到。

LLMFarm_core swift 库，用于处理大型语言模型 (LLM)。它允许您使用特定参数加载不同的 LLM。
基于 ggml 和 llama.cpp，作者是 Georgi Gerganov。

• MacOS (13+)
• iOS (16+)
• 各种推理
• 各种采样方法
• Metal (在 intel Mac 上无法工作)
• 模型设置模板
• LoRA 适配器支持 (阅读更多)
• LoRA 训练支持
• LoRA 导出为模型支持
• 恢复上下文状态（现在仅限聊天历史）

查看完整列表 这里。

• Temperature (temp, tok-k, top-p)
• Tail Free Sampling (TFS)
• Locally Typical Sampling
• Mirostat
• Greedy
• Grammar
• Classifier-Free Guidance

git clone https://github.com/guinmoon/llmfarm_core.swift

使用 Xcode 将 llmfarm_core 添加到您的项目（文件 > Add Packages...）或将其添加到您项目的 Package.swift 文件中

dependencies: [
  .package(url: "https://github.com/guinmoon/llmfarm_core.swift")
]

要调试 llmfarm_core 包，请不要忘记在 Package.swift 中注释掉 .unsafeFlags(["-Ofast"])。请记住，调试版本比发布版本慢。

• rwkv.cpp，作者是 saharNooby。
• Mia，作者是 byroneverson。
• swift-markdown-ui，作者是 gonzalezreal

• LLM Farm

在 iOS 和 MacOS 上本地运行 LLaMA 和其他大型语言模型的应用程序。