Violet

Violet 是一个 Swift <-> Python 互操作的东西，只不过这次我们是从头开始实现整个语言。名字来源于 Violet Evergarden（紫罗兰永恒花园）。

为了这个项目，我们看了很多 没看完的 韩剧 好几个 小时，所以 如果 您能给个 ⭐，我们将非常感谢。

如果有什么地方不工作，您有什么有趣的 idea，或者只是有个问题，您可以发起一个 issue 或讨论。您也可以在 Twitter 上联系我们 @itBrokeAgain (乐观，耶!)。

• Violet
  • 需求
  • 特性
  • 未来计划
  • 来源
  • 测试
  • 代码风格
  • 许可证

• 64 位 - 用于 BigInt 和哈希
• 平台
  • macOS
    • Intel
      • 11.6.2 (Big Sur) + Xcode 12.4 (Swift 5.3.2)
      • 11.6.2 (Big Sur) + Xcode 13.0 (Swift 5.5)
    • Apple
      • 12.3.1 (Monterey) + Xcode 13.3.1 (Swift 5.5.3)
  • Ubuntu
    • 21.04 + Swift 5.4.2 - 使用 make test 和 make pytest
  • Docker
    • swift:latest (5.6.0) - 使用 make docker-test 和 make docker-pytest
    • swift:5.3.2 - 使用 make docker-test-old 和 make docker-pytest-old

整个 Violet 是在 2014 年的 rMBP (最低配置：8GB 内存 + 128 GB 存储) 上编写的，所以可以肯定地说没有其他需求。

我们的目标是兼容 Python 3.7 的特性集。

我们只对语言本身感兴趣，不涉及额外的模块。这意味着除了最基本的模块 (sys, builtins 和一些其他模块) 之外，不支持导入任何其他东西 (虽然你可以导入其他 Python 文件)。

请查看 Documentation 目录，了解已知未实现的特性列表。 不过，没有未知未实现的特性列表……

• 垃圾回收 是一个很棒的特性。 目前，我们分配对象，但唯一可以释放它们的方法是调用 py.destroy()，它会销毁整个 Python 上下文 (以及它拥有的所有对象)。

  顺便说一句，请记住使用 with 语句 来管理资源，不要依赖对象的生命周期 (特别是对于文件描述符)。

• 尾部分配的 tuples。 目前，我们将 tuple 元素存储在 Swift 数组中 (elements: [PyObject])。 更好的主意是在元组之后分配更多空间，并将元素存储在那里 (这在 C 中称为 flexible array member (灵活数组元素))。 这可以节省一个指针间接寻址，并且对缓存更好，因为我们可以将一些第一个元素放在与 type, __dict__ 等相同的行中。我们也可以对其他不可变容器类型执行此操作。

  • str - 目前是原生 Swift String。 这将迫使我们实现自己的 String 类型 - 不难，但需要很多时间。
  • int - 目前是我们自己的 BigInt 实现 (它确实将 Int32 范围内的值存储在指针内部)。

您可以浏览所有模块导出 - open/public 声明 - 这里 (由 Ariel 生成)。

核心模块

• VioletCore - 所有其他模块导入的共享模块。
  • 包含诸如 NonEmptyArray, SourceLocation, SipHash, trap 和 unreachable 之类的东西。
• BigInt - 我们对无限整数的实现
  • 虽然它实现了 BigInt 类型的所有预期操作，但实际上它主要关注小整数的性能 - Python 只有一个 int 类型，并且小数字最常见。
  • 在底层，它是 Int32 的联合 (通过 tagged pointer（标签指针）) (称为 Smi, 之后是 V8) 和堆分配 (幅度 + 符号表示)，带有 ARC 用于垃圾回收。 << 真是令人头大 💤
  • 虽然整个 Violet 尝试尽可能易于阅读/访问，但这不适用于 BigInt 模块。 数字很难，并且由于某种原因，人类决定“除法”是一回事。
• FileSystem - 我们的 Foundation.FileManager 版本。
  • 代码质量参差不齐。 大多数时候是“呃……我需要实现另一个 IO 的东西”。 然后，稍后，所有这些“呃……”都被放入一个模块中。 在所谓的 meantime（与此同时），野生的 swift-system 🐯 出现了，所以也许是时候使用它了？
  • 这是我们不支持其他平台（Windows 等）的主要原因。
• UnicodeData - 显然，我们也捆绑了自己的 Unicode 数据库，因为为什么不呢……
  • 这 有点重要。

Violet

• VioletLexer - 将 Python 源代码转换为 token 流。
• VioletParser - 将 token 流（来自 Lexer）转换为 抽象语法树 (AST)。
  • 另一个 递归下降解析器，带有用于模糊语法的微小黑客。
  • AST 类型定义由 Elsa 模块从 Elsa definitions/ast.letitgo 生成。
• VioletBytecode - 我们 VM 的指令集。
  • 每个 enum Instruction 2 字节。 有一些有趣的案例，例如 .formatValue(conversion: StringConversion, hasFormat: Bool) (其中 StringConversion 是一个有 4 个可能值的 enum)，但编译器应该处理它。
  • 没有相对跳转，只有绝对跳转（通过额外的 labels 数组）。
  • 指令集由 Elsa 模块从 Elsa definitions/opcodes.letitgo 生成。
  • 使用 CodeObjectBuilder 创建 CodeObjects (哇……多么令人惊讶!)。
  • 包含一个小的 窥孔优化器，因为有时语义取决于它（例如，对于 短路求值）。
• VioletCompiler - 负责将 Parser.AST 转换为 Bytecode.CodeObject。
• VioletObjects - 包含所有 Python 对象和模块。

  • Py 代表 Python 上下文。 常见用法：py.newInt(2) 或 py.add(lhs, rhs)。

  • 包含 int, str, list 和 100+ 其他 Python 类型。

  • Python 对象表示为一个 Swift struct，带有一个单独的 ptr: RawPtr 存储属性。 ptr 指向具有自定义布局的堆分配存储。 布局由 Sourcery 使用 sourcery: storedProperty 注释生成。 阅读 Documentation 目录中的文档！

    // sourcery: pytype = int
    public struct PyInt: PyObjectMixin {
      // sourcery: storedProperty
      public var value: BigInt { self.valuePtr.pointee }
    
      public let ptr: RawPtr
    }

  • 包含引导 Python 所需的模块：builtins, sys, _imp, _os 和 _warnings。

  • 不包含 importlib 和 importlib_external 模块，因为这些模块是用 Python 编写的。 它们与 CPython 版本略有不同 (我们有 80% 的代码，但只有 20% 的功能 <great-success-meme.gif>)。

  • PyResult<Wrapped> = Wrapped | PyBaseException 用于错误处理。

• VioletVM - 根据 Bytecode.CodeObject 中的指令操作 Python 对象，以便输出大致类似于 CPython 的操作。
  • 主要是对每个可能的 Instruction 的大量 switch。
• Violet - 主要可执行文件 (duh……)。
• PyTests - 运行从 PyTests 目录编写的 Python 测试。

工具/支持

• Elsa - 用于代码生成的小型 DSL。
  • 使用来自 Elsa definitions 目录的 .letitgo 文件。
  • 用于 Parser.AST 和 Bytecode.Instruction 类型。
• Rapunzel - 基于 Philip Wadler 的 “A prettier printer（一个更漂亮的打印机）” 的漂亮打印机。
  • 用于以易于理解的方式打印 AST。

Violet 中有两种类型的测试

• Swift 测试 - 存储在 ./Tests 目录中的标准 Swift 单元测试。 您可以通过在存储库根目录中键入 make test 来运行它们。

  如果您不接触 BigInt 和 UnicodeData 模块，您可能想要禁用它们的单元测试。

  • BigInt - 我们使用 基于属性的测试，这意味着我们测试数百万个输入以检查通用规则是否成立（例如：a+b=c -> c-a=b 等）。 这需要时间，但通过在位运算中发现奇怪的溢出（我们存储“符号 + 幅度”，因此位运算有点难以实现）来弥补自己。
  • UnicodeData
    • 在我们的一个测试中，我们遍历所有 Unicode 代码点并尝试访问各种属性 (崩溃 -> 失败)。 有 0x11_0000 个值要测试，所以……它并不快。
    • 我们还有 Python 生成的数千个测试。 诸如：“COMBINING VERTICAL LINE ABOVE (U+030d) 是字母数字吗？” (答案：不是。但是您必须注意，因为 HANGUL CHOSEONG THIEUTH (U+1110) 是)。

• Python 测试 - 存储在 ./PyTests 目录中的用 Python 编写的测试。 您可以通过在存储库根目录中键入 make pytest 来运行它们（还有一个用于发布模式的 make pytest-r）。

  • Violet - 专门为 “Violet” 编写的测试。
  • RustPython - 从 github.com/RustPython 获取的测试。

  当您运行 PyTests 模块时，会执行这些测试。

• 2 个空格缩进，完全没有制表符
• 每行 80 个字符
  • 如果您超过 100 个字符，您将收到 SwiftLint 警告。
  • 超过 120 个字符将导致编译错误。
  • 如果 80 个字符没有给您足够的编码空间，那么您的代码过于复杂 - 考虑使用子例程 (来自 PEP-7 的建议)。
• 方法和计算属性中必须使用 self
  • 所有其他的函数参数都必须命名，所以我们也要求这个参数（self）也必须指定。
  • 对于静态方法，推荐使用 Self/类型名称，但不是强制要求。
  • 我确信他们在下一个 Swift 主要版本中会废弃隐式的 self 🤞。所有这些源代码的破坏都是完全合理的。
• 行尾不要有空格
  • 有些编辑器可能会例行删除行尾空格，我们不希望出现奇怪的 git 差异。
• (个人喜好) 尽量为每个 if 条件引入一个命名变量。
  • 你可以使用单个逻辑运算符 - 类似 if !isPrincess 或 if isDisnepCharacter && isPrincess 是允许的。
  • 不要在同一个表达式中使用 && 和 ||，为其中一个创建一个变量。
  • 如果你需要使用括号，那么表达式就已经太复杂了。

总之，只需使用带有提供的预设的 SwiftLint 和 SwiftFormat（请参阅 .swiftlint.yml 和 .swiftformat 文件）。

“Violet” 基于 MIT 许可证授权。 更多信息请参见 LICENSE 文件。