lark-parser - 对云雀语法中标记优先级的混淆

Question

继较早的问题之后，我对/.+/正则表达式行的优先级有点困惑；我希望下面的测试能够产生

  line
  line  x
  chunk abc

相反，我得到：

  line
  line  x
  line  abc

    def test_tokenizing(self):
        p = Lark(r"""

        _NL: /\n/
        line.-1: /.+/? _NL
        chunk: /abc/ _NL
        start: (line|chunk)+

        """, parser='lalr')

        text = '\nx\nabc\n'
        print(p.parse(text).pretty())

Answer 1

在 Lark 中，优先级对于规则和终端来说意味着不同的东西。

快速提醒一下，规则的名称是小写的，而终端的名称是大写的。

在 LALR 模式下，规则的优先级仅影响在减少/减少冲突的情况下选择哪一个。它对里面的端子没有影响。

您想要的是更改终端本身的优先级：

def test_tokenizing():
    p = Lark(r"""

    _NL: /\n/
    line: EVERYTHING? _NL
    EVERYTHING.-1: /.+/
    chunk: /abc/ _NL
    start: (line|chunk)+

    """, parser='lalr')

    text = '\nx\nabc\n'
    print(p.parse(text).pretty())