Parle\Lexer::getToken()函数—用法及示例

函数名：Parle\Lexer::getToken()

适用版本：Parle 0.8.1 及以上版本

用法： Parle\Lexer::getToken() 方法用于从词法分析器中获取下一个标记（token）。它返回一个数组，包含标记的类型和值。

语法：

public Parle\Lexer::getToken(): array

示例：

// 创建词法分析器实例
$lexer = new Parle\Lexer();

// 添加词法规则
$lexer->addSymbol('NUMBER', '[0-9]+');
$lexer->addSymbol('PLUS', '\+');
$lexer->addSymbol('MINUS', '-');
$lexer->addSymbol('MULTIPLY', '\*');
$lexer->addSymbol('DIVIDE', '/');

// 设置输入字符串
$input = '42 + 7 - 3 * 2 / 4';

// 设置输入字符串作为词法分析器的输入
$lexer->setInput($input);

// 循环获取下一个标记
while (($token = $lexer->getToken()) !== null) {
    $type = $token[0];
    $value = $token[1];

    echo "Token Type: $type, Value: $value" . PHP_EOL;
}

输出：

Token Type: NUMBER, Value: 42
Token Type: PLUS, Value: +
Token Type: NUMBER, Value: 7
Token Type: MINUS, Value: -
Token Type: NUMBER, Value: 3
Token Type: MULTIPLY, Value: *
Token Type: NUMBER, Value: 2
Token Type: DIVIDE, Value: /
Token Type: NUMBER, Value: 4

上述示例中，我们使用 Parle\Lexer 类创建一个词法分析器，并添加了一些词法规则。然后，我们将输入字符串设置为词法分析器的输入，并使用 while 循环来获取下一个标记。每个标记都是一个包含类型和值的数组。最后，我们打印出每个标记的类型和值。

请注意，此示例仅用于演示 Parle\Lexer::getToken() 方法的用法，实际使用时需要根据具体需求设置适当的词法规则和处理逻辑。