C++ 中的词法分析器

Muhammad Adil 2023年1月30日 2022年7月18日
  1. C++ 中词法分析器中标记的概念
  2. C++ 中词法分析器的用途
  3. 在 C++ 中使用词法分析器的步骤
C++ 中的词法分析器

词法分析器是一种计算机程序,可将文本流分解为标记并标记它们的类型。它将输入作为一个任意长的字符序列,称为输入字符串,并将输出作为一个或多个字符序列,称为标记序列。

输出可能是令牌序列或仅足以唯一识别它们的信息。

此外,词法分析器通常实现为两个独立的程序:一个从输入流中读取字符,另一个为遇到的每个单词输出标记。

词法分析器主要用于识别文本文件中的错误,例如拼写错误或语法错误。它还用于检测自然语言中的某些模式,如果它们在现实生活中出现,可能会被认为是有害或危险的。

C++ 中词法分析器中标记的概念

令牌是程序中最小和最不可分割的组件。每种语言都有各种类型的标记。

标识符是用户分配给程序多个部分的名称,例如特征和参数。它们之所以这样称呼,是因为它们识别了一个特定的内存地址。

然后是关键字,是语言用来执行各种功能的单词的集合。在 C++ 中,这些包括 coutcinifelseforbreakcontinue 等等。

标点符号用于创建表达式和语句,它们仅在与语句中的能指或关键字结合时才有用。

C++ 中词法分析器的用途

词法分析器执行以下任务。

  1. 识别输入文本流中的标记并将它们分组到有意义的类别中。
  2. 提供有关每个标记的信息,例如其类型和值,这有助于理解输入文本的含义。
  3. 通过将输入文本分解为更小的含义单元来解析输入文本,以便更容易地对其进行分析。

在 C++ 中使用词法分析器的步骤

让我们讨论在 C++ 中使用词法分析器的步骤。

  • 包括头文件。
  • 编写一个函数将句子拆分为标记。
  • 定义标记和每个标记类型的规则。
  • 编写代码以从输入句子中输出标记。
  • 测试和调试你的代码,直到它正常工作。

C++ 中的词法分析器示例:

#include <string>
#include <bits/stdc++.h>
using namespace std;

vector<string> demo ={"auto","break","case","char","const","continue","default",
                            "do","double","else","enum","extern","float","for","goto",
                            "if","int","signed",
                            "sizeof","static","struct","switch","typedef","union",
                            "unsigned","void","volatile","while"};

vector<string> hello ={"-","*","=","+","/"};

vector<string> ten ={"67","87","5","12","90"};

vector<string> parenthesis = {"(",")"};

vector<string> brackets = {"[","]"};

void printout(string q){

  if(find(demo.begin(), demo.end(), q) != demo.end())
    cout<<q<<" \t keyword\n";
  else if(find(hello.begin(), hello.end(), q) != hello.end())
    cout<<q<<" \t operator\n";
  else if(find(ten.begin(), ten.end(), q) != ten.end())
    cout<<q<<" \t number\n";
  else if(find(parenthesis.begin(), parenthesis.end(), q) != parenthesis.end())
    cout<<q<<" \t paranthesis\n";
  else if(find(brackets.begin(), brackets.end(), q) != brackets.end())

    cout<<q<<" \t seperator\n";

}

int main(){

  string line;
  vector<string> sample;

  while(getline(cin, line, ' ')){
      sample.push_back(line);
  }
  for(auto q : sample)
  printout(q);

  return 0;
}

点击这里查看上述代码的演示。

Muhammad Adil avatar Muhammad Adil avatar

Muhammad Adil is a seasoned programmer and writer who has experience in various fields. He has been programming for over 5 years and have always loved the thrill of solving complex problems. He has skilled in PHP, Python, C++, Java, JavaScript, Ruby on Rails, AngularJS, ReactJS, HTML5 and CSS3. He enjoys putting his experience and knowledge into words.

Facebook