C++ 中的词法分析器
词法分析器是一种计算机程序，可将文本流分解为标记并标记它们的类型。它将输入作为一个任意长的字符序列，称为输入字符串，并将输出作为一个或多个字符序列，称为标记序列。
输出可能是令牌序列或仅足以唯一识别它们的信息。
此外，词法分析器通常实现为两个独立的程序：一个从输入流中读取字符，另一个为遇到的每个单词输出标记。
词法分析器主要用于识别文本文件中的错误，例如拼写错误或语法错误。它还用于检测自然语言中的某些模式，如果它们在现实生活中出现，可能会被认为是有害或危险的。
C++ 中词法分析器中标记的概念
令牌是程序中最小和最不可分割的组件。每种语言都有各种类型的标记。
标识符是用户分配给程序多个部分的名称，例如特征和参数。它们之所以这样称呼，是因为它们识别了一个特定的内存地址。
然后是关键字，是语言用来执行各种功能的单词的集合。在 C++ 中，这些包括 cout、cin、if、else、for、break、continue 等等。
标点符号用于创建表达式和语句，它们仅在与语句中的能指或关键字结合时才有用。
C++ 中词法分析器的用途
词法分析器执行以下任务。
- 识别输入文本流中的标记并将它们分组到有意义的类别中。
- 提供有关每个标记的信息，例如其类型和值，这有助于理解输入文本的含义。
- 通过将输入文本分解为更小的含义单元来解析输入文本，以便更容易地对其进行分析。
在 C++ 中使用词法分析器的步骤
让我们讨论在 C++ 中使用词法分析器的步骤。
-
包括头文件。
-
编写一个函数将句子拆分为标记。
-
定义标记和每个标记类型的规则。
-
编写代码以从输入句子中输出标记。
-
测试和调试你的代码，直到它正常工作。
C++ 中的词法分析器示例：
#include <string>
#include <bits/stdc++.h>
using namespace std;
vector<string> demo ={"auto","break","case","char","const","continue","default",
"do","double","else","enum","extern","float","for","goto",
"if","int","signed",
"sizeof","static","struct","switch","typedef","union",
"unsigned","void","volatile","while"};
vector<string> hello ={"-","*","=","+","/"};
vector<string> ten ={"67","87","5","12","90"};
vector<string> parenthesis = {"(",")"};
vector<string> brackets = {"[","]"};
void printout(string q){
if(find(demo.begin(), demo.end(), q) != demo.end())
cout<<q<<" \t keyword\n";
else if(find(hello.begin(), hello.end(), q) != hello.end())
cout<<q<<" \t operator\n";
else if(find(ten.begin(), ten.end(), q) != ten.end())
cout<<q<<" \t number\n";
else if(find(parenthesis.begin(), parenthesis.end(), q) != parenthesis.end())
cout<<q<<" \t paranthesis\n";
else if(find(brackets.begin(), brackets.end(), q) != brackets.end())
cout<<q<<" \t seperator\n";
}
int main(){
string line;
vector<string> sample;
while(getline(cin, line, ' ')){
sample.push_back(line);
}
for(auto q : sample)
printout(q);
return 0;
}
点击这里查看上述代码的演示。
Muhammad Adil is a seasoned programmer and writer who has experience in various fields. He has been programming for over 5 years and have always loved the thrill of solving complex problems. He has skilled in PHP, Python, C++, Java, JavaScript, Ruby on Rails, AngularJS, ReactJS, HTML5 and CSS3. He enjoys putting his experience and knowledge into words.
Facebook