C++ 实战项目之 Boost 搜索引擎

项目地址：https://gitee.com/Vertas/boost-searcher-project

1. 项目背景

• 日常生活中我们使用过很多搜索引擎，比如百度，搜狗，360搜索等。我们今天是要实现一个像百度这样的搜索引擎嘛？那是不可能的，因为像百度这样的搜索引擎搜索的是全网的数据。其数据量之庞大远远超出我们的想象。
• 今天我们要实现的 Boost 搜索引擎是一个栈内搜索引擎。也就是在 Boost 官网https://www.boost.org/ 进行搜索。站内搜索的数据量更加垂直，其实就是数据量更加小！
• 我们为什么要做这个项目的原因还有一个：Boost 官网中并没有栈内搜索的功能。

我们可以在百度中搜索一个关键字看看是什么效果：

我们看到所有的网页都有上图中标注的三个部分：标题，网页内容简介，网页 url。

同理，我们实现的 Boost 搜索引擎搜索关键字时也要展示这三部分信息。

2. 搜索引擎的宏观原理

• 我们需要下载 Boost 库中所有页面的 html 文件，作为后台响应数据。
• 下载完成后，我们需要编写代码，对所有的 html 文件进行去标签，清理数据以及建立索引的工作。
• 我们通过浏览器访问服务器，就是在向服务器发送 Http 请求，通过 Http 请求能够将我们搜索的关键字上传给服务器。
• 服务器就会根据用户搜索的关键字，在提前建立好的索引中查找，将相关的数据返回给用户，用户的浏览器解析之后就能看到搜索的结果啦！

3. 项目的技术栈和环境

• 技术栈: C/C++，C++11, STL, 准标准库Boost，Jsoncpp，cppjieba，cpp-httplib，html5，css，js、jQuery、Ajax。
• 项目环境： Centos 7云服务器，vim/gcc(g++)/Makefile，vscode。

4. 编写数据去标签以及数据清理模块

4.1 下载 Boost 库中所有的 html 页面

• 下载链接：Boost下载

• 使用 rz 命令将下载好的文件上传到 centos 服务器。

• 使用 tar -zxvf 解压下载好的压缩包。

• 我们想要的仅仅是 html 文件，其他的文件我们是不需要的。使用 find 命令来查看下载好的文件到底有多少 html 文件：

  

​ 可以看到一共是有 23987 个 html 文件哈！

4.2 解析 html 文件

我们来看看 html 文件长什么样子，以及什么是标签：

• 双标签由开始标签和结束标签组成，如图标注的双标签： 就是开始标签， 就是结束标签。
• 单标签就只有一个标签哈，如上图中的 标签。
• 我们要做的工作就是将这些标签全部去掉，只保留网页的内容部分。

---

显然，在去标签之前肯定要将 html 文件读取到内存，但是我们下载的 Boost 中不只有 html 文件。因此我们还得做个准备工作：将 Boost 中所有的 html 提取出来。想要提取所有的 html 文件，不可避免要遍历整个目录，但是嘞，C++ 标准库做这个工作不方便，因此我们使用 boost 库中的函数来完成！

安装 boost 开发库：

sudo yum install -y boost-devel # devel 就是开发库的意思哈

我们将要使用 Boost 库中 filesystem.hpp 中的相关类来实现过滤 html 文件。

于是我们设计了一个函数 FilterFile

• 参数一：输入型参数，我们要遍历的目录，也就是是下载好的 Boost 库。
• 参数二：输出型参数，保存我们过滤出来的 html 文件。

bool FilterFile(const std::string& src_dir, std::vector<std::string>* file_list){namespace fs = boost::filesystem;//根据传入的文件创建一个 path 对象fs::path root_path(src_dir);//判断当前目录下是否存在 src_dirif(!fs::exists(root_path)){std::cerr << src_dir << "is a " << "Invalid source path." << std::endl;return false;}//创建一个迭代器，用来遍历 src_dir 目录下的所有文件fs::recursive_directory_iterator end;for(fs::recursive_directory_iterator iter(root_path); iter != end; iter++){//判断遍历到的文件是不是普通文件if(!fs::is_regular_file(*iter)){continue;}//判断遍历到的文件的后缀是不是 .htmlif(iter->path().extension() != ".html"){continue;}// for debug 观察是不是将所有的 html 文件提取出来了std::cout << iter->path().string() << std::endl;//将符合要求的文件放到 vector 中file_list->push_back(iter->path().string());}return true;}

在使用 Boost 库时，编译的时候需要链接你使用到的 Boost 库文件。

g++ -o test debug.cc -std=c++11 -lboost_system -lboost_filesystem

我们通过调用该函数，观察到代码执行效果符合预期：与开头我们使用 find 命令查找的结果一样。

---

提取标题

通过分析 html 页面，我们不难发现一个 html 页面的标题都是在 这个双标签之间的，并且一个 html 文件中 标签有且只有一个。那么我们就可以将每一个 html 文件读取到内存。通过调用 find 函数找到这两个标签的位置。进而获取到 html 页面的标题。

bool ParseTitle(const std::string& content, std::string* title){//查找开始标签的下标size_t start_label = content.find("");if(end_label == std::string::npos){return false;}//截取内容的开始下标size_t begin_pos = start_label + std::string("