自然语言处理（NLP）：基于文本语义的智能问答系统

博客：https://wenjie.blog.csdn.net/

作者：艾文编程

抖音：艾文编程，关注我分享小知识

介绍：计算机硕士，10＋工作经验，技术和产品负责人，现就职BAT大厂一线技术专家。

资料获取，请大家查看文章最末尾。

学完您将收获

从0到1搭建基于文本语义的智能问答机器人

了解智能问答系统工业应用和技术方案

掌握文本向量化搜索引擎在工业界应用

掌握文本语义匹配检索系统实现

掌握文本语义的FAQ智能问答实现

适合人群：

NLP算法工程师；想了解智能问答系统从业人员；软件研发人员等

目标：

掌握从0到1搭建基于文本语义的智能问答机器人，掌握BERT模型和Faiss算法库在项目的应用

本项目结合 Facebook AI 研究院开源的针对聚类和相似性搜索库Faiss 、Google提供的BERT模型实现一个基于文本语义的智能问答系统。通过项目案例从0到1搭建FAQ智能问答机器人，让大家轻松掌握 文本语义相似度文本检索系统和FAQ问答机器人在工业界应用。

1 开篇介绍

问答系统是自然语言处理领域一个很经典的问题，它用于回答人们以自然语言形式提出的问题，有着广泛的应用。

经典应用场景包括：智能语音交互、在线客服、知识获取、情感类聊天等。

常见的分类有：生成型、检索型问答系统；单轮问答、多轮问答系统；面向开放领域、特定领域的问答系统。

本文涉及的主要是在检索型、面向特定领域的问答系统——智能客服机器人。

传统客服机器人的搭建流程

通常需要将相关领域的知识（Domain Knowledge），转化为一系列的规则和知识图谱。构建过程中重度依赖“人工”智能，换个场景，换个用户都需要大量的重复劳动。

深度学习-智能问答机器人

深度语言模型会将问题和文档转化为语义向量，从而找到最后的匹配答案。本文借助Google开源的Bert模型结合Faiss开源向量搜索引擎，快速搭建基于语义理解的对话机器人。

案例分享：FAQ问答机器人

FAQ是Frequently Asked Questions的简称。假定我们有一个常见问题和答案的数据库，现在用户提出了一个新问题，能不能自动从常见问题库中抽取出最相关的问题和答案来作答呢？在这个项目中，我们会探索如何构建这样问答机器人。

项目核心技术点：

• 通过深度学习模型判断问题与答案的匹配得分
• 使用BERT模型特征提取并判断问题相似度
• 使用检索引擎Faiss索引构建和检索
• 构建在线FAQ问答系统

1-1 学什么

结合Faiss和bert提供的模型实现了一个中文问答系统。旨在提供一个用Faiss结合各种AI模型实现语义相似度匹配的解决方案。最后通过项目案例实现：文本语义相似度文本检索系统和FAQ问答机器人。

1-2 在线系统DEMO

• 文本语义相似度匹配检索
• 文本语义FAQ问答机器人

项目实现以一种平台化思路建议系统，是一个通用的解决方案。开发者只需要按照数据规范即可，不需要修改代码就可以运行系统了

2 应用场景介绍

CSDN 问答系统：https://ask.csdn.net/

百度知道：https://zhidao.baidu.com/

360问答：https://wenda.so.com/search/

2-1 对话系统整体简介

2-2 文本搜索场景

2-3 论坛相似问答系统

汽车之家拥有全球最大的汽车社区论坛。积累了丰富的用户问答数据，能够解决用户在看车、买车、用车等方面遇到的各种问题。针对用户在平台上提出的各种问题，从海量的高质量问答库中匹配语义最相似的问题和答案

文本数据具有表达多样化、用语不规范（如：车型车系用语存在大量缩写、简写、语序颠倒等现象）、歧义性强（如：“北京”可能指汽车品牌，也可能指城市）等特点，这给传统基于关键词匹配的搜索方法带来了很大挑战。因此，在传统关键词匹配的基础上，进一步引入语义搜索技术，将精华问答库的问题映射为多维向量，进行语义匹配，提升问题匹配准确性。

2-4 智能对话闲聊系统

数据格式： query-answer 对如下

不要骂人 好的，听你的就行了

不要骂人严重的直接禁言 好的，听你的就行了

不要骂人了吧 好的，听你的就行了

不要骂人哦 好的，听你的就行了

不要骂人小心封号啊 好的，听你的就行了

不认识你不记得你 你当我傻逼啊

不认识你昂 你当我傻逼啊

不认识你老哥了 你当我傻逼啊

3 问答系统发展现状

FAQ检索型问答流程是根据用户的新Query去FAQ知识库找到最合适的答案并反馈给用户。

检索过程如图所示

其中，Qi是知识库里的标准问，Ai是标准问对应的答案。

具体处理流程为：

• 候选集离线建好索引
• 线上收到用户 query ，召回一批候选集作为粗排结果传入下一模块进行进一步精确排序；
• 利用matching模型计算用户query和FAQ知识库中问题或答案的匹配程度；
• 利用ranking 模型对候选集做 rerank 并返回 topk个候选答案。
• matching 模型负责对 (query, reply) pair 做特征匹配，其输出的 matching score 通常会作为 ranking 模型的一维特征；
• ranking 模型负责具体的 reranking 工作，其输入是候选回复对应的特征向量，根据实际需求构造不同类型（如：pointwise, pairwise, listwise）的损失函数，其输出的 ranking score 是候选回复的最终排序依据。
• 有些检索系统可能不会明确区分 matching 和 ranking 这两个过程。

3-1 智能问答常用解决方案

针对FAQ检索式问答系统，一般处理流程

• 问答对数据集的清洗
• Embedding
• 模型训练
• 计算文本相似度
• 在问答库中选出与输入问题相似度最高的问题
• 返回相似度最高的问题所对应的答案

搭建一个FAQ问答系统一般实现方法

• 基于ES的智能问题系统

（通过关键词匹配获取答案，类似电商、新闻搜索领域关键词召回）

• 基于TF-IDF方式

（计算每个单词的tfidf数值，分词后换算句子表示。 TF-IDF 方式也在用在关键词提取）

• 基于Doc2Vec 模型（考虑词和段，相比于word2vec来说有了段落信息）
• 通过深度学习语言模型bert 提取向量，然后计算相似度

方案可以扩展到的业务需求（本文介绍的是一种文本语义匹配通用解决方案）

• 智能客服领域语义匹配

（对话系统检索式智能问答系统，答案在知识库中且返回唯一的数据记录）

• 以图搜索（resnet 图片向量化表示）
• 新闻领域文本相似推荐（相似新闻推荐等）
• 基于文本语义匹配检索系统（文本相似性rank ）

针对这类问题，重点文本等通过某种方式进行向量化表示（word2vec、doc2vec、elmo、bert等），然后把这种特征向量进行索引（faiss/Milus) ,最终实现在线服务系统的检索，然后再通过一定的规则进行过滤，获取最终的数据内容。

3-2 传统文本匹配方法存在问题

传统的文本匹配技术有BoW、VSM、TF-IDF、 BM25、Jaccord、SimHash等算法，主要解决字面相似度问题。

面临的困难：

由 于中文含义的丰富性，通常很难直接根据关键字匹配或者基于机器学习的浅层模型来确定两个句子之间的语义相似度。

3-3 深度学习文本匹配

深度学习模型文本做语义表示逐渐应用于检索式问答系统。

相比传统的模型优点：

• 能够节省人工提取特征的大量人力物力
• 从大量的样本中自动提取出词语之间的关系，并能结合短语匹配中的结构信息和文本匹配的层次化特性，发掘传统模型很难发掘的隐含在大量数据中含义不明显的特征

本文采用相似问题匹配来实现一个FAQ问答系统。

问题：什么是相似问题匹配？

答案：即对比用户问题与现有FAQ知识库中问题的相似度，返回用户问题对应的最准确的答案

深度语义匹配模型可以分为两大类，分别是representation-based method 和 interaction-based method，这里我们针对Represention-based Method这种方法进行探索。

这类算法首先将待匹配的两个对象通过深度学习模型进行表示，之后计算这两个表示之间的相似度便可输出两个对象的匹配度。针对匹配度函数f(x,y)的计算通常有两种方法: cosine 函数 和 多层感知器网络（MLP）

对比两种匹配方法的优缺点

• cosine 函数：通过相似度度量函数进行计算，实际使用过程中最常用的就是 cosine 函数，这种方式简单高效，并且得分区间可控意义明确
• 多层感知器网络（MLP）：将两个向量再接一个多层感知器网络（MLP），通过数据去训练拟合出一个匹配度得分，更加灵活拟合能力更强，但对训练的要求也更高

4 问答系统关键技术

Google 的 BERT 模型在 NLP 领域中具有巨大的影响力。它是一个通用的语言表示模型，可以应用于诸多领域。本文的项目是将 Faiss与 BERT 模型结合搭建文本语义匹配检索系统，使用 BERT 模型将文本数据转成向量，结合 Faiss特征向量相似度搜索引擎可以快速搜索相似文本，最终获取想要的结果

4-1 Faiss

Faiss是Facebook AI团队开源的针对聚类和相似性搜索库，为稠密向量提供高效相似度搜索和聚类，支持十亿级别向量的搜索，是目前最为成熟的近似近邻搜索库。它包含多种搜索任意大小向量集（备注：向量集大小由RAM内存决定）的算法，以及用于算法评估和参数调整的支持代码。Faiss用C++编写，并提供与Numpy完美衔接的Python接口。除此以外，对一些核心算法提供了GPU实现。相关介绍参考《Faiss：Facebook 开源的相似性搜索类库》

4-2 BERT

BERT 模型是 Google 发布的一个新的语言表达模型（Language Representation Model），全称是 Bidirectional Encoder Representations from Transformers，即双向编码表征模型。BERT 模型的优势体现在两方面。

• 一方面，它使用基于特别设计的注意力机制（Attention Mechanism）的简单全连接网络取代了复杂的 CNN 和 RNN 网络。不但大大减少了训练时间，同时有效地提升了网络性能。
• 另一方面，BERT 模型是第一个真正捕获上下文语义信息的预训练语言表示模型。这是因为 BERT 模型使用了 Transformer 作为算法的主要框架，而 Transformer 框架能更彻底地捕捉语句中的双向关系。

Google 提供了一些预先训练的模型，其中最基本的两个模型是BERT-base 模型和 BERT-large 模型。具体参数如下表所示：

BERT-base 模型和 BERT-large 模型的参数总量大小和网络层数不同，BERT-large 模型所占计算机内存较多，所以本文项目选用 BERT-base 模型对文本数据进行向量转化。（注：其中，层数（即 Transformer 块个数）表示为 L，隐藏尺寸表示为 H ，自注意力头数表示为 A 。）

5 问答系统实现

关于main.py 主要参数

$ python main.py --help

usage: main.py [-h] --task TASK [--load] [--index] [--n_total N_TOTAL]

[--search] [--sentence SENTENCE] [--topK TOPK]

optional arguments:

-h, --help show this help message and exit

--task TASK project task name

--load load data into db

--index load data text vector into faiss

--n_total N_TOTAL take data n_sample ,generate it into faiss

--search search matched text from faiss

--sentence SENTENCE query text data

--topK TOPK take matched data in topK

第一步：知识库存储 < id,answer>

$ python main.py --task medical --load

第二步：索引构建<id,question>

$ python main.py --task medical --index --n_total 120000

第三步：文本语义相似度匹配检索

$ python main.py --task medical_120000 --search --sentence 得了乙肝怎么治疗

备注：medical_120000 中task_${索引记录数} 组合

完成上述功能后，我们可以在此基础上，根据业务不同搭建一些相关应用，例如：

• 可以实现FAQ智能问答
• 可以实现新闻资讯内容类文本语义匹配召回
• 可以实现基于文本语义的中文检索系统

第四步：基于文本语义检索服务实现FAQ问答

$ python main.py --task medical_120000 --search --sentence 身上出现 --topK 10

第五步：基于文本语义检索服务Web服务

启动服务python app.py --task medical_120000 ，然后访问地址 http://xx.xx.xx.xx:5000/

我们这里呢，使用上述基础服务完成一个FAQ问答机器人

5-1 数据规范

项目数据集包含三个部分：问题数据集+答案数据集+问题-答案唯一标识，数据是一一对应的。

针对不同的业务系统，我们只需要提供这种数据格式，通过本文的模板就可以快速搭建一个demo了，祝大家学习愉快。

5-2 系统整体架构

本文的文本语义匹配搜索项目使用的 Faiss和BERT的整体架构如图所示：

（注：深蓝色线为数据导入过程，橘黄色线为用户查询过程。）

• 首先，本文项目使用开源的 bert-serving ， BERT做句子编码器，标题数据转化为固定长度
• 为 768 维的特征向量，并导入 Milvus 或者Faiss库。
• 然后，对存入 Milvus/Faiss 库中的特征向量进行存储并建立索引，同时原始数据提供唯一ID编码，将 ID 和对应内容存储在 PostgreSQL 中。
• 最后，用户输入一个标题，BERT 将其转成特征向量。Milvus/Faiss 对特征向量进行相似度检索，得到相似的标题的 ID ，在 知识库（PostgreSQL/MySQL/SQLite。。。） 中找出 ID 对应的详细信息返回

6-3 文本向量服务 bert-serving

学习资料：

https://github.com/hanxiao/bert-as-service

https://github.com/tensorflow/tensorflow

https://blog.csdn.net/abc50319/article/details/107171952（关于bert-as-service 使用文章）

使用bert as service 服务

第一步：安装tensorflow

Python >= 3.5

Tensorflow >= 1.10 (one-point-ten)

ubuntu系统-gpu下载离线安装文件并pip安装

tensorboard-1.15.0-py3-none-any.whl

tensorflow_estimator-1.15.1-py2.py3-none-any.whl

tensorflow_gpu-1.15.3-cp37-cp37m-manylinux2010_x86_64.whl

也可以通过下面的方式快速下载（这里下载cpu版本）

pip install tensorflow==1.15.0 --user -i https://pypi.tuna.tsinghua.edu.cn/simple

MAC 系统cpu版本安装

pip3 install --upgrade https://files.pythonhosted.org/packages/dc/65/a94519cd8b4fd61a7b002cb752bfc0c0e5faa25d1f43ec4f0a4705020126/tensorflow-1.15.0-cp37-cp37m-macosx_10_11_x86_64.whl

https://blog.csdn.net/u012359618/article/details/107054741

https://www.tensorflow.org/install/pip?hl=zh-cn#system-install

http://www.yebaochen.com/deep-learning/install-tensorflow-on-mac

验证是否安装

import tensorflow as tf

print(tf.__version__)

第二步：bert-serving 服务搭建

（ 我们在ubuntu系统搭建完成bert-serving ，目录：/home/ubuntu/teacher/ ）

通过bert-serving服务，帮助我们解决：文本-> 向量的转换

1、参考github 提供的代码

git clone https://github.com/hanxiao/bert-as-service.git

2、安装server和client

pip install bert-serving-server # server

pip install bert-serving-client # client, independent of `bert-serving-server`

3、下载pretrained BERT models

Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads, 110M parameters

https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip

解压模型：

chinese_L-12_H-768_A-12

├── bert_config.json

├── bert_model.ckpt.data-00000-of-00001

├── bert_model.ckpt.index

├── bert_model.ckpt.meta

└── vocab.txt

bert_config.json: bert 模型配置参数

vocab.txt: 字典

bert_model: 预训练的模型

4、启动bert-service

nohup bert-serving-start -model_dir chinese_L-12_H-768_A-12 -num_worker 1 -max_seq_len 64 >start_bert_serving.log 2>&1 &

( CPU和GPU 模式都可以 )

针对每个字段进行说明

workers = 4 表示同时并发处理请求数

model_dir 预训练的模型

max_seq_len 业务分析句子的长度

关闭服务

bert-serving-terminate -port 5555

5、测试文本-> 向量表示结果

from bert_serving.client import BertClient
bc = BertClient()
result = bc.encode(['First do it'])
print(result)           

5-4 向量相似度搜索引擎

产品学习手册

5-5 知识库存储

知识库：可以存储mongo/PostgreSQL/mysql 根据数据量进行选择

本文给大家分享的内容，数据存储在mysql上。

备注：关于mysql 的具体安装，大家去上网查找一下。（root,12345678)

大家在学习过程中，如果有任何的问题：可以网站留言（或者 aiwen2100)

create database faiss_qa;

use faiss_qa;

CREATE TABLE `answer_info` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`answer` mediumtext COLLATE utf8mb4_bin,

PRIMARY KEY (`id`),

KEY `answer_info_index_id` (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;

5-6 索引构建

$ python main.py --task medical --index --n_total 120000

5-7 文本语义相似度匹配搜索

$ python main.py --task medical --search --sentence 小安信贷

完成上述功能后，我们可以在此基础上，根据业务不同搭建一些相关应用，例如：

• 可以实现FAQ智能问答
• 可以实现新闻资讯内容类文本语义匹配召回
• 可以实现基于文本语义的中文检索系统

对输入数据微小的差别看看有什么不同？

5-8 文本语义FAQ问答机器人-API接口

首先，我们启动服务：python app.py

然后，请求API 服务地址查看检索检索

$ curl -H "Content-Type:application/json" -X POST --data '{"query": "乙肝怎么治疗"}' http://localhost:5000/api/v1/search | jq

5-9 文本语义FAQ问答机器人-Web界面

启动服务 python app.py，然后访问地址 http://xx.xx.xx.xx:5000/

用户表达的细微差别，通过文本语义匹配总之能找到最佳的答案，最终反馈给用户。

例如： 两种语言表达看看效果

第一句： 小孩子感冒吃什么

第二句： 小孩子感冒不能吃什么

上述明显表达的是两个含义，而通过文本语义的方式也很好得识别出来了，效果还不错。

我们看看后端服务地址数据

注意：FAQ系统依赖bert-serving 服务，请确认正常工作。

http://xx.xx.xx.xx:5000/status,正常情况下的返回结果格式如下：

{

"status":"success",

"ip":"127.0.0.1",

"port":5555,

"identity":"cbc94483-1cd6-406d-b170-0cb04e77725bb"

}

6 总结展望

在 AI 高速发展的时代，我们可以使用深度学习模型去处理各种类型的非结构化数据，例如图片、文本、视频和语音等。本文项目通过 BERT 模型可以将这些非结构化数据提取为特征向量，然后通过Faiss 对这些特征向量进行计算，实现对非结构化数据的分析与检索。

本文利用Faiss搭建的FAQ问答系统也只是其中一个场景，展示了Faiss在非结构化数据处理中的应用。欢迎大家导入自己的数据建立自己的FAQ问答系统（或者文本搜索、智能客服等新系统）。Faiss向量相似度检索引擎搜索十亿向量仅需毫秒响应时间。你可以使用 Faiss探索更多 AI 用法！

具体相关资料请私信留言，分享大家。