OpenQA论文阅读(六) End-to-EndOpen-Domain Question Answering with BERTserini
2022-03-08 17:20:31

image-20220308173007139

原文地址https://arxiv.org/abs/1902.01718

​ 本文主要的创新点是将Bert与Anserini 相结合,构建了一个通过外部知识库从而辅助阅读理解的方法

​ 首先使用英文维基百科数据集,对文章、段落分别建立索引,对于一个新的问题,通过搜索引擎返回top K篇文章(段落),然后feed到 fine tune好的bert reader中生成答案范围,选取分数最高的段落最为最后的答案,实际上思路是很简单的,也就是通过Bert和搜索引擎构建了一个问答系统,但是简单高效,值得参考.

​ 系统的整个框架如下:

image-20220308201346208

​ 结果如下图所示:

image-20220308201429887

​ 实验发现,对句子构建索引生成的结果要好于对文章建立索引,原因显而易见是由于文章中包含过多无关紧要的内容.