[论文笔记]R-NET: MACHINE READING COMPREHENSION WITH SELF-MATCHING NETWORKS
时间:2023-12-11 10:07:14
引言
本文是R-Net论文1阅读笔记。
摘要
作者介绍了一个端到端的网络模型来解决基于给定文章回答问题的阅读理解问答任务。首先,使用基于注意力的门控循环网络来匹配问题和文章,以获得问题感知。
作者提出了一种自匹配的注意机制来改善文章的表达,可以有效地编码整篇文章的信息。
最后,应用指针网络从文章中定位答案。
核心思想
主要贡献有三个方面:
- 考虑到文章中的单词在回答特定问题时有不同的重要性,基于注意力RNN2增加额外的门控制。基于门控注意的引入门控机制RNN根据文章与问题的相关性,分配不同的重要性,屏蔽不相关的文章部分,强调重要部分。
- 引入自匹配机制,动态纠正基于整篇文章信息的文章,可以有效地压缩整篇文章的信息来回答问题。基于问题感知的文章表明,作者应用了门控制的注意力RNN匹配文章本身,从文章中的每个单词中收集与当前文章单词相关的信息。
- 最后,作者提出了达到当时最高水平的方法。
模型由四部分组成: