We use cookies to improve your experience with our site.

基于双重依存树的神经关系抽取

Neural Attentional Relation Extraction with Dual Dependency Trees

  • 摘要: 关系抽取可以探测句子中两个或多个实体之间的关系,它为信息检索、知识库建立、情感分析和智能问答系统的建立提供支持和依据。在众多的关系抽取方法中,基于依存的方法是当前关系抽取领域最流行的方法。基于依存的方法主要是根据句子构造的依存树,使用剪枝策略来获取有效的特征,再通过神经网络抽取特征实现关系的分类。然而,过于激进的剪枝策略有时会消除句子中的重要信息,而过于保守的剪枝策略又会使得句子中冗余信息过多而影响关系抽取的结果。
    本文的研究目的是通过使用双重依存树,从不同角度更加完整的获取句子中的有效信息,同时使用局部全局注意力机制,消除不当剪枝策略对于关系分类结果的影响。
    为此,文本提出了DDT-REM,一种使用双重依存树结合图卷积神经网络获取特征并进行关系分类的关系抽取模型。在该模型中,我们使用了句法依存树和语义依存树从句子的不同角度获取句子的句法和语义两方面的特征,同时在句法依存上使用了局部全局注意力机制获取更深层的句法特征。我们构造了三个不同的特征向量作为图卷积神经网络的输入,从而将获取到的多特征信息进行关系分类任务。
    我们在三个数据集进行了实验,实验结果表明,在三个数据集实验的F1值分别达到了68.5%,84.9%和82.4%,与其它所有对比模型相比均取得了最佳效果。同时我们进行了模型的消融实验,以评估模型的各个组成部分对于模型整体性能的影响。并且,我们对句子长度对于模型性能的影响进行了实验,实验结果表明本文提出的模型在句子长度为30, 40时能够达到最好的效果,同时随着句子长度的改变,模型变化程度相对较小,说明该模型具有很好的泛化能力。
    因此,双重依存树的使用能够从句子的不同角度获取更加丰富的语义特征,同时局部全局注意力机制能够消除由于不当剪枝操作带来的特征不足或噪声过大的问题,从而提高关系分类的准确性。
    我们希望文中提到的方法和技术对于关系抽取研究以及知识图谱构建、信息检索能够具有一定的参考价值。

     

    Abstract: Relation extraction has been widely used to find semantic relations between entities from plain text. Dependency trees provide deeper semantic information for relation extraction. However, existing dependency tree based models adopt pruning strategies that are too aggressive or conservative, leading to insufficient semantic information or excessive noise in relation extraction models. To overcome this issue, we propose the Neural Attentional Relation Extraction Model with Dual Dependency Trees (called DDT-REM), which takes advantage of both the syntactic dependency tree and the semantic dependency tree to well capture syntactic features and semantic features, respectively. Specifically, we first propose novel representation learning to capture the dependency relations from both syntax and semantics. Second, for the syntactic dependency tree, we propose a local-global attention mechanism to solve semantic deficits. We design an extension of graph convolutional networks (GCNs) to perform relation extraction, which effectively improves the extraction accuracy. We conduct experimental studies based on three real-world datasets. Compared with the traditional methods, our method improves the F 1 scores by 0.3, 0.1 and 1.6 on three real-world datasets, respectively.

     

/

返回文章
返回