0%

Several Papers about Syntactic Structure Utilization

Several Papers about Syntactic Structure Utilization

近期读的几篇关于如何有效利用句法信息的论文。

1.《Syntax Encoding with Application in Authorship Attribution》

EMNLP’18, By Richong.

希望解决的问题:设计出一种通用的能够解析句法结构表示的方法,此方法需要能够和各种不同的NLP方法结合使用。同时为了验证该方法,作者将其应用到Authorship Attribution任务中(句法结构可以认为是作者的写作风格)。

已有的方法:利用句法信息的方法可以分为两类,一类抽取句法结构树中的特征,这种方法需要人工设计特征提取过程而且丢弃掉了很多句法结构信息;一类利用句法结构复制语义编码,其核心任务还是语义编码只是利用句法信息更好地生成语义表示,此类任务大多在LSTM模型基础上做,和CNN等方法难以结合。

本文的方法(思路):

首先,每个单词$w_i$对应一个Syntax Path: $r(w_i) = {t_1, \cdots, t_L}$,而任意一个句法路径的无序集合$R = {(i, R(w_i))}$都可以用来完整的恢复一个句子中的句法信息。而后,把每个句法路径编码为一个向量$\bar R(w)\in R^K$,这里作者使用了句法符号和其所在的句法树层次的embedding的按元素乘的结果之和作为句法路径的向量表示,比如are这个token的句法路径embedding就是$emb(VP)^t\circ emb^d(p_1) + emb^t(VBP)\circ emb^{d}(p_2)$。作者引入并证明了两个引理,说明只要K足够大,这种Syntax Encoding的方法就不会有句法信息的损失。这样即使不同的NLP下游任务需要不同侧重点的句法信息,也可以保证都包含在encode之后的表示里面。

模型过程:N-Gram的CNN卷积抽取内容信息(语义信息),句法编码抽取句法信息。

实验:在CCAT10,CCAT50,IMDB62,Blogs10,Blogs50这五个AA任务数据集上进行了实验。并进行了各种对照辅助实验分析方法效果。

Future: 句法编码的信息保留,那么如何设计一个足够有效的信息抽取过程 ,保证下游任务需要的信息被抽取出来呢?

2. 《Graph Convolutional Encoders for Syntax-aware Neural Machine Translation》

EMNLP’18, by Joost Bastings, in 阿姆斯特丹&爱丁堡.

机器翻译任务中引入句法结构信息。利用GCN编码句法依赖树。是比较早在生成任务中应用语言学结构辅助并利用图神经网络编码的工作。Bow/CNN/BiRNN + GCN分别进行了实验。