0%

When Bert Forgets How To POS: Amnesic Probing of Linguistic Properties and MLM Predictions

When Bert Forgets How To POS: Amnesic Probing of Linguistic Properties and MLM Predictions

http://arxiv.org/abs/2006.00995, by 巴伊兰大学和AI2。

利用一种改进的Probe方法来对黑盒NN模型的行为进行分析,判断。

1.常用的Probe方法及其不足。

什么是probe?增强神经网络模型可解释性的方法。理解这个黑盒子,尝试回答比如BERT的每个head编码了哪些信息?哪些hidden state的维度被实际用在了预测中?如果去掉某些信息会怎么样?等问题。probe是解决这类问题的一种方法,也可以叫做auxilliary prediction【辅助预测】或者diagnostic classification【诊断分类】。

probe的过程?固定pre-train的原始模型的feature层,通过在原始模型的上层训练一个简单的分类网络,以对某种属性property的预测准确率来证明该信息被编码到了原始模型的隐藏表示中。

不足?只能证明信息被encode到了隐藏表示中,无法证明原始模型有效利用了这些信息。

2.这篇文章提出的方法:Amnesic Probing。

改进方式:反事实推理,假设某种属性P被解决任务T的原始模型有效使用了,那么把P去掉肯定会影响原始模型解决T的能力 。因此如果去掉P不影响解决T的能力,那么P中的信息就没有被有效利用。Intervention介入:这个工作和之前一些工作不同的地方在于它通过修改表示层来介入。其实很像是ablation,只是这里不能重新训练原始模型,算是黑盒子版本的ablation。

步骤:

0.问题:原始模型负责将输入数据 编码为隐藏表示,而probe负责构建一个分类器用来预测目标任务中的分类标签

1.构建反事实表示(counterfactual representation),这里利用了最近的一种方法Iterative Null- space Projection(INLP),试图构造出一种和属性Z无关的隐藏表示。在构造的时候,主要关注了两个问题,1)信息额外遗失,会导致因为hidden state被修改而性能下降而非属性的去除;2)其他属性信息丢失,如何保证去掉的仅仅是属性Z相关的信息,而不涉及到其他属性。构建的细节暂时略过。这个过程被叫做Amnesic Intervention

2.实验。在BERT上面进行了实验,probe任务是多个语言学特征(POS、DEP、NER、phrase start、phrase end)的序列标注任务,原始任务是LM。作者实验的逻辑是:

  • 首先增加分类层,证明hidden state中有这些信息,而且利用这些信息能够得到一个不错的分类器(比如POS tagger),以往的有些probe论文就此认为BERT利用了这些信息但作者认为这只能证明hidden state中有这些信息;结果如下表中Probing行。
  • 而后作者利用之前提出的介入过程,分别去掉hidden state中与这些语言学特征相关的信息,然后观察下表中LM-ACC即语言模型预测token的准确率。可以看到相比较之前的Vanilla行,Amnestic在去掉依赖、粗粒度和细粒度词性特征的时候效果下降最多,而LM基本没有利用到phrase信息。作者认为这才能准确的度量某一类信息到底有没有被使用。而相关性系数计算表明,若本文提出的方式是对的,那么Probe task的性能不能有效度量某一类信息对原始模型预测的影响。
  • 额外的,为了比较对hidden state进行介入前后的LM在预测分布上的总体差别,作者引入了介入前后预测分布的KL散度(都和Vanilla比较),结果和Acc行的结果是类似的。

最后,作者还进行了一系列的子实验。

3.总结。

probe任务的效果好只能证明hidden state中包含这一类信息,但无法证明这一类信息在预测原始任务T的时候被使用了。

如果本文中的介入方法INLP真的可以完全去除且只去除表征特定属性Z的信息,那么由去除该信息后的隐藏表示在原始任务上的性能变化来体现原始模型中Z对原始任务的重要度是合理的。