跳至内容
- 来源：arXiv:2105.09045v1
- 任务：关系抽取
- 动机：RE 数据集上分高，就代表模型理解了句子吗？如果模型真正理解了句子，那么模型预测出 (head, rel, tail) 时，也应该能同时预测出反向的 (tail, inverse_rel, head)
- 内容：作者根据这个假设，构建了一个 probing test，即每个样本都构建一个反向的样本，看模型在正向样本集合与反向样本集合之间预测的
① 差距（Performance Difference，两个数据集上分数的差）
② 一致性（Predictive Immobility Rate，两数据集上 match 的样本数 / 原来数据集上正确的样本数）
③ 一致性（Paired Predictive Rate，match 的样本数 / 总样本数） - 实验：
- f1 都差不多的几个 baseline，在作者的三个指标上会有非常大的差距
- 改进：为了增强模型对关系方向的学习，作者做了两点改进
- 原来是输入句子，现在后面再拼上 关系 和有序的 entity marker
- 训练集也构建类似的反向样本，与原来数据集融合，一起训练
- 实验：
- 两种改进对关系方向的学习都有效（三个指标的提升）
- 在原来的数据集 SemEval 上也有提升