Do Models Learn the Directionality of Relations? A New Evaluation Task: Relation Direction Recognition

  • 来源:arXiv:2105.09045v1
  • 任务:关系抽取
  • 动机:RE 数据集上分高,就代表模型理解了句子吗?如果模型真正理解了句子,那么模型预测出 (head, rel, tail) 时,也应该能同时预测出反向的 (tail, inverse_rel, head)
  • 内容:作者根据这个假设,构建了一个 probing test,即每个样本都构建一个反向的样本,看模型在正向样本集合与反向样本集合之间预测的
    ① 差距(Performance Difference,两个数据集上分数的差)
    ② 一致性(Predictive Immobility Rate,两数据集上 match 的样本数 / 原来数据集上正确的样本数)
    ③ 一致性(Paired Predictive Rate,match 的样本数 / 总样本数)
  • 实验:
    • f1 都差不多的几个 baseline,在作者的三个指标上会有非常大的差距
  • 改进:为了增强模型对关系方向的学习,作者做了两点改进
    • 原来是输入句子,现在后面再拼上 关系 和有序的 entity marker
    • 训练集也构建类似的反向样本,与原来数据集融合,一起训练
  • 实验:
    • 两种改进对关系方向的学习都有效(三个指标的提升)
    • 在原来的数据集 SemEval 上也有提升

发表评论

您的电子邮箱地址不会被公开。