Joint Entity and Relation Extraction with Set Prediction Networks

  • 来源:arXiv:2011.01675v2
  • 机构:中科院自动化所
  • 动机:JointRE 三类方法中,seq2seq 的方法有个大问题,就是生成 triplet 的时候都用自回归 decoder,而 triplets 之间是没有顺序的。(个人觉得这个问题很显然啊?这个流派刚一有就会有人在想这个吧?为啥现在还是创新点?)怎么办呢?就用非自回归 decoder + 集合预测 loss
  • 方法:
    • 左边是 BERT,得到 token embedding ​;中间是非自回归解码器,得到 output embedding ​;再通过下面的式子,得到关系类型、头尾实体起始位置的表示,这个五元组就对应一个 triplet 了
    • Bipartite Matching Loss:思路也非常简单,一句话的 triplets 作为一个 set,要匹配预测的 set 和 gold set,就全排列找损失最小的。然后再用这一个排列去计算两个集合的熵(五元组,每一元的“交叉”熵)
  • 实验:
    • SOTA @ NYT & WebNLG

发表评论