PTR: Prompt Tuning with Rules for Text Classification

  • 来源:arXiv:2105.11259v1
  • 机构:THUNLP
  • 任务:prompting 关系分类
  • 动机:分类的时候,如果类别很多,prompting 的方法就不好用了。怎么办呢?将多分类解耦
  • 方法:
    • 用 RE 举例,头实体分出类别,尾实体分出类别,句子分出类别,这三个类别组合在一起,得到最终的关系类别
    • 输入的就是一句话中间有三个 mask,同时预测
  • 实验:
    • TACRED 里面,如果有互为反向的关系,就把它改成 xxx(reversed),感觉是非常 make sense 的 trick
    • RoBERTa-Large 比 BERT + 一顿操作都强,说明 inductive bias 还是不如知识
    • knowledge-enhanced PLMs defeat the vanilla PLM ROBERTA_LARGE,说明 finetune 还是没能完全学到知识
    • PTR 最最强,比各种输入形式都好,并且 reverse 大大地有用

发表评论