Entailment as Few-Shot Learner

  • 来源:arXiv:2104.14690v1
  • 机构:FAIR
  • 任务:prompt tuning @ 一些 NLU 任务
  • 动机:A 任务预训练 B 任务 finetune,发现最好的 A 是情感分类或 NLI 任务。于是,所有分类任务都可以改成文本蕴含任务(分类标签都可以改成一个句子,判断是否蕴含)
  • 方法: 预训练用 NLI 任务训练了一个 RoBERta Large,finetune 时,转换成 NLI 任务,拼接输入,CLS 分类
  • 实验:
    • 在 NLI 和情感分类的几个任务上,远超 sota,其他任务 comparable
  • 评价:
    • 感觉动机不太有道理,感觉 heatmap 里不太能看出 NLI 的优越性
    • 性能上的增长,感觉可能也是预训练的功劳?

发表评论