- 来源:arXiv:2104.14690v1
- 机构:FAIR
- 任务:prompt tuning @ 一些 NLU 任务
- 动机:A 任务预训练 B 任务 finetune,发现最好的 A 是情感分类或 NLI 任务。于是,所有分类任务都可以改成文本蕴含任务(分类标签都可以改成一个句子,判断是否蕴含)
- 方法:
预训练用 NLI 任务训练了一个 RoBERta Large,finetune 时,转换成 NLI 任务,拼接输入,CLS 分类
- 实验:
- 在 NLI 和情感分类的几个任务上,远超 sota,其他任务 comparable
- 评价:
- 感觉动机不太有道理,感觉 heatmap 里不太能看出 NLI 的优越性
- 性能上的增长,感觉可能也是预训练的功劳?