跳至内容
- 来源:arXiv:2106.13353v2
- 机构:UCI
- 任务:prompt finetuning
- 动机:prompt finetune 有两类方法:
- 在大的预训练模型上(in-context learning),固定所有参数,再输入前面加个 prefix / prompt,只调这一部分的参数。优点:要调的参数少,efficiency;缺点:小预训练模型不行
- 在小的预训练模型上(prompt-based finetuning),输入 + prompt + verbalizer,finetune 所有的参数。缺点:finetune 完的模型 task-specific
- -> null prompt + adapter,既用上 prompt tuning 的优点,又 efficient
- 方法 1:null prompt

- 遵循了 true FSL 那篇文章的要求😂 train+dev 上 4-fold validation
- 实验结果:
- 手动加 prompt 当然最好,但是 null prompt 也是 compatitive 的
- 即使使用 null prompt(直接拼接不带人造语言)和 null verbalizer(随机挑选词语作为 verbalizer),也比传统的 cls 分类 finetune 好
- 方法 2:简化 finetune 操作,只有 1% 参数可以被 finetune