跳至内容
- 来源：arXiv:2106.13353v2
- 机构：UCI
- 任务：prompt finetuning
- 动机：prompt finetune 有两类方法：
- 在大的预训练模型上（in-context learning），固定所有参数，再输入前面加个 prefix / prompt，只调这一部分的参数。优点：要调的参数少，efficiency；缺点：小预训练模型不行
- 在小的预训练模型上（prompt-based finetuning），输入 + prompt + verbalizer，finetune 所有的参数。缺点：finetune 完的模型 task-specific
- -> null prompt + adapter，既用上 prompt tuning 的优点，又 efficient
- 方法 1：null prompt
- 遵循了 true FSL 那篇文章的要求😂 train+dev 上 4-fold validation
- 实验结果：
- 手动加 prompt 当然最好，但是 null prompt 也是 compatitive 的
- 即使使用 null prompt（直接拼接不带人造语言）和 null verbalizer（随机挑选词语作为 verbalizer），也比传统的 cls 分类 finetune 好
- 方法 2：简化 finetune 操作，只有 1% 参数可以被 finetune