Cutting Down on Prompts and Parameters: Simple Few-Shot Learning with Language Models

  • 来源:arXiv:2106.13353v2
  • 机构:UCI
  • 任务:prompt finetuning
  • 动机:prompt finetune 有两类方法:
    • 在大的预训练模型上(in-context learning),固定所有参数,再输入前面加个 prefix / prompt,只调这一部分的参数。优点:要调的参数少,efficiency;缺点:小预训练模型不行
    • 在小的预训练模型上(prompt-based finetuning),输入 + prompt + verbalizer,finetune 所有的参数。缺点:finetune 完的模型 task-specific
    • -> null prompt + adapter,既用上 prompt tuning 的优点,又 efficient
  • 方法 1:null prompt
    • 遵循了 true FSL 那篇文章的要求😂 train+dev 上 4-fold validation
  • 实验结果:
    • 手动加 prompt 当然最好,但是 null prompt 也是 compatitive 的
    • 即使使用 null prompt(直接拼接不带人造语言)和 null verbalizer(随机挑选词语作为 verbalizer),也比传统的 cls 分类 finetune 好
  • 方法 2:简化 finetune 操作,只有 1% 参数可以被 finetune
    • 就是 adapter……

发表评论