Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification

  • 来源:arXiv:2108.02035v1
  • 机构:THUNLP
  • 任务:prompt-tuning,verbalizer engineering
  • 动机:verbalizer 可以不是单射,比如对于 science 类别,mask 预测称 physics maths 都可以呀!还能增加信息呢。作者就从 KB 构建了一个多对一映射的 verbalizer(无参数的),同时也修改了 loss。
  • 方法:三步 construction, refinement, and utilization
    • 从 relatedwords.org 找相关词作为备选集合
    • 优化:
      • 0-shot:剔除 PLM 里 UNK 的词、rare word(通过输入 plm 输出 logits 来看 rare)、将同一类可预测的词归一化(Calibration,不知道怎么翻译)
      • few-shot:剔除多个 token 的词、给同一类的每个预测备选一个可学习的权重
    • 使用:
      • 将所有可预测词 logits 平均,作为这类的 logits
      • 用上面 few-shot 得到的权重做加权平均
  • 实验:有用、Calibration 有用

发表评论