- 来源:arXiv:2108.02035v1
- 机构:THUNLP
- 任务:prompt-tuning,verbalizer engineering
- 动机:verbalizer 可以不是单射,比如对于 science 类别,mask 预测称 physics maths 都可以呀!还能增加信息呢。作者就从 KB 构建了一个多对一映射的 verbalizer(无参数的),同时也修改了 loss。
- 方法:三步 construction, refinement, and utilization
- 从 relatedwords.org 找相关词作为备选集合
- 优化:
- 0-shot:剔除 PLM 里 UNK 的词、rare word(通过输入 plm 输出 logits 来看 rare)、将同一类可预测的词归一化(Calibration,不知道怎么翻译)
- few-shot:剔除多个 token 的词、给同一类的每个预测备选一个可学习的权重
- 使用:
- 将所有可预测词 logits 平均,作为这类的 logits
- 用上面 few-shot 得到的权重做加权平均
- 实验:有用、Calibration 有用