- 来源：arXiv:2108.02035v1
- 机构：THUNLP
- 任务：prompt-tuning，verbalizer engineering
- 动机：verbalizer 可以不是单射，比如对于 science 类别，mask 预测称 physics maths 都可以呀！还能增加信息呢。作者就从 KB 构建了一个多对一映射的 verbalizer（无参数的），同时也修改了 loss。
- 方法：三步 construction, refinement, and utilization
- 从 relatedwords.org 找相关词作为备选集合
- 优化：
- 0-shot：剔除 PLM 里 UNK 的词、rare word（通过输入 plm 输出 logits 来看 rare）、将同一类可预测的词归一化（Calibration，不知道怎么翻译）
- few-shot：剔除多个 token 的词、给同一类的每个预测备选一个可学习的权重
- 使用：
- 将所有可预测词 logits 平均，作为这类的 logits
- 用上面 few-shot 得到的权重做加权平均
- 实验：有用、Calibration 有用