Do Prompt-Based Models Really Understand the Meaning of their Prompts? 2021-09-11 2021-09-11 来源:arXiv:2109.01247v1机构:brown任务:prompt结论:模型不能理解不同的 template,能理解不同的 verbalizer实验:手写 template,好好写 / 写无关的 / null templates,这些只对结果有 seed 一样的影响,整体随数据量的趋势都是一致的。misleading templates 会让学习过程变慢,而且大部分也让性能更差,但也有例外手动设计 verbalizer,在 nli 任务上,用 yes-no / yes-no-like / cat-dog / no-yes,发现除了 yes-no 其他的都差得多① misleading template(Does the paragraph start with “the”? ) + yes-no ② 正经 template + cat-dog,发现 ① 比 ② 好得多,而对人来说应该 ② 比较容易(因为 ② 只用学一个 mapping ,① 会让人迷惑)因此这表明,模型不懂 template,也就不会迷惑最后作者猜,也有可能是由于每个样本里都有 template,对分类没差异,因此模型可能都直接忽视了