Do Prompt-Based Models Really Understand the Meaning of their Prompts? 2021-09-11 2021-09-11 来源：arXiv:2109.01247v1机构：brown任务：prompt结论：模型不能理解不同的 template，能理解不同的 verbalizer实验:手写 template，好好写 / 写无关的 / null templates，这些只对结果有 seed 一样的影响，整体随数据量的趋势都是一致的。misleading templates 会让学习过程变慢，而且大部分也让性能更差，但也有例外手动设计 verbalizer，在 nli 任务上，用 yes-no / yes-no-like / cat-dog / no-yes，发现除了 yes-no 其他的都差得多① misleading template（Does the paragraph start with “the”? ） + yes-no ② 正经 template + cat-dog，发现 ① 比 ② 好得多，而对人来说应该 ② 比较容易（因为 ② 只用学一个 mapping ，① 会让人迷惑）因此这表明，模型不懂 template，也就不会迷惑最后作者猜，也有可能是由于每个样本里都有 template，对分类没差异，因此模型可能都直接忽视了