Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity

  • 来源:arXiv:2104.08786v1
  • 任务:prompting 时候,类似 GPT3 的 in-context learning 里面,各例子的顺序问题
  • 动机:in-context learning 的时候,不同例子的顺序对结果影响很大(从随机猜,到接近完整数据集有监督学习的性能),那怎么不依靠 dev (否则还得大量标注)找到这个最好的顺序呢?
  • 对 in-context learning 的研究
    • 参数量对结果没决定性的影响,还是 order 更重要
    • 训练数据量对于不同顺序结果的方差影响很小
    • 不同模型最好的 order 都不一样,无法 transfer
    • 最坏的 order 会让模型在不同类上的表现有非常大的不平均
  • 挑选最好的 order 的方法
    • permute 所有的 order,用一种排列输入语言模型,生成下文。下文就还是很多个 prompting + 结果。就看这个生成的结果里,标签的分布。最好的顺序生成结果的标签分布,应该和原始数据集的标签分布最接近。(我理解就是,如果只有四个数据,正负样本 3:1,那生成的也最好是 3:1?)
  • 实验
    • 有用,作用不小
  • 思考
    • 如果是高天宇的 demonstration,那是不是 order 就不是很有关系了?因为每种就一个嘛

发表评论