跳至内容
- 来源:arXiv:2104.08786v1
- 任务:prompting 时候,类似 GPT3 的 in-context learning 里面,各例子的顺序问题
- 动机:in-context learning 的时候,不同例子的顺序对结果影响很大(从随机猜,到接近完整数据集有监督学习的性能),那怎么不依靠 dev (否则还得大量标注)找到这个最好的顺序呢?
- 对 in-context learning 的研究
- 参数量对结果没决定性的影响,还是 order 更重要
- 训练数据量对于不同顺序结果的方差影响很小
- 不同模型最好的 order 都不一样,无法 transfer
- 最坏的 order 会让模型在不同类上的表现有非常大的不平均
- 挑选最好的 order 的方法
- permute 所有的 order,用一种排列输入语言模型,生成下文。下文就还是很多个 prompting + 结果。就看这个生成的结果里,标签的分布。最好的顺序生成结果的标签分布,应该和原始数据集的标签分布最接近。(我理解就是,如果只有四个数据,正负样本 3:1,那生成的也最好是 3:1?)
- 实验
- 思考
- 如果是高天宇的 demonstration,那是不是 order 就不是很有关系了?因为每种就一个嘛