跳至内容
- 来源：arXiv:2104.08786v1
- 任务：prompting 时候，类似 GPT3 的 in-context learning 里面，各例子的顺序问题
- 动机：in-context learning 的时候，不同例子的顺序对结果影响很大（从随机猜，到接近完整数据集有监督学习的性能），那怎么不依靠 dev （否则还得大量标注）找到这个最好的顺序呢？
- 对 in-context learning 的研究
- 参数量对结果没决定性的影响，还是 order 更重要
- 训练数据量对于不同顺序结果的方差影响很小
- 不同模型最好的 order 都不一样，无法 transfer
- 最坏的 order 会让模型在不同类上的表现有非常大的不平均
- 挑选最好的 order 的方法
- permute 所有的 order，用一种排列输入语言模型，生成下文。下文就还是很多个 prompting + 结果。就看这个生成的结果里，标签的分布。最好的顺序生成结果的标签分布，应该和原始数据集的标签分布最接近。（我理解就是，如果只有四个数据，正负样本 3:1，那生成的也最好是 3:1?）
- 实验
- 思考
- 如果是高天宇的 demonstration，那是不是 order 就不是很有关系了？因为每种就一个嘛