Template-free Prompt Tuning for Few-shot NER

  • https://arxiv.org/pdf/2109.13532.pdf
  • 本文提出一个跟 prompt 其实没啥关系的方法,但是非常简单,很有意思如图中 b 所示,直接输入句子。实体部分就输出 verbalizer,比如 PER 就对应 john;其它地方就输出原文。这样只用 LM 的参数,连 MLM head 都不需要,就能做 NER。同时这种还很快,输入一句话,里面所有实体就都预测出来了!
  • 对于 verbalizer 的选择,可以用 ① 类别里最多的词 ② LM 一开始输出概率最大的词 ③ 连续的向量,实验证明 ③ 最好
  • 实验还是在小样本上做的,SOTA @ CoNLL03 OntoNotes 5.0 MIT-Movie;速度是 TemplateNER 的 1930 倍

发表评论