2020 NER 文章速览

EMNLP 2020

titleideatypeSOTA
Local Additivity Based Data Augmentation for Semi-supervised NER对于 mixup 这一类数据增强方法在 序列标注 问题上的改进:在融合两句话的时候,① 挑选的时候用 KNN 挑选?别太接近也别太不接近? ② 两句话融合的时候用相对熵衡量词的相似度?来对齐?数据增强,低资源no
Entity Enhanced BERT Pre-training for Chinese NERBERT 是字级别的,想把词级别信息引入预训练模型:基于信息熵,发现新词(就很有可能是 entity?),加入到 Char-Entity-Transformer (式子好复杂看不懂)多粒度只在长文本
Counterfactual Generator: A Weakly-Supervised Method for Named Entity Recognition少量数据生成大量 counterfactual examples:别人做数据增强是生成差不多的数据,这个是随机替换同类实体,如果“不能让 discriminator 看出是假的”,则留下来。这里推断真假使用结构化推断网络,好难看不懂。这样随机替换实体得到的增强的句子都是更“合理”,也就是满足语义或句法潜规则的,可以让机器更好的学习潜规则?数据增强,低资源低资源(几百条)很有用,充足样本上没做实验
Named Entity Recognition Only from Word Embeddings无监督!只需要预训练模型 embedding 里面的语义信息??!无监督no,差二十多
Coarse-to-Fine Pre-training for Named Entity Recognition要做一个 NER-specific 的预训练模型:有无穷的 NER 弱监督数据没有被使用(比如维基百科词条,就能直接匹配出实体)。方法:先用阅读理解的方式训练 BERT,得到 entity span(就是哪些词是实体哪些不是),然后用弱监督数据微调 、聚类(同一个标签的实体会很近,因此聚类结果可以作为监督信息)改进 PLM比 sota 少两个点左右,如果只是用聚类弱监督,就更差了
Simple and Effective Few-Shot Named Entity Recognition with Structured Nearest Neighbor Learning.最近邻 + 结构化推断网络小样本学习,领域迁移FSL 的SOTA
Named Entity Recognition for Social Media Texts with Semantic Augmentation. 数据增强:句子里的词,用相似的词(预训练模型找语义最接近,再筛选对 NER 有用的)的embedding 拼到一起,做增强?不过社交媒体数据 稀疏、没文法,和咱们任务不太一样数据增强,低资源社交数据集的 SOTA
Improving Named Entity Recognition with Attentive Ensemble of Syntactic Information引入词性标注、句法树信息、依存信息:在 transformer 和 crf 之间加入 Key-Value Memory Network(看图没看懂,好像是别的文章的;KVNN 输入上述的三类信息),然后再 attention,再过一个 gate(类似 resnet,可以过 KVNN,也可以直通?)sota,且有中文数据集
Constrained Decoding for Computationally Efficient Named Entity Recognition Taggers现在都是 NN+CRF,CRF 太慢;直接改成一些限制,快两倍

ACL 2020

titleideatypeSOTA
Simplify the Usage of Lexicon in Chinese NERLattice-LSTM 太复杂,来把它简化:lattice lstm 是修改 LSTM 结构了,本文方法不动 encoder,只在输入的 embedding 上,把每个字向量都用他所在的词的信息加强一下。多粒度sota,且有中文数据集
FLAT: Chinese NER Using Flat-Lattice TransformerLattice-LSTM 太复杂,来把它简化:直接把所有字、所有词的 embedding(拼上起始位置) 输入 encoder。比 llstm 快了十几倍多粒度sota,且有中文数据集
An Effective Transition-based Model for Discontinuous NER解决的是“一个 entity 又不连续的几个词组成”的问题,太偏了
TriggerNER: Learning with Entity Triggers as Explanations for Named Entity Recognition引入 entity trigger(句子里面帮助人识别出实体的关键词,比如“在xx吃”和“那里的菜”都是“餐馆”这类实体的 ett trigger):attention 从句子的 embedding 选出 entity trigger 的 embedding;NER 的时候,先匹配最接近的一些 trigger embedding,再用这些匹配到的,在 softmax 里加强分数?这篇文章很有意思,要精读一下低资源任务不太一样,是conll03 数据集,不给标注
Improving Multimodal Named Entity Recognition via Entity Span Detection with Unified Multimodal Transformer多模态 NER。。。社交数据集
Bipartite Flat-Graph Network for Nested Named Entity Recognition用 GCN 解决实体重叠问题:两个 graph(实体和邻接)分别用 GCN 建模,替代CRF 作为 decodernested任务不一样
A Unified MRC Framework for Named Entity Recognition用 MRC 的方式做 NER:每句话多轮问题,每一轮都是用一种实体的标注的guideline 作为问题,回答就应该是这种类型的实体(或者 null)。具体的做法是,先做 span detection(每个词分类,是否为起始?然后再配对),MRC 就在 span 里面挑答案,nested在普通数据集也是 SOTA,也有中文数据及
Multi-Domain Named Entity Recognition with Genre-Aware and Agnostic Inference在 genre(写作风格/结构)不同的文本上,进行迁移:Bi-LSTM后面接个分类器,分类 genre,之前参数全部共享,后面就每个 genre 都不一样?(这么简单也能发文章?不过他画的图上就是这么简单。。。领域迁移任务不一样
Named Entity Recognition without Labelled Data: A Weak Supervision Approach无标注,机器自动标注: Gazetteer  远程监督、和一些基于特征的方法标注,标出的乱七八糟的各种各样的数据进 HMM + softmax 找到最优。低资源任务不一样
Pyramid: A Layered Model for Nested Named Entity Recognition实体有一个金字塔嵌套结构(这个得看图),网络也整成金字塔结构:先用lample16 准备好 embedding,然后输入金字塔(多个 decoder),每个 decoder 都是 flat(就是不考虑 nested)NER,每个 decoder 认实体的长度不一样。挺有意思,值得深入阅读nestedsota 不过没有中文的
Temporally-Informed Analysis of Named Entity Recognition考虑文档的时间:在老的数据集上训练模型,在新数据集性能就不行了(很多事物随时间而逝)无关,不看了自己的新数据集
Improving Low-Resource Named Entity Recognition using Joint Sentence and Token LabelingNER 和 句子分类同时做?好像就是把两个任务 loss 直接相加,然后改了一下attention?(越南大哥写的文章,例子都看不懂啊低资源
Embeddings of Label Components for Sequence Labeling: A Case Study of Fine-grained Named Entity Recognition序列标注的标签拆开(如 bio 和 PER), embedding 放到网络里数据分布不均匀

发表评论