partition:c 的维度里,用 cummax 得到 ner 和 re 的切分的段落,分别切出俩 specific 的 \rou_e \rou_r,剩下的就是共享的 \rou_s。
filter:然后就是组合,给 ner 用的是 \rou_e + \rou_s, 给 re 用的是 \rou_r + \rou_s
具体的机制比较复杂,我没有详细了解。
这里说 “ each gate, which represents one specific task, will divide neurons into two segments according to their usefulness to the designated task. ” 但其实 cummax 得到的切分,其实只是比固定维度多了一个均衡的感觉?不知道 cummax 有多大作用(这点的 ablation 是将 300 维切成 10 段,specific 的各一段,剩下八段都是 share 的,这样就是固定切分的最好的吗?那 cummax 就主要是方便,性能提升不大)
实验:
第一次有人把 NTY WebNLG ACE 都做了!值得 follow 啊
其它实验比较一般,NTY WebNLG 做了 spo seo 和分长度的,ACE ner 做了在不在 triple 的(这和 motivation 有啥关系啊)