理工酷

R-BERT

---

（非官方）R-BERT的Pytorch实现：Enriching Pre-trained Language Model with Entity Information for Relation Classification

模型架构

---

方法

1. 从BERT获得三个向量。

   • [CLS] token vector
   • averaged entity_1 vector
   • averaged entity_2 vector

2. 将每个矢量传递到完全连接的层。

   • dropout -> tanh -> fc-layer

3. 连接三个向量。

4. 将串联的矢量传递到完全连接层。

   • dropout -> fc-layer

• 完全符合书面条件。
  • 分别平均对entity_1和entity_2隐藏状态向量。 （包括 $, # tokens）
  • 完全连接层之前的Dropout和Tanh。
  • 序列末尾没有[SEP]token。 （如果要添加[SEP]令牌，请提供--add_sep_token选项）

依赖

---

• perl (For evaluating official f1 score)
• python>=3.6
• torch==1.6.0
• transformers==3.3.1

运行

---

$ python3 main.py --do_train --do_eval

预测写在eval目录中的proposal_answers.txt中。

官方评估

---

$ python3 official_eval.py
# macro-averaged F1 = 88.29%

• 根据官方评估perl脚本进行评估。
  • MACRO平均f1得分（Other关系除外）
• 可以在eval目录中的result.txt上查看详细的结果。

预测

---

$ python3 predict.py --input_file {INPUT_FILE_PATH} --output_file {OUTPUT_FILE_PATH} --model_dir {SAVED_CKPT_PATH}

来源https://github.com/monologg/R-BERT