LayoutXLMForRe模型训练问题

[Lucknicking]

我的配置文件如下：

Global:
  use_gpu: True
  epoch_num: &epoch_num 130
  log_smooth_window: 10
  print_batch_step: 10
  save_model_dir: ./output/re_vi_layoutxlm_xfund_zh
  save_epoch_step: 2000
  # evaluation is run every 10 iterations after the 0th iteration
  eval_batch_step: [ 0, 19 ]
  cal_metric_during_train: False
  save_inference_dir:
  use_visualdl: False
  seed: 2022
  infer_img: ppstructure/docs/kie/input/zh_val_21.jpg
  save_res_path: ./output/re/xfund_zh/with_gt
  kie_rec_model_dir:
  kie_det_model_dir: /root/project/PaddleOCR/output/fintune_model_det

Architecture:
  model_type: kie
  algorithm: &algorithm "LayoutXLM"
  Transform:
  Backbone:
    name: LayoutXLMForRe
    pretrained: True
    mode: vi
    checkpoints:

Loss:
  name: LossFromOutput
  key: loss
  reduction: mean

Optimizer:
  name: AdamW
  beta1: 0.9
  beta2: 0.999
  clip_norm: 10
  lr:
    learning_rate: 0.00005
    warmup_epoch: 10
  regularizer:
    name: L2
    factor: 0.00000

PostProcess:
  name: VQAReTokenLayoutLMPostProcess

Metric:
  name: VQAReTokenMetric
  main_indicator: hmean

Train:
  dataset:
    name: SimpleDataSet
    data_dir: train_data/hukoubu_train_data_ser_re/zh_train/image
    label_file_list:
      - train_data/hukoubu_train_data_ser_re/zh_train/train.json
    ratio_list: [ 1.0 ]
    transforms:
      - DecodeImage: # load image
          img_mode: RGB
          channel_first: False
      - VQATokenLabelEncode: # Class handling label
          contains_re: True
          algorithm: *algorithm
          class_path: &class_path train_data/hukoubu_train_data_ser/class_list_hukoubu.txt
          use_textline_bbox_info: &use_textline_bbox_info True
          order_method: &order_method "tb-yx"
      - VQATokenPad:
          max_seq_len: &max_seq_len 512
          return_attention_mask: True
      - VQAReTokenRelation:
      - VQAReTokenChunk:
          max_seq_len: *max_seq_len
      - TensorizeEntitiesRelations:
      - Resize:
          size: [224,224]
      - NormalizeImage:
          scale: 1
          mean: [ 123.675, 116.28, 103.53 ]
          std: [ 58.395, 57.12, 57.375 ]
          order: 'hwc'
      - ToCHWImage:
      - KeepKeys:
          keep_keys: [ 'input_ids', 'bbox','attention_mask', 'token_type_ids', 'entities', 'relations'] # dataloader will return list in this order
  loader:
    shuffle: True
    drop_last: False
    batch_size_per_card: 2
    num_workers: 4

Eval:
  dataset:
    name: SimpleDataSet
    data_dir: train_data/hukoubu_train_data_ser_re/zh_val/image
    label_file_list:
      - train_data/hukoubu_train_data_ser_re/zh_val/val.json
    transforms:
      - DecodeImage: # load image
          img_mode: RGB
          channel_first: False
      - VQATokenLabelEncode: # Class handling label
          contains_re: True
          algorithm: *algorithm
          class_path: *class_path
          use_textline_bbox_info: *use_textline_bbox_info
          order_method: *order_method
      - VQATokenPad:
          max_seq_len: *max_seq_len
          return_attention_mask: True
      - VQAReTokenRelation:
      - VQAReTokenChunk:
          max_seq_len: *max_seq_len
      - TensorizeEntitiesRelations:
      - Resize:
          size: [224,224]
      - NormalizeImage:
          scale: 1
          mean: [ 123.675, 116.28, 103.53 ]
          std: [ 58.395, 57.12, 57.375 ]
          order: 'hwc'
      - ToCHWImage:
      - KeepKeys:
          keep_keys: [ 'input_ids', 'bbox', 'attention_mask', 'token_type_ids', 'entities', 'relations'] # dataloader will return list in this order
  loader:
    shuffle: False
    drop_last: False
    batch_size_per_card: 8
    num_workers: 8

我的训练数据如下：

{"transcription": "姓名", "label": "question", "points": [[224, 159], [350, 159], [350, 187], [224, 187]], "id": 2, "linking": [[2, 3]]}, {"transcription": "吉黑阿则", "label": "answer", "points": [[368, 161], [458, 164], [457, 189], [368, 186]], "id": 3, "linking": [[2, 3]]},
.....

为什么训练出来推理的时候结果如下：

请问能帮我解答一下大概是什么问题吗

[GreatV]

根据您的问题描述和提供的配置文件，训练过程中出现的推理结果异常可能与以下几个方面有关：

---

1. 训练配置文件中的问题

• class_path 文件检查:
  • 在 VQATokenLabelEncode 的 class_path 参数中，您指定了类别文件 (class_list_hukoubu.txt)。请确保这个文件正确且包含了所有类别（如 question 和 answer）。如果类别不完整或格式有误，可能导致模型预测类别错误或不匹配。
• order_method 参数:
  • 您使用了 tb-yx 排序方法，这会影响文本块的排序方式。请确认排序方式是否与训练数据的标注一致。如果排序不匹配，可能导致输入特征与标签错位。
• max_seq_len 参数:
  • max_seq_len 设置为 512，但如果训练数据中有超过该长度的文本，将会被截断。这可能导致某些重要关系丢失。建议检查数据中是否存在超长文本，并评估是否需要调整该值。

---

2. 数据标注问题

• 数据标注格式检查:
  • 您的数据示例中，linking 定义了 id=2 和 id=3 的关系。如果 linking 有误（如无效的 ID、重复定义关系等），会直接影响关系抽取任务的正确性。
  • 请确保所有标注数据的 transcription、label、points、id 和 linking 字段完整且正确。
• 类别分布不均衡:
  • 如果训练数据中某些类别（如 question 或 answer）的样本过少，会导致模型无法有效学习这些类别。检查 train.json 文件中的类别分布是否均衡。

---

3. 模型参数及训练超参数

• 学习率 (learning_rate) 设置:
  • 当前学习率为 0.00005，对于预训练模型微调可能偏低。如果模型在训练过程中未能有效收敛，可以尝试稍微提高学习率（如 0.0001）。
• warmup_epoch 设置:
  • 您设置了 warmup_epoch=10，这意味着前 10 个 epoch 的学习率会缓慢增加。如果数据量较少或训练时间有限，可能导致模型在前期学习不足。可以尝试减少 warmup_epoch 的值。
• batch_size_per_card 设置:
  • 当前 batch_size_per_card 为 2，对于关系抽取任务可能偏小。较小的批量大小会导致梯度更新不稳定。建议尝试增大批量大小（如 8 或 16），同时调整学习率以适配变化。

---

4. 推理过程中问题

• 输入图像质量:
  • 推理时使用的图像 zh_val_21.jpg 是否与训练数据分布一致？如果推理图像的质量、格式或标注方式与训练数据不同，可能导致模型无法正确推理。
• 模型保存及加载:
  • 确保训练完成后保存的模型正确加载到推理脚本中。如果保存或加载模型时有问题（例如路径错误或模型损坏），会导致推理失败。

---

5. 后处理模块 (PostProcess)

• VQAReTokenLayoutLMPostProcess 检查:
  • 后处理模块会将模型输出的 token 映射回关系对。如果映射规则有误（如类别或顺序不匹配），可能导致模型输出混乱。建议检查 PostProcess 的实现是否与您的任务标签格式一致。

---

6. 可能的解决方案

• 检查数据标注和类别文件:
  • 确保类别文件完整且标注数据格式正确。
• 调整学习率和批量大小:
  • 提高学习率到 0.0001，并尝试更大的批量大小。
• 校验后处理模块:
  • 检查 VQAReTokenLayoutLMPostProcess 是否正确解析模型输出。
• 验证推理输入:
  • 确保推理输入数据与训练数据在格式和分布上保持一致。

---

7. 附加建议

• 可视化调试:
  • 使用工具（如 VisualDL 或 TensorBoard）观察训练过程的损失曲线和指标变化，查看是否存在过拟合或欠拟合。
• 进一步检查日志:
  • 查看训练和推理时的详细日志，确认是否有异常或警告信息。

---

通过以上排查，应该可以定位并解决训练和推理结果异常的问题。如果还有其他细节可以提供，欢迎补充！

---

Response generated by feifei-bot | chatgpt-4o-latest

[Lucknicking]

训练RE模型的时候，需要指定微调过的ser模型地址吗，我好像没有指定，但是在推理的时候，不指定微调的ser模型的话，会报错