orpo过程oom问题

[primary-studyer]

deepspeed --include localhost:0,1,2,3,4,5,6,7 src/train_bash.py
--deepspeed config_zero3.json
--stage orpo
--do_train
--model_name_or_path llama3/Meta-Llama-3-8B-Instruct/
--dataset dpo_mix_en,dpo_mix_zh
--template llama3
--finetuning_type full
--output_dir output_llm_model/llama-3-8b-orpo-full/
--per_device_train_batch_size 1
--per_device_eval_batch_size 1
--gradient_accumulation_steps 2
--lr_scheduler_type cosine
--log_level info
--logging_steps 5
--save_strategy epoch
--save_total_limit 3
--save_steps 100
--learning_rate 5e-6
--num_train_epochs 3.0
--plot_loss
--do_eval false
--max_steps -1
--bf16 true
--seed 42
--warmup_ratio 0.1
--cutoff_len 8192
--flash_attn true
--orpo_beta 0.05
--optim paged_adamw_32bit

你的v1版本
--per_device_train_batch_size 2
--per_device_eval_batch_size 2
--gradient_accumulation_steps 4
我这边参数是：
--per_device_train_batch_size 1
--per_device_eval_batch_size 1
--gradient_accumulation_steps 8
全参微调orpo跑不起来，8卡 A100(40G) 配置
gradient_accumulation_steps从8分别调整到4, 2, 1也跑不起来。oom
config_zero3换成config_zero2也是oom

请问你的微调orpo配置是多少？大概多少能跑起来？

[Shenzhi-Wang]

我用的是8卡A800 80G，40G的卡我没有试过，如果per device batch size=1还会爆显存的话建议使用lora

[primary-studyer]

lora微调的效果有点不说人话

[dignfei]

你运行成功了吗？为什么我运行不起来，报错

[dignfei]

deepspeed --num_gpus 8 ../src/train_bash.py
--deepspeed ds_z2_config.json
--dataset_dir ../data
--stage orpo
--do_train
--model_name_or_path /nfsdata/gpu007/dingfei/commondata/huggingface/Meta-Llama-3-8B-Instruct
--dataset dpo_mix_en,dpo_mix_zh
--template llama3
--finetuning_type full
--output_dir /nfsdata/gpu007/dingfei/commondata/huggingface/Meta-Llama-3-8B-Instruct-saves/shenzhi-wang/Llama3-8B-Chinese-Chat-v1-test1
--per_device_train_batch_size 2
--per_device_eval_batch_size 2
--gradient_accumulation_steps 4
--lr_scheduler_type cosine
--log_level info
--logging_steps 5
--save_strategy epoch
--save_total_limit 3
--save_steps 100
--learning_rate 5e-6
--num_train_epochs 3.0
--plot_loss
--do_eval false
--max_steps -1
--bf16 true
--seed 42
--warmup_ratio 0.1
--cutoff_len 8192
--flash_attn true
--orpo_beta 0.05
--optim paged_adamw_32bit