-
Notifications
You must be signed in to change notification settings - Fork 0
/
Copy pathCifar100_experiments.sh
66 lines (49 loc) · 3.28 KB
/
Cifar100_experiments.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
#PreResNet
#CIFAR10 or CIFAR100
dataset="CIFAR100"
model="VGG16"
path="$dataset""$model"
mkdir -p $path/FirstRun
mkdir $path/SecondRun
mkdir $path/ThirdRun
n_epochs=1000
# 5% of the training dataset will be used as a validation dataset
v_ratio=005
name="Original_$dataset""_$model""_1000E_Val_""$v_ratio""_ratio"
v_ratio=0.05
# 5%
torchrun --standalone --nproc_per_node=gpu ddp_train.py --dir="$path/FirstRun/$name" --dataset=$dataset --model=$model --epochs=$n_epochs --lr_init=0.1 --wd=3e-4 --swa --aswa --swa_start=126 --swa_lr=0.01 --val_ratio=$v_ratio --eval_freq 1 > "$path/FirstRun/$name.log"
# 5%
torchrun --standalone --nproc_per_node=gpu ddp_train.py --dir="$path/SecondRun/$name" --dataset=$dataset --model=$model --epochs=$n_epochs --lr_init=0.1 --wd=3e-4 --swa --aswa --swa_start=126 --swa_lr=0.01 --val_ratio=$v_ratio --eval_freq 1 > "$path/SecondRun/$name.log"
# 5%
torchrun --standalone --nproc_per_node=gpu ddp_train.py --dir="$path/ThirdRun/$name" --dataset=$dataset --model=$model --epochs=$n_epochs --lr_init=0.1 --wd=3e-4 --swa --aswa --swa_start=126 --swa_lr=0.01 --val_ratio=$v_ratio --eval_freq 1 > "$path/ThirdRun/$name.log"
model="PreResNet164"
path="$dataset""$model"
mkdir -p $path/FirstRun
mkdir $path/SecondRun
mkdir $path/ThirdRun
# 5% of the training dataset will be used as a validation dataset
v_ratio=005
name="Original_$dataset""_$model""_1000E_Val_""$v_ratio""_ratio"
v_ratio=0.05
# 5%
torchrun --standalone --nproc_per_node=gpu ddp_train.py --dir="$path/FirstRun/$name" --dataset=$dataset --model=$model --epochs=$n_epochs --lr_init=0.1 --wd=3e-4 --swa --aswa --swa_start=126 --swa_lr=0.05 --val_ratio=$v_ratio --eval_freq 1 > "$path/FirstRun/$name.log"
# 5%
torchrun --standalone --nproc_per_node=gpu ddp_train.py --dir="$path/SecondRun/$name" --dataset=$dataset --model=$model --epochs=$n_epochs --lr_init=0.1 --wd=3e-4 --swa --aswa --swa_start=126 --swa_lr=0.05 --val_ratio=$v_ratio --eval_freq 1 > "$path/SecondRun/$name.log"
# 5
torchrun --standalone --nproc_per_node=gpu ddp_train.py --dir="$path/ThirdRun/$name" --dataset=$dataset --model=$model --epochs=$n_epochs --lr_init=0.1 --wd=3e-4 --swa --aswa --swa_start=126 --swa_lr=0.05 --val_ratio=$v_ratio --eval_freq 1 > "$path/ThirdRun/$name.log"
model="WideResNet28x10"
path="$dataset""$model"
mkdir -p $path/FirstRun
mkdir $path/SecondRun
mkdir $path/ThirdRun
# 5% of the training dataset will be used as a validation dataset
v_ratio=005
name="Original_$dataset""_$model""_1000E_Val_""$v_ratio""_ratio"
v_ratio=0.05
# 5%
torchrun --standalone --nproc_per_node=gpu ddp_train.py --dir="$path/FirstRun/$name" --dataset=$dataset --model=$model --epochs=$n_epochs --lr_init=0.1 --wd=5e-4 --swa --aswa --swa_start=126 --swa_lr=0.05 --val_ratio=$v_ratio --eval_freq 1 > "$path/FirstRun/$name.log"
# 5%
torchrun --standalone --nproc_per_node=gpu ddp_train.py --dir="$path/SecondRun/$name" --dataset=$dataset --model=$model --epochs=$n_epochs --lr_init=0.1 --wd=5e-4 --swa --aswa --swa_start=126 --swa_lr=0.05 --val_ratio=$v_ratio --eval_freq 1 > "$path/SecondRun/$name.log"
# 5
torchrun --standalone --nproc_per_node=gpu ddp_train.py --dir="$path/ThirdRun/$name" --dataset=$dataset --model=$model --epochs=$n_epochs --lr_init=0.1 --wd=5e-4 --swa --aswa --swa_start=126 --swa_lr=0.05 --val_ratio=$v_ratio --eval_freq 1 > "$path/ThirdRun/$name.log"