优化器里边没必要添加教师模型的参数吧？build_optimizer(model,model1, name='Adam', lr=0.001, momentum=0.9, decay=1e-5):

[Vincent630]

build_optimizer(model,model1, name='Adam', lr=0.001, momentum=0.9, decay=1e-5):
你好，我看你这里对原始的优化器进行了修改，把教师模型的参数添加进去，但是教师模型已经被eval（）了，所以看起来这里用的是冻结教师模型后学习教师模型的多尺度输出分布，而不是联合训练教师和学生模型，所以优化器里添加教师模型参数看起来是不是没有必要的呢？或者您有什么特殊的考量？如果有什么细节可以分享的很感谢您可以告知我一下，谢谢

[huangzongmou]

您好！您的邮件已收到，尽快给你回复。谢谢                                                      黄总谋！

[Vincent630]

我刚刚发现多卡训练时候，self.Distillation.eval()并没有真的生效，在前边修改了教师模型为可训练后这里的eval并没有让模型参数保持恒定，而在训练的过程中requires_grad还是true，所以这么看来你这里的是教师模型和学生模型的联合训练是吗？而不是常规的freeze住教师模型的参数后用学生模型学习教师模型推理的特征分布？

[pengsmallcute]

我也觉得没有必要，教师模型不参与更新

[huangzongmou]

您好！您的邮件已收到，尽快给你回复。谢谢                                                      黄总谋！