网站域名类型,哪些网站做品牌特卖,衬衫定做公司,临沂网站搜索排名使用预训练模型时#xff0c;可能需要将 #xff08;1#xff09;预训练好的 backbone 的 参数学习率设置为较小值#xff0c; #xff08;2#xff09;而backbone 之外的部分#xff0c;需要使用较大的学习率。
from collections import OrderedDict
import torch.nn …使用预训练模型时可能需要将 1预训练好的 backbone 的 参数学习率设置为较小值 2而backbone 之外的部分需要使用较大的学习率。
from collections import OrderedDict
import torch.nn as nn
import torch.optim as optimnet nn.Sequential(OrderedDict([(linear1, nn.Linear(10, 20)),(linear2, nn.Linear(20, 30)),(linear3, nn.Linear(30, 40))]))linear3_params list(map(id, net.linear3.parameters()))
base_params filter(lambda p: id(p) not in linear3_params, net.parameters())optimizer optim.SGD([{params: base_params},{params: net.linear3.parameters(), lr: 0.0005}],lr0.001, momentum0.9)print(optimizer)
print(optimizer.param_groups[0][lr])
print(optimizer.param_groups[1][lr])
