温州专业网站制作设计,大连手机自适应网站建设价格,苏州市住房城乡建设局网站首页,网页设计策划书方案文章首发见博客#xff1a;https://mwhls.top/4871.html。 无图/格式错误/后续更新请见首发页。 更多更新请到mwhls.top查看 欢迎留言提问或批评建议#xff0c;私信不回。 没解决#xff0c;只是记录这种情况。 也可以多次实验取均值以避免结果复现。 场景
自己的模块中https://mwhls.top/4871.html。 无图/格式错误/后续更新请见首发页。 更多更新请到mwhls.top查看 欢迎留言提问或批评建议私信不回。 没解决只是记录这种情况。 也可以多次实验取均值以避免结果复现。 场景
自己的模块中包含一个与x相加的可学习参数导致单卡同种子下结果无法复现。 去掉该模块能正常复现。保留声明注释使用后能正常复现。且结果与无该模块的结果一致。 除了在训练前设定种子外我还在模块内部再次设置了种子但依然无效。
相关代码 def __init__(self):self.pos torch.nn.Parameter(torch.zeros((1, 1, config.DATA.HEIGHT, config.DATA.WIDTH)))def set_seed(self):seed 1random.seed(seed)np.random.seed(seed)torch.manual_seed(seed)torch.cuda.manual_seed(seed)torch.backends.cudnn.deterministic Truetorch.backends.cudnn.benchmark Falsedef forward(self, x):x self.posreturn x吐槽
在第一次增加后性能增了1个点我还以为我nb起来了。 后来习惯性复现的时候发现结果又变了。调试几天才发现是这个原因。 考虑的性能变好大不了我多次实验取均值。 结果多次实验都掉了再也回不去了。所以也没继续解决。 值得一提的是TransReID的代码中就是这么用的但是它的结果就能复现咱们明明都设置种子了。下面是TransReID里用的。 self.pos_embed nn.Parameter(torch.zeros(1, num_patches 1, embed_dim))
