网络预训练微调改善技巧（trick）

论文：NoisyTune: A Little Noise Can Help You Finetune Pretrained Language Models Better

ACL2022 | NoisyTune：微调前加入少量噪音可能会有意想不到的效果 - 知乎 (zhihu.com)

方法就是，在预训练权重上加噪声

实现：

for name ,para in model.named parameters ():
  model.state dict()[name][:] +=(torch.rand(para.size())?0.5)*noise_lambda*torch.std(para)

噪声强度noise_lambda在0.2时最佳，并且在噪声强度小于0.1或大于0.25后，会比原始效果差（个人试验结果）