参数相关

发表于2025-11-16|更新于2026-03-01|AIPyTorch常用代码片段

|浏览量:

参数相关

打印梯度更新的参数

1
2
3

for name, p in model.named_parameters():
    if p.requires_grad == True:
        print(name)

统计参数量

1	`sum(p.numel() for p in model.parameters() if p.requires_grad`

打印更新参数和大小

1
2
3

for name, param in model.named_parameters():
    if param.requires_grad:
        logging.info("{}: {}".format(name, param.numel()))

文章作者: Hongwei Zhao

文章链接: https://geeks-z.github.io/Blog/2025/11/16/AI/30.PyTorch/103.%E5%B8%B8%E7%94%A8%E4%BB%A3%E7%A0%81%E7%89%87%E6%AE%B5/02.%E5%8F%82%E6%95%B0%E7%9B%B8%E5%85%B3/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！

AI PyTorch 常用代码片段

相关推荐

计算分类准确率123_, preds = torch.max(logits, dim=1) # 获取预测结果correct += preds.eq(targets.expand_as(preds)).cpu().sum() # 计算分类正确样本个数 CosineLinear12345678910111213141516171819202122232425262728293031class CosineLinear(nn.Module): def __init__(self, in_features, out_features, nb_proxy=1, to_reduce=Fals...

不要使用太大的线性层。因为 nn.Linear(m,n)使用的是的内存，线性层太大很容易超出现有显存。不要在太长的序列上使用 RNN。因为 RNN 反向传播使用的是 BPTT 算法，其需要的内存和输入序列的长度呈线性关系。 model(x) 前用 model.train() 和 model.eval() 切换网络状态。不需要计算梯度的代码块用 with torch.no_grad() 包含起来。 model.eval() 和 torch.no_grad() 的区别在于，model.eval() 是将网络切换为测试状态，例如 BN 和 dropout 在训练和测试阶段使用不同...

模型定义和操作一个简单两层卷积网络的示例 123456789101112131415161718192021222324# convolutional neural network (2 convolutional layers)class ConvNet(nn.Module): def __init__(self, num_classes=10): super(ConvNet, self).__init__() self.layer1 = nn.Sequential( nn.Conv2d(1, 16, kernel_size=5,...

12345678910111213141516171819202122232425262728293031class CosineLinear(nn.Module): def __init__(self, in_features, out_features, nb_proxy=1, to_reduce=False, sigma=True): super(CosineLinear, self).__init__() self.in_features = in_features self.out_features = out_features ...

计算数据集的均值和标准差1234567891011121314151617181920212223242526272829303132333435363738394041424344import osimport cv2import numpy as npfrom torch.utils.data import Datasetfrom PIL import Imagedef compute_mean_and_std(dataset): # 输入PyTorch的dataset，输出均值和标准差 mean_r = 0 mean_g = 0 mean_b = 0 ...

RNN详解及其实现

文章结构提及 RNN，绝大部分人都知道他是一个用于序列任务的神经网络，会提及他保存了时序信息，但是，为什么需要考虑时序的信息？为什么说 RNN 保存了时序的信息？RNN又存在哪些问题？本篇内容将按照以下顺序逐步带你摸清 RNN 的细节之处，并使用 PyTorch 来完成一个自己的文本分类模型。为什么需要 RNN？ RNN 理解及其简单实现。用 RNN 完成文本分类任务。 RNN 存在的问题。为什么需要 RNN？在现实生活的世界中，有很多的内容是有着前后关系的，比如你所阅读的这段文字，他并不是毫无理由的随机组合，而是我构思之后按顺序写下的一个个文字。除了文字之外，例如人的发音、...