Reference
Reference
- https://pytorch.org/docs/stable/index.html
- https://www.w3cschool.cn/pytorch/pytorch-5ubt3bby.html
- https://zhuanlan.zhihu.com/p/103630393
- torchvision 库简介
- PyTorch 之 torchvision.transforms 详解
- https://pytorch-cn.readthedocs.io/zh/latest/torchvision/torchvision-transform/
- https://github.com/zhangxiann/PyTorch_Practice
- https://github.com/SpringMagnolia/NLPnote
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！
相关推荐
2025-11-16
imgaug
imgaug 简介和安装imgaug 简介imgaug是计算机视觉任务中常用的一个数据增强的包，相比于torchvision.transforms，它提供了更多的数据增强方法，因此在各种竞赛中，人们广泛使用imgaug来对数据进行增强操作。 Github 地址：imgaug Readthedocs：imgaug 官方提供 notebook 例程：notebook imgaug 的安装imgaug 的安装方法和其他的 Python 包类似，我们可以通过以下两种方式进行安装 conda12conda config --add channels conda-forgeconda insta...
2025-11-16
timm代码解读
1 创建datasettimm 库通过 create_dataset 函数来得到 dataset_train 和 dataset_eval 这两个 dataset 类。 123456dataset_train = create_dataset( args.dataset, root=args.data_dir, split=args.train_split, is_training=True, batch_size=args.batch_size, repeats=args.epoch_repeats)dataset_eval = create_dataset( ...
2025-11-16
数据相关
计算数据集的均值和标准差1234567891011121314151617181920212223242526272829303132333435363738394041424344import osimport cv2import numpy as npfrom torch.utils.data import Datasetfrom PIL import Imagedef compute_mean_and_std(dataset): # 输入PyTorch的dataset，输出均值和标准差 mean_r = 0 mean_g = 0 mean_b = 0 ...
2025-11-16
DP
单机多卡（ Data Parallel，DP） 简介DataParallel 可以帮助我们（使用单进程控）将模型和数据加载到多个 GPU 中，控制数据在 GPU 之间的流动，协同不同 GPU 上的模型进行并行训练（细粒度的方法有 scatter，gather 等等）。 DP 基于单机多卡，所有设备都负责计算和训练网络，除此之外， device[0] (并非 GPU 真实标号而是输入参数 device_ids 首位) 还要负责整合梯度，更新参数。图 1 即为 GPU 0 作为 device[0] 的例子。从图中我们可以看出，有三个主要过程： 过程一（图中红色部分）：各卡分别计算损失和...
2025-11-16
model
model.eval()pytorch中model.eval()会对哪些函数有影响？ pytorch中model.eval()会对哪些函数有影响？ 答：将BN和dropout这些训练和测试时行为不同的层切换到test mode。 Dropout训练和推理时的差异众所周知，dropout是训练的时候将某层的神经元输出以 $p$（如10%）的概率随机置为零，以减缓过拟合。那么测试时呢？ 为了保证测试时每次推理的一致性，肯定是不能再随机让神经失活了，那什么都不做，让所有神经元都按正常输出值原样输出可以嘛？ 从训练和测试时的输出值尺度一致性来看，答案显然是否定的。设每个神经元原始输出的绝对值均...
2025-11-16
模型容器
模型容器Torch.nn中一个重要的概念是模型容器 (Containers)，常用的容器有 3 个，这些容器都是继承自nn.Module。 nn.Sequetial：常用于 block 构建，按照顺序包装多个网络层; nn.ModuleList：常用于大量重复网络构建，通过 for 循环实现重复构建，像 python 的 list 一样包装多个网络层，可以迭代; nn.ModuleDict：常用于可选择的网络层，像 python 的 dict一样包装多个网络层，通过 (key, value) 的方式为每个网络层指定名称; nn.Sequential在传统的机器学习中，有一个步骤是特征...
