GPU显存
显存大小和带宽
NVIDIA GPU 显存有两种类型，GDDR和HBM，每种也有不同的型号。针对显存我们通常会关注两个指标：显存大小和显存带宽。HBM显存通常可以提供更高的显存带宽，但是价格也更贵，通常在训练卡上会使用，比如 H100、A100等，而GDDR显存通常性价比更高，在推理 GPU 或游戏GPU更常见，比如T4、RTX4090等。
Reference
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！
相关推荐
2025-11-16
英伟达AI芯片科普
1.英伟达 GPU 架构演进史第一代 AI 加速卡叫 Volta ，是英伟达第一次为 AI 运算专门设计的张量运算（Tensor Core）架构。 第二代张量计算架构叫图灵（Turing），代表显卡 T4。 第三代张量运算架构安培（Ampere），终于来到我们比较熟悉的 A100 系列显卡了。 在芯片工艺升级的加持下，单卡 SM 翻倍到了 108 个，SM 内的核心数和 V100 相同，但是通过计算单元电路升级，核心每一个周期可以完成 256 个浮点数乘累加，是老架构的两倍。加入了更符合当时深度学习需要的 8 位浮点（FP8）运算模式，一个 16 位浮点核心可以当作 2 个 8 位浮点核...
2025-11-16
GPU和显存分析
科普帖：深度学习中GPU和显存分析 0 预备知识nvidia-smi是Nvidia显卡命令行管理套件，基于NVML库，旨在管理和监控Nvidia GPU设备。 这是nvidia-smi命令的输出，其中最重要的两个指标： 显存占用 GPU利用率 显存占用和GPU利用率是两个不一样的东西，显卡是由GPU计算单元和显存等组成的，显存和GPU的关系有点类似于内存和CPU的关系。 这里推荐一个好用的小工具：gpustat,直接pip install gpustat即可安装，gpustat基于nvidia-smi，可以提供更美观简洁的展示，结合watch命令，可以动态实时监控GPU的使用情...
2025-11-16
GPU通信
TODO https://mp.weixin.qq.com/s/KbYKAnZYQfLB2VkKQPhCVQ 在计算机的世界里，总线就是这样一条高速公路，它连接着CPU（中央处理器，相当于城市的中心）、内存、硬盘和其他外围设备。总线是计算机硬件之间的高速公路 总线由三部分组成：数据总线、地址总线和控制总线。数据总线: 这是数据传输的通道，就像高速公路上的车道，数据（车辆）通过这些车道在设备之间移动。数据总线的宽度（比如32位或64位）决定了一次可以传输多少数据。地址总线: 这相当于高速公路的出口指示牌，告诉数据应该去往哪个地址（设备）。地址总线的宽度决定了计算机可以访问的内存地址数...
2025-11-16
GPU算力
TODOhttps://mp.weixin.qq.com/s/9MqBP6OVlS_uq-VVuKc2cg Tensor Core 算力计算Tensor Core 是 NVIDIA GPU 从 Volta 架构开始引入的一种特殊计算单元，专门用于加速矩阵乘法和累积运算，从而大大加速模型的训练和推理速度。与 CUDA Core 不同，CUDA Core 在一个时钟周期只能完成 1 次浮点乘加操作，而 Tensor Core 可以在一个时钟周期完成 1 组浮点乘加操作，比如一个小型矩阵的乘加操作 $D = A ∗ B + C$。 GPU 的计算能力可以使用 FLOPS 表示，...
2025-11-16
常用命令
常用命令 nohop 命令提交的作业在 xshell 断开后仍然可以运行。命令格式：nohop ./train.sh > out 2>&1 &。其中脚本文件需要有可执行权限，’out’ 为指定的结果输出文件。 tail -f 输出文件名，动态查看输出信息 gpustat 可已查看每个 GPU 当前使用的用户 nvidia-smi：查看显存使用情况 nvitopnvitop nvitop 是一个非常全面的 NVIDIA-GPU 设备运行状况的实时监控工具 nvitop 安装 使用 pipx 进行安装 1pipx run nvitop 使用 p...
2025-11-16
GPU服务器概念
概念 显卡 ：显卡，是图形处理单元（GPU）的简称，是独立的处理单元，可以进行图像处理和计算，硬件设备。 CUDA：英文全称是Compute Unified Device Architecture，是显卡厂商 NVIDIA 推出的运算平台。按照官方的说法是，CUDA 是一个并行计算平台和编程模型，能够使得使用 GPU 进行通用计算变得简单和优雅。对于 GPU 本身的编程，使用的是CUDA语言来实现的。但是，在我们使用 PyTorch 编写深度学习代码时，使用的CUDA又是另一个意思。在 PyTorch 使用 CUDA表示要开始要求我们的模型或者数据开始使用 GPU 了。 我们使用 G...