常用命令

  • nohop 命令提交的作业在 xshell 断开后仍然可以运行。命令格式:nohop ./train.sh > out 2>&1 &。其中脚本文件需要有可执行权限,’out’ 为指定的结果输出文件。
  • tail -f 输出文件名,动态查看输出信息
  • gpustat 可已查看每个 GPU 当前使用的用户
  • nvidia-smi:查看显存使用情况

nvitop

nvitop nvitop 是一个非常全面的 NVIDIA-GPU 设备运行状况的实时监控工具

nvitop 安装

  • 使用 pipx 进行安装
1
pipx run nvitop
  • 使用 pip3 进行安装
1
pip3 install --upgrade nvitop
  • 使用 conda 进行安装
1
conda install -c conda-forge nvitop
  • 从 Github 拉取最新版本进行安装
1
pip3 install git+https://github.com/XuehaiPan/nvitop.git#egg=nvitop
  • clone 项目并手动安装
1
2
3
git clone --depth=1 https://github.com/XuehaiPan/nvitop.git
cd nvitop
pip3 install .