ViM
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！
相关推荐
2025-11-16
Mahalanobis
0. 摘要在许多现实世界的机器学习应用中，检测从训练分布中统计或对抗性偏离的测试样本是部署一个良好分类器的基本要求。然而，已知带有 softmax 分类器的深度神经网络即使对于此类异常样本也会产生高度自信的后验分布。本文提出了一种简单而有效的方法，用于检测任何异常样本，该方法适用于任何预训练的 softmax 神经分类器。我们在高斯判别分析下获得了深度模型的（低层和高层）特征的类条件高斯分布，从而基于马氏距离得出了一个置信度分数。虽然大多数先前的方法仅针对检测分布外样本或对抗样本中的一种进行评估，但所提出的方法在我们的实验中在这两种情况下都达到了最先进的性能。此外，我们发现所提出的方法在...
2025-11-16
PViT
PViT: Prior-augmented Vision Transformer for Out-of-distribution Detection0. 摘要视觉 Transformer（ViTs）在各种视觉任务中取得了显著的成功，然而它们在数据分布变化和固有归纳偏差方面的鲁棒性仍然未被充分探索。为了增强 ViT 模型在图像分布外（OOD）检测中的鲁棒性，我们提出了一种新颖且通用的框架，称为先验增强视觉 Transformer（PViT）。PViT 以来自预训练模型的先验类别 logits 作为输入，训练 PViT 以预测类别 logits。在推理过程中，PViT 通过量化预测的类别 l...
2025-11-16
常用命令
常用命令 nohop 命令提交的作业在 xshell 断开后仍然可以运行。命令格式：nohop ./train.sh > out 2>&1 &。其中脚本文件需要有可执行权限，’out’ 为指定的结果输出文件。 tail -f 输出文件名，动态查看输出信息 gpustat 可已查看每个 GPU 当前使用的用户 nvidia-smi：查看显存使用情况 nvitopnvitop nvitop 是一个非常全面的 NVIDIA-GPU 设备运行状况的实时监控工具 nvitop 安装 使用 pipx 进行安装 1pipx run nvitop 使用 p...
2025-11-16
损失函数
损失函数损失函数是衡量模型输出与真实标签之间的差异。我们还经常听到代价函数和目标函数，它们之间差异如下： 损失函数(Loss Function)是计算一个样本的模型输出与真实标签的差异 $Loss =f\left(y^{\wedge}, y\right)$ 代价函数(Cost Function)是计算整个样本集的模型输出与真实标签的差异，是所有样本损失函数的平均值 $\cos t=\frac{1}{N} \sum_{i}^{N} f\left(y{i}^{\wedge}, y_{i}\right)$ 目标函数(Objective Function)就是代价函数加上正...
2025-11-16
Swin-Transformer解读
Swin Transformer 解读 [Swin-T] Swin Transformer: Hierarchical Vision Transformer using Shifted Windows Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, Baining Guo. ICCV 2021. [paper] [code] 解读者：沈豪，复旦大学博士，Datawhale成员 前言《Swin Transformer: Hierarchical Vision Transfor...
2025-11-16
Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models A Critical Review and Assessment
0 摘要随着基于 Transformer 的预训练语言模型（PLMs）参数数量的不断增长，特别是具有数十亿参数的大型语言模型（LLMs）的出现，许多自然语言处理（NLP）任务展示出了显著的成功。然而，这些模型的巨大规模和计算需求对其适应特定下游任务提出了重大挑战，尤其是在计算资源有限的环境中。参数高效微调（PEFT）通过减少微调参数数量和内存使用量，同时实现与完全微调相当的性能，提供了一种有效的解决方案。对 PLMs，特别是 LLMs 的微调需求导致了 PEFT 方法的快速发展，如图 1 所示。在本文中，我们对 PLMs 的 PEFT 方法进行了全面和系统的回顾。我们总结了这些 PEFT...
