DINO
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！
相关推荐
2025-11-16
基于架构方法的嵌入对比
图像相似性搜索比较：EfficientNet vs. ViT vs. DINO-v2 vs. CLIP vs. BLIP-2 在本文中，我将使用Flickr数据集[6]比较EfficientNet[1]、ViT[2]、DINO-v2[3]、CLIP[4]和BLIP-2[5]的视觉嵌入在图像相似性搜索中的表现。我将主要使用Huggingface和Faiss库进行实现。首先，我将简要介绍每个深度学习模型。接下来，我将展示代码实现和比较结果。 EfficientNet、ViT、DINO-v2、CLIP和BLIP-2的简要介绍在本节中，我将介绍用于实验的几个深度学习模型。请注意，我将使用“嵌...
2025-11-16
PromptFusion
PromptFusion: Decoupling Stability and Plasticity for Continual Learning0. 摘要连续学习指的是从数据流中持续学习的能力。当前研究主要集中在缓解灾难性遗忘上，而大部分的成功都是以限制新任务的性能为代价的。这种权衡被称为稳定性 - 可塑性困境，对连续学习来说是一个更普遍和更具挑战性的问题。然而，这两个概念之间固有的冲突使得似乎不可能同时对它们两个都找到一个令人满意的解决方案。因此，我们提出一个问题：“是否可能将它们分成两个问题来独立征服？”为此，我们提出了一种基于提示调整的方法，称为 PromptFusion，以实现稳...
2025-11-16
Continual Learning With Knowledge Distillation A Survey
0. 摘要持续学习中的首要挑战是缓解灾难性遗忘，使模型在学习新任务的同时保留对先前任务的知识。知识蒸馏（KD）作为一种正则化方法，因其在学习新任务时通过模仿早期模型的输出来保持模型在先前任务上的性能而受到广泛关注，从而减少遗忘。本文对图像分类领域中采用 KD 的持续学习方法进行了全面调查。我们详细分析了 KD 在持续学习方法中的应用，并将其应用分为三种不同的范式。此外，我们根据所使用的知识源类型对这些方法进行了分类，并从损失函数的角度深入探讨了 KD 如何巩固持续学习中的记忆。我们还通过在 CIFAR-100、TinyImageNet 和 ImageNet-100 数据集上对十种集成 K...
2025-11-16
序列类型
序列类型定义 序列是具有先后关系的一组元素;是一个基类类型 序列是一维元素向量，元素类型可以不同 类似数学元素序列： s0, s1, … , sn-1 元素间由序号引导，通过下标访问序列的特定元素 容器序列—list、tuple 和 collections.deque 这些序列能存放不同类型的数据。 扁平序列—-str、bytes、bytearray、memoryview 和 array.array，这类序列只能容纳一种类型。 容器序列存放的是它们所包含的任意类型的对象的引用，而扁平序列里存放的是值而不是引用。 序列类型分类可变序列list、bytearray、arra...
2025-11-16
MiLoRA
MiLoRA: Effcient Mixture of Low-Rank Adaptation for Large Language Models Fine-tuning 低秩自适应（LoRA）及其混合专家（MOE）变体是高参数效率微调（PEFT）方法的有效途径。然而，由于在Transformer层中添加多个线性模块的LoRA模块和MOE路由器，它们在Multi-Tenant设置中引入了显著的延迟。 为了解决这个问题，作者提出了混合低秩自适应（MiLoRA），这是一种新颖且高效的LoRA变体。与先前的MOE-LoRA方法不同，MiLoRA将每个LoRA模块视为专家，并采用 Prompt ...
2025-11-16
正则化
正则化正则化主要用于避免过拟合的产生和减少网络误差。 正则化一般具有如下形式： $$J(w,b)= \frac{1}{m} \sum_{i=1}^{m}L(f(x),y)+\lambda R(f)$$其中，第 1 项是经验风险，第 2 项是正则项， $λ≥0$ 为调整两者之间关系的系数。 第 1 项的经验风险较小的模型可能较复杂（有多个非零参数），这时第 2 项的模型复杂度会较大。 正则化的作用是选择经验风险与模型复杂度同时较小的模型。 常见的有正则项有 L1 正则 和 L2 正则 以及 Dropout ，其中 L2 正则 的控制过拟合的效果比 L1 正则 的好。 ...
