Hongwei Zhao's Blog

Selection Mechanism $N$ 何理解 S4中$L$ 如何处理的？S6中$L$ 如何处理的？ S6:$\bar{A}\bar{B}$ 何计算的？ S6: 训练和推理？ Parallel Scan Code

论文地址：https://arxiv.org/pdf/2401.09417.pdf项目地址：https://github.com/hustvl/Vim论文标题：Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model

论文标题：VMamba: Visual State Space Model 论文地址: https://arxiv.org/abs/2401.10166 代码地址: https://github.com/MzeroMiko/VMamba

Reference https://pytorch.org/docs/stable/index.html https://www.w3cschool.cn/pytorch/pytorch-5ubt3bby.html https://zhuanlan.zhihu.com/p/103630393 torchvision 库简介 PyTorch 之 torchvision.transforms 详解 https://pytorch-cn.readthedocs.io/zh/latest/torchvision/torchvision-transform/ https://github.com/...

Theory on Mixture-of-Experts in Continual Learning0. 摘要连续学习（CL）因其能够适应随时间到来的新任务而受到广泛关注。在模型适应新任务时，旧任务的灾难性遗忘（catastrophic forgetting）被确定为 CL 中的一个主要问题。最近，专家混合（MoE）模型已被证明可以通过使用门控网络来稀疏化和分配多个专家之间的不同任务，从而有效减轻 CL 中的灾难性遗忘。然而，对于 MoE 及其对 CL 学习性能影响的理论分析还比较缺乏。本文提供了第一个理论结果，通过过参数化线性回归任务的视角来表征 MoE 在 CL 中的影响。我们通过证...

Pre-trained Vision and Language Transformers Are Few-Shot Incremental Learners CVPR 2024 0. 摘要少样本类增量学习（Few-Shot Class Incremental Learning，简称 FSCIL）是一项任务，要求模型在每个类别只有少量样本的情况下，逐步学习新类别而不遗忘旧类别。 FSCIL 面临两大挑战：灾难性遗忘和过拟合。这些挑战促使以往的研究主要依赖于浅层模型，如 ResNet-18。虽然浅层模型因容量有限，可以缓解遗忘和过拟合问题，但也导致了在少样本增量阶段中知识迁移的不足。 ...

Multimodal Parameter-Efficient Few-Shot Class Incremental Learning0. 摘要少样本类增量学习（FSCIL）是一个具有挑战性的持续学习任务，其中在多个学习阶段中仅有有限的训练样本可用。要在这个任务中取得成功，必须避免由少样本训练集中的偏差分布引起的新类的过拟合问题。通常的解决方法是通过在预定义的主干架构上增加特殊模块以增强表征能力，从而实现与旧类的向后兼容。然而，这种方法尚未解决如何在确保长期内高分类准确率的同时减少大训练集与小训练集之间的性能差距的难题。在这项工作中，我们提出了一种称为持续参数高效CLIP（CPE-CLIP...

Few-shot Tuning of Foundation Models for Class-incremental Learning0. 摘要首次探索了针对类别增量学习的少量样本调整视觉基础模型。与现有的少量样本类别增量学习（FSCIL）方法不同，这些方法在基础会话上训练一个编码器，以确保对未来持续学习的前向兼容性，而基础模型通常在大量未标记数据上训练，没有此类考虑。这使得传统FSCIL的方法不适用于与基础模型的FSCIL。为此，我们提出了一种新方法——一致性引导的异步对比调整（CoACT），用于在少量样本设置中不断调整基础模型以学习新类别。CoACT包括三个组成部分：(i) 异步对比...

ChatGPT全文翻译 :arrow_down:0. 摘要尽管许多关于持续学习的工作在减轻灾难性遗忘方面显示出令人鼓舞的结果，但这些方法依赖于有监督的训练。为了在无标签的增量学习环境中成功学习，模型必须区分已学习的类别和新类别，以正确地包含样本进行训练。我们引入了一种利用网络混淆的新增检测方法，该方法通过将新数据训练为新类别来工作。我们发现，在此检测方法中引入类别不平衡显著提高了性能。我们的方法在一组图像分类基准数据集（包括 MNIST、SVHN、CIFAR-10、CIFAR-100 和 CRIB）上的有效性得到了验证。 1. 引言在人工智能领域，开发能够持续学习的系统仍然是一个主要障碍...

ChatGPT全文翻译 :arrow_down:0. 摘要本文研究了一个新颖、实际但具有挑战性的问题，称为类别增量无监督领域自适应（Class-Incremental Unsupervised Domain Adaptation, CI-UDA），其中有标签的源域包含所有类别，但目标域中的类别会逐步增加。这个问题的难点在于两个方面：首先，源域和目标域的标签集在每个时间步骤上都不一致，这使得准确的领域对齐变得困难。其次，先前的目标类别在当前步骤中不可用，导致前期知识的遗忘。为了解决这个问题，我们提出了一种新颖的**基于原型引导的持续适应（Prototype-guided Continual...

ChatGPT总结 :arrow_down:1. 问题阐述该论文主要解决的核心问题是如何在无监督的持续学习（Continual Unsupervised Learning, CURL）场景中优化表示学习，以有效应对随着任务数量增加而带来的灾难性遗忘问题。传统的无监督表示学习已经在许多任务中取得了显著进展，然而，当这种学习需要在非独立同分布（non-IID）的数据流中持续进行时，模型往往会面临显著的性能下降。这种问题的重要性在于，无监督学习因其无需标签的优势，可以潜在地处理大量的数据，但在实际应用中，数据流可能是连续且逐渐变化的，这就导致了灾难性遗忘问题。论文具体表述了在面对多任务数据流时...

Kimi全文翻译 :arrow_down:0. 摘要开放世界场景的动态特性吸引了越来越多的关注于类别增量学习（Class Incremental Learning, CIL）。然而，现有的CIL方法通常假设在整个训练过程中都有完整的真实标签可用，这在实际应用中很少见。因此，本文探索了一个更具挑战性的问题——无监督类别增量学习（Unsupervised Class Incremental Learning, UCIL）。解决这个问题的关键在于有效捕获全面的特征表示，并发现未知的新类别。为了实现这一点，我们首先通过利用细粒度原型对类分布知识进行建模。随后，引入了一种粒度对齐技术来增强无监督类...