Vision Mamba
论文地址：https://arxiv.org/pdf/2401.09417.pdf
项目地址：https://github.com/hustvl/Vim
论文标题：Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！
相关推荐
2025-11-16
概述
背景Transformer:以其注意力机制而闻名，其中序列的任何部分都可以动态地与任何其他部分相互作用，特别是具有因果注意力机制的的Transformer，擅长处理序列中的单个元素。但是它们带来了显著的计算和内存成本，与序列长度的平方(L²)成比例。 循环神经网络(rnn): rnn只考虑当前输入和最后一个隐藏状态，按顺序更新隐藏状态。这种方法允许它们潜在地处理无限序列长度和恒定的内存需求。但是rnn的简单性是一个缺点，限制了它们记住长期依赖关系的能力。此外，rnn中的时间反向传播(BPTT)是内存密集型的，并且可能遭受梯度消失或爆炸的影响，尽管有LSTM等创新部分结解决了这个问题。 S...
2025-11-16
VMamba
论文标题：VMamba: Visual State Space Model 论文地址: https://arxiv.org/abs/2401.10166 代码地址: https://github.com/MzeroMiko/VMamba
2025-11-16
问题
Selection Mechanism $N$ 何理解 S4中$L$ 如何处理的？S6中$L$ 如何处理的？ S6:$\bar{A}\bar{B}$ 何计算的？ S6: 训练和推理？ Parallel Scan Code
2025-11-16
符号说明
符号 维度 符号说明 默认值 $A$ $B$ batch size $C$ $D$ channels $E$ a controllable expansion factor 2 $L$ length $N$
2025-11-16
逻辑回归
Logistic RegressionClassification在分类问题中，预测的结果是离散值（结果是否属于某一类），逻辑回归算法(Logistic Regression)被用于解决这类分类问题。 垃圾邮件判断 金融欺诈判断 肿瘤诊断 讨论肿瘤诊断问题： 肿瘤诊断问题的目的是告诉病人是否为恶性肿瘤，是一个二元分类问题(binary class problems)，则定义 $ y \in\lbrace 0, 1\rbrace$，其中 0 表示负向类(negative class)，代表恶性肿瘤(“-“)，1 为正向类(positive class)，代表良性肿瘤(“+”)。如图，...
2025-11-16
迁移学习
迁移学习（Transfer Learning）根据 领域 和 任务的相似性，可以这样划分： 根据 源Domain和目前Domain 之间的关系，源Task 和 目标Task之间的关系，以及任务方法更详细的整理为下表： 学习类型 源Domain & 目标Domain 源Task & 目标Task 源Data & 目标Data 任务方法 传统机器学习 相同 相同 有标签 | 有标签 归纳式迁移学习 相同/相关 相关 多任务学习 - 有标签 | 有标签 分类回归 自我学习 - 无标签 | 有标签 直推式迁移学习 相关 相同...