VMamba

发表于2025-11-16|更新于2026-03-01|AIMamba

|浏览量:

论文标题：VMamba: Visual State Space Model

论文地址: https://arxiv.org/abs/2401.10166

代码地址: https://github.com/MzeroMiko/VMamba

文章作者: Hongwei Zhao

文章链接: https://geeks-z.github.io/Blog/2025/11/16/AI/22.Mamba/05.VMamba/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！

相关推荐

论文地址：https://arxiv.org/pdf/2401.09417.pdf项目地址：https://github.com/hustvl/Vim论文标题：Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model

Selection Mechanism $N$ 何理解 S4中$L$ 如何处理的？S6中$L$ 如何处理的？ S6:$\bar{A}\bar{B}$ 何计算的？ S6: 训练和推理？ Parallel Scan Code

背景Transformer:以其注意力机制而闻名，其中序列的任何部分都可以动态地与任何其他部分相互作用，特别是具有因果注意力机制的的Transformer，擅长处理序列中的单个元素。但是它们带来了显著的计算和内存成本，与序列长度的平方(L²)成比例。循环神经网络(rnn): rnn只考虑当前输入和最后一个隐藏状态，按顺序更新隐藏状态。这种方法允许它们潜在地处理无限序列长度和恒定的内存需求。但是rnn的简单性是一个缺点，限制了它们记住长期依赖关系的能力。此外，rnn中的时间反向传播(BPTT)是内存密集型的，并且可能遭受梯度消失或爆炸的影响，尽管有LSTM等创新部分结解决了这个问题。 S...

符号维度符号说明默认值 $A$ $B$ batch size $C$ $D$ channels $E$ a controllable expansion factor 2 $L$ length $N$

显存大小和带宽NVIDIA GPU 显存有两种类型，GDDR和HBM，每种也有不同的型号。针对显存我们通常会关注两个指标：显存大小和显存带宽。HBM显存通常可以提供更高的显存带宽，但是价格也更贵，通常在训练卡上会使用，比如 H100、A100等，而GDDR显存通常性价比更高，在推理 GPU 或游戏GPU更常见，比如T4、RTX4090等。 Reference GPU 关键指标汇总：算力、显存、通信

十规则 Isolation and Impartial Aggregation: A Paradigm of Incremental Learning without Interference How to write a first-class paper https://www.nature.com/articles/d41586-018-02404-4 Manuscripts may have a rigidly defined structure, but there’s still room to tell a compelling story — one that cle...