低秩近似之路四ID
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Hongwei Zhao's Blog！
相关推荐
2025-11-16
低秩近似之路二SVD
低秩近似之路（二）：SVD Author: [苏剑林] Link: [https://zhuanlan.zhihu.com/p/2957340022] 最佳排版请看原博客： 低秩近似之路（二）：SVD - 科学空间|Scientific Spaces上一篇文章中我们介绍了“https://kexue.fm/archives/10366”，它关系到给定矩阵$\boldsymbol{M}$ $\boldsymbol{A}$（或$\boldsymbol{B}$）时优化目标$\Vert \boldsymbol{A}\boldsymbol{B} - \boldsymbol{M}\Vert_F^2...
2025-11-16
新理解矩阵-苏剑林
《新理解矩阵1》：矩阵是什么？前边我承诺过会写一些关于自己对矩阵的理解。其实孟岩在《理解矩阵》这三篇文章中，已经用一种很直观的方法告诉了我们有关矩阵以及线性代数的一些性质和思想。而我对矩阵的理解，大多数也是来源于他的文章。当然，为了更好地理解线性代数，我还阅读了很多相关书籍，以求得到一种符合直觉的理解方式。孟岩的blog已经很久没有更新了，在此谨引用他的标题，来叙述我对矩阵的理解。 当然，我不打算追求那些空间、算子那些高抽象性的问题，我只是想发表一下自己对线性代数中一些常用工具的看法，比如说矩阵、行列式等。同时，文章命名为“理解矩阵”，也就是说这不是矩阵入门教程，而是与已经有一定的线性代...
2025-11-16
Monarch矩阵
文章来源：Monarch矩阵-计算高效的稀疏型矩阵分解 最佳排版请看原博客：Monarch矩阵：计算高效的稀疏型矩阵分解 - 科学空间|Scientific Spaces 在矩阵压缩这个问题上，我们通常有两个策略可以选择，分别是低秩化和稀疏化。低秩化通过寻找矩阵的低秩近似来减少矩阵尺寸，而稀疏化则是通过减少矩阵中的非零元素来降低矩阵的复杂性。如果说SVD是奔着矩阵的低秩近似去的，那么相应地寻找矩阵稀疏近似的算法又是什么呢？ 接下来我们要学习的是论文《Monarch: Expressive Structured Matrices for Efficient and Accurate T...
2025-11-16
理解矩阵-孟岩
理解矩阵（转载自孟岩） 前不久chensh出于不可告人的目的，要充当老师，教别人线性代数。于是我被揪住就线性代数中一些务虚性的问题与他讨论了几次。很明显，chensh觉得，要让自己在讲线性代数的时候不被那位强势的学生认为是神经病，还是比较难的事情。 可怜的chensh，谁让你趟这个地雷阵？！色令智昏啊！ 线性代数课程，无论你从行列式入手还是直接从矩阵入手，从一开始就充斥着莫名其妙。比如说，在全国一般工科院系教学中应用最广泛的同济线性代数教材（现在到了第四版），一上来就介绍逆序数这个“前无古人，后无来者”的古怪概念，然后用逆序数给出行列式的一个极不直观的定义，接着是一些简直犯傻的行列式...
2025-11-16
低秩近似之路一伪逆
低秩近似之路（一）：伪逆 Author: [苏剑林] Link: [https://zhuanlan.zhihu.com/p/790279779] 最佳排版请看原博客： 低秩近似之路（一）：伪逆 - 科学空间|Scientific Spaces可能很多读者跟笔者一样，对矩阵的低秩近似有种熟悉而又陌生的感觉。熟悉是因为，低秩近似的概念和意义都不难理解，加之目前诸如LoRA等基于低秩近似的微调技术遍地开花，让低秩近似的概念在耳濡目染间就已经深入人心；然而，低秩近似所覆盖的内容非常广，在低秩近似相关的论文中时常能看到一些不熟悉但又让我们叹为观止的新技巧，这就导致了一种似懂非懂的陌生感。 因此...
2025-11-16
低秩近似之路三CR
低秩近似之路（三）：CR Author: [苏剑林] Link: [https://zhuanlan.zhihu.com/p/3977810830] 最佳排版请看原博客： 低秩近似之路（三）：CR - 科学空间|Scientific Spaces在https://kexue.fm/archives/10407中，我们证明了SVD可以给出任意矩阵的最优低秩近似。那里的最优近似是无约束的，也就是说SVD给出的结果只管误差上的最小，不在乎矩阵的具体结构，而在很多应用场景中，出于可解释性或者非线性处理等需求，我们往往希望得到具有某些特殊结构的近似分解。 因此，从这篇文章开始，我们将探究一些具有...