我们先从最经典的方阵（Square Matrix）讲起。为什么线性代数第一课总是教特征值分解？
🎯 不偏转的黄金指针（Eigenvector）：
当一个方阵作用在空间中的普通向量上时，这个向量通常会“既转弯、又拉长”（方向和长度全变了）。
但是！空间中必定存在几个极其神奇的“黄金指针”——无论矩阵怎么扭曲空间，它们的方向绝对不发生任何偏转！它们只会被纯粹地拉长或缩短！
这就是特征向量（Eigenvector）！它被拉长或缩短的倍数，就是特征值（Eigenvalue $\lambda$）！
数学公式：$A v = \lambda v$。方阵分解：$A = Q \Lambda Q^{-1}$。
🎮 特征向量交互试验台：
观察左侧两条虚线与实线：
🌟 金黄/翠绿两根主轴是天然的特征向量：变换后只变长短，牢牢钉在原方向！
🔵 天蓝色普通向量：变换后被狠狠扭歪了角度！
💥 残酷现实暴击：
特征分解虽好，但它只能处理方阵（n×n）！
神经网络中 90% 以上的参数和梯度都是长方形矩阵（m×n）！长宽都不等，连行列式都没有，特征方程当场罢工！怎么拯救长方形？
既然长方形矩阵 $G \in \mathbb{R}^{m \times n}$ 没法直接求特征向量，数学家展现了无与伦比的第一性原理智慧：让它自己乘自己，借壳造出两个对称方阵！
💡 SVD 本质上是两次特征分解的合体：
1️⃣ 计算左方阵 $G G^T \in \mathbb{R}^{m \times m}$ 做特征分解，求出来的特征向量就是 左旋转矩阵 $U$；
2️⃣ 计算右方阵 $G^T G \in \mathbb{R}^{n \times n}$ 做特征分解，求出来的特征向量就是 右旋转矩阵 $V$；
3️⃣ 两个方阵的非零特征值竟然奇迹般地一模一样！把特征值开根号 $\sqrt{\lambda_i}$，就诞生了长方形矩阵的奇异值 $\sigma_i$！
长方形万能分解公式：$G = U \Sigma V^T$。它在几何上就是：旋转 $V^T$ → 沿奇异值拉伸 $\Sigma$ → 旋转 $U$！
Muon 的核心思想：把所有奇异值一律强行拉平成 1.0（矩阵零次幂 $O(G) = U I V^T = U V^T$）！但在显卡里做 SVD 分解太贵，Newton-Schulz 5次多项式迭代化身显卡大厨，仅用纯矩阵乘法（GEMM）就能熨平一切！
🔥 擀面工序推进器：
当前迭代步数：
第 0 步 (未正交化)
源码里的惊天转置优化：
transposed = G.size(0) > G.size(1)
if transposed: X = X.T
A = X @ X.T
为什么行大于列时先转置？因为根据 SVD 原理，$G G^T$ 和 $G^T G$ 特征值完全等价！算小尺寸方阵的乘积，显存与算力直接暴降数倍！
🏁 寻宝拉力赛实测：
传统 SGD： 在两侧悬崖间剧烈撞墙横跳
AdamW： 坐标逐一缩放，走折线台阶犹豫摸索
Muon/MuSGD： 消除空间畸变，抄近道直奔谷底！
📥 参数输入
所有待更新张量
→
4D 卷积核展平
[C_out, C_in·H·W] 变 2D
→
🚨 3D Conv1d 避坑拦截
ELA 局部注意力退回 SGD
→
⚡ 油电混动叠加
0.2 Muon + 1.0 SGD
→
🚀 3× 学习率突进
第23层分类头 & 语义头
🦅 本项目 MuSGD
视觉细粒度感知
协同搭档： Muon + SGD (Nesterov 动量)
混动机制： 油电混动（单参数叠加）。每个核心参数同时维护两套独立动量，0.2 的 Muon 正交化负责破除特征坍塌，1.0 的 SGD 动量提供深厚惯性。
防崩法宝： 形状审查与拓扑隔离。封杀 3D 条形卷积，保护空间连续性；针对长尾鸟类分类头注入 3 倍学习率。
🌙 Kimi (Moonshot) Muon / MuonClip
万卡万亿 Token 语言模型
协同搭档： Muon + AdamW
混动机制： 分而治之（模块级硬切分）。长尾稀疏的 Embedding 和输出 Head 走 AdamW；稠密注意力与 FFN 矩阵全部走纯 Muon。
防崩法宝： MuonClip (QK-Clip)。超大规模下注意力点积极易数值爆炸，QK-Clip 充当电网浪涌保护器，动态软截断注意力分数，实现万亿 Token 零 Loss Spike！