写在前面

近日博主发现2024、2025年，社区中涌现了一大批做Looping Network的工作（包括但不限于做数独、做迷宫、做路径规划。。。），一直想探索Looping在语言类任务的效果。最近又看到马里兰大学的研究，把Skipping和Looping结合到一起用MCST（蒙特卡洛搜索树）做最优的探索，居然在语言类的常规任务上取得了很好的提升（我之前自己做Looping在这些任务都是掉点的/可能是没做什么Continuous Training和别的）。于是想好好研究一下Looping背后的机制和原理，期望能带来某些insights。

现代神经网络的三种信息处理范式

形式化表述	举例	说明
$\mathbf{Y} = f(\mathbf{X})$	MLP, CNN, Decoder-only Transformer	无状态（stateless）映射：一次性输入 → 输出
$(\mathbf{Z,Y}) = f(\mathbf{Z,X})$	RNN	有状态（stateful）动态系统：每步输入与历史状态共同决定输出与新状态
$\mathbf{Z} = f(\mathbf{Z,X}), \mathbf{Y}=g(\mathbf{Z})$	Deep Equilibrium Model (DEQ), Neural ODE, hierarchical reasoning model(HRM), tiny recursive model(TRM)	分离状态更新与读出（state transition + readout）：内部状态自演化，输出从状态读出

表格中 $\mathbf{Z}$ 被称为implicitly-defined layers (详见 NeurIPS 2024: Understanding Representation of Deep Equilibrium Models from Neural Collapse Perspective)。

Neural Collapse (神经[网络表征]坍缩, $\mathcal{NC}$ )

当模型处于训练的最终阶段 (terminal phase of training, TPT)，或更准确地说，达到零训练误差时，最后一层的特征的类内均值和分类头的向量收敛到平衡数据集上的单纯形等角紧框架 (Equiangular Tight Frame, ETF) 的顶点。

Simplex Equiangular Tight Frame: 一组处于某个n维空间的K个点的集合 $\mathbf{S}: s_i \in \mathbb{R}^D, i = {1,2,...,K}$ 被称为单纯形等角紧框架如果满足:

$S = \alpha \sqrt{\frac{K}{K-1}}\mathbf{P}(\mathbf{I}_K-\frac{1}{K} \mathbf{1}_K \mathbf{1}_K^{\intercal}), \alpha \neq 0$

$\mathbf{I}_K \in \mathbb{R}^{K \times K}$ 是单位矩阵， $\mathbf{1}_K$ 是纯1向量， $\mathbf{P} \in \mathbb{R}^{D \times K}, (D \geq K)$ 是部分正交矩阵，使得 $\mathbf{P}^\intercal \mathbf{P} = \mathbf{I}$ .

$\mathcal{NC}$ 的四个属性：

方差坍缩（Variance Collapse）：类内特征（即最后一层的feature map）收敛为唯一向量 $\bar{h_k}$ ，即对于同一个标签类中 $k$ 的任意样本 $i$ ，通过训练过程，其特征 $h_{k,i}$ 满足 $||h_{k,i} - \bar{h_k}|| \to 0$ 。
收敛于单纯形等角紧框架（Convergence to Single ETF）：每个类的最佳特征的平均值(即 $\bar{h_k}$ )折叠到单纯形 ETF 的顶点。
收敛于自对偶（Convergence to Self-duality）：在训练收敛后，分类器学到的权重方向和数据特征本身的类别中心方向是一致的，即 $\frac{\mathbf{W}}{||\mathbf{W}||} = \frac{\mathbf{H}}{||\mathbf{H}||}$ . (自对偶意味着：这两个原本不同视角的问题，在深度网络训练后会收敛到同一个解.)
最近邻原则（Nearest Neighbor）：分类器根据特征向量和分类器权重之间的欧几里得距离来确定类别。

神经崩溃的插图。这里表示网络的特征映射，即倒数第二层的输出。图源NeurIPS 2021:A Geometric Analysis of Neural Collapse with Unconstrained Features

无约束特征模型（Unconstrained Feature Model, UFM）

也叫层剥离模型（Layer-peeled Model）,指的是神经网络的最后一层特征与最后一层分类器一起的建模，被视为可以学习的优化变量。

层剥离模型的插图。其中灰框被人为剥离，以通过每个训练样本的简单决策变量对进行建模。

在UFM的先验假设下，大多数 $\mathcal{NC}$ 研究都是基于1-2层常规权重，但是也有将其扩展到分析M层线性层的。

少数[特征表征]崩溃（Minority Collapse, MC）

在不平衡的类间样本中， $\mathcal{NC}$ 通常不会发生。这种现象的出现是由于训练样本数量类间不平衡，导致在充分拟合某些类别的特征方面存在挑战。这通常被称为MC。这种现象是不好的，因为会影响神经网络本身的泛化性（本质是数据呈现长尾分布的问题）。有很多种方法来缓解MC，例如convex relaxation，修改loss，加正则，reweighting，AutoBalance，logit监督等等。