写在前面 近日博主发现2024、2025年，社区中涌现了一大批做Looping Network的工作（包括但不限于做数独、做迷宫、做路径规划。。。），一直想探索Looping在语言类任务的效果。最近又看到马里兰大学的研究，把Skipping和Looping结合到一起用MCST（蒙特卡洛搜索树）做最优的探索，居然在语言类的常规任务上取得了很好的提升（我之前自己做Looping在这些任务都是掉点的/可能是没做什么Continuous Training和别的）。于是想好好研究一下Looping背后的机制和原理，期望能带来某些insights。 现代神经网络的三种信息处理范式 形式化表述 举例 说明 Y=f(X)\mathbf{Y} = f(\mathbf{X})Y=f(X) MLP, CNN, Decoder-only Transformer 无状态（stateless）映射：一次性输入 → 输出 (Z,Y)=f(Z,X)(\mathbf{Z,Y}) = f(\mathbf{Z,X})(Z,Y)=f(Z,X) RNN 有状态（stateful）动态系统：每步输入与历史状态共 ...