估值840亿AI实验室再放大招，他们要给大模型戴上「紧箍咒」

OpenAI前高管Mira Murati创建的研究机构发布重磅新成果

OpenAI前首席技术官Mira Murati创办的人工智能研究机构Thinking Machines Lab日前发布了其第二篇研究论文——《模块流形》(Modular Manifolds)。这是该机构继突破性论文《克服大型语言模型推理中的不确定性》(Defeating Nondeterminism in LLM Inference)后，在人工智能基础研究领域的最新贡献。

研究机构背景

作为OpenAI前技术领导者，Mira Murati在创立Thinking Machines Lab后迅速组建了一支顶尖的研究团队。该机构专注于人工智能基础理论和前沿技术的探索，旨在推动下一代智能系统的发展。

研究成果进展

• 首篇论文《克服大型语言模型推理中的不确定性》提出了解决LLM推理随机性的创新方法
• 最新发表的《模块流形》研究则深入探讨了知识模块化表示的新范式
• 两项研究都具有理论创新性和工程实践价值

业界专家认为，Thinking Machines Lab的研究方向直指人工智能核心挑战，其成果可能对未来的模型架构产生深远影响。该机构的研究进展将持续受到学术界和产业界的高度关注。

大型神经网络训练的稳定性：基于流形优化的新范式

训练过程的数值稳定性挑战

训练大型神经网络本质上是一项需要精细平衡的任务，研究人员必须严格监控其内部的数值稳定性。关键在于保持权重、激活值和梯度这三个核心张量指标处于合理范围，避免出现数值溢出或消失梯度等典型问题。

统一量级管理的三种策略

基础层面的激活值控制

通过应用Layer Normalization技术可实现各层输出的标准化处理，这种方法已经广泛应用于现代神经网络架构中。该技术通过对激活向量进行归一化处理，有效约束了各层的数值范围。

梯度更新的规范化处理

对梯度更新过程实施谱归一化已成为一种常见实践。以Muon优化器为例，该方法对每一步更新进行规范化处理，确保梯度更新的幅度维持在可控范围内。

权重矩阵的直接约束

最根本的方法是从源头上控制权重矩阵本身。通过将权重张量约束在特定的子流形(submanifold)上，研究人员可以设计出与这些约束协同工作的优化算法。这种方法实现了从”事后补救”到”事前预防”的转变——在训练伊始就将参数控制在合理范围内，大大提升了训练过程的稳定性和可解释性。

流形优化的理论基础

流形在数学上被定义为局部表现为平坦空间的曲面结构。具体而言：

• 在足够小的范围内观察，任意流形都与普通平面拓扑等效
• 流形上每一点都存在一个切空间(tangent space)，描述了该点附近的局部平坦特性

这种几何视角为设计新型优化算法提供了理论基础。通过将参数空间约束在特定的子流形上，研究人员可以开发出更稳定、更高效的训练算法，从而应对大型神经网络训练过程中的各种挑战。

流形约束下的高维权重优化问题

流形约束与投影方法的局限性

在机器学习的优化过程中，我们常会遇到权重参数需要限制在特定流形（如高维球面）上的情况。如图1所示，三维球面或更高维度的超球面都属于这类流形，图中红色部分展示了流形在某点处的切平面。传统的解决方法是采用普通优化器进行参数更新后，再将权重投影回流形。
然而这种方法存在显著缺陷：当优化步骤偏离流形过大时，强行投影会导致名义学习率与实际参数位移的不匹配。这种差异会削弱算法设计者对「步长—效果」关系的直觉判断，进而影响模型训练质量。

流形优化的核心问题与解决路径

要在流形上设计有效的训练算法，必须首先解决以下关键问题：如何在切空间中合理度量「距离」？
一个更为优化的解决思路是：

• 直接在切空间中进行参数优化
• 确保每个优化步骤都沿着流形表面移动
• 通过学习率准确对应参数在流形上的实际位移

距离度量方法的选择

在切空间的距离度量上，欧几里得距离是最常用的选择，但并非唯一选项。如图2所示，根据具体应用场景和数学模型的特点，也可以考虑采用其他适合的距离测量方式。这种灵活性为不同场景下的流形优化提供了更多的可能性。
研究表明，距离度量方法的选取在优化过程中具有关键性影响，其将直接决定最优解搜索方向的确定。

梯度更新方向的数学表述与约束优化

粉色箭头表征了原始梯度方向，即损失函数对权重的偏导数（∂L/∂w）。然而在实际优化过程中，参数的更新方向并非必须严格遵循梯度方向。

数学建模与约束条件

将“流形约束与特定度量下的最优更新方向”抽象为一个约束优化问题，可以选择欧几里得范数约束的超球面作为典型示例。设：

• g表示梯度向量
• w表示超球面上的当前位置
• a表示待求解的更新方向向量
• η表示学习率

此时，优化问题的核心在于：在满足超球面约束条件的前提下，寻求使目标函数最优的更新方向a。该约束条件可用公式表述为‖a‖₂ = η（欧几里得范数约束）。

最优化问题求解方法分析

可视化语言解读

根据图1、图2和图3所阐释的可视化表达，该数学公式的核心含义可表述为：
绿色箭头（代表变量a的最优解）必须同时满足以下两个关键约束条件：

• 几何位置约束：解必须位于红色的切平面之上
• 范数约束：解需严格限定在半径为η的黄色圆内

求解方法论

针对此类带约束的最优化问题，学术界普遍采用拉格朗日乘数法进行系统求解。该方法通过引入拉格朗日乘子，将原始约束优化问题转化为无约束的极值问题，从而实现对最优解的数学推导。
该方法的优势在于：

• 保持原始问题的数学完备性
• 提供清晰的优化路径
• 适用于多维约束条件的耦合求解

根据拉格朗日乘数法，该优化问题可表述为含有拉格朗日乘子λ和μ的函数形式。通过以下步骤可获得最优解：

• 构造拉格朗日函数：引入乘子λ和μ，将约束条件纳入目标函数
• 求极值必要条件：对变量a求偏导并令其等于零
• 联立方程求解：结合原始约束条件，建立完整方程组
• 解析最优解：通过代数运算确定最优更新方向

该方法确保了在满足所有约束条件下获得最优目标函数值，其严密性在数学上得到了充分保证。

最优更新策略的数学阐释

最优更新方法的实现可分解为以下三个关键步骤：

• 径向分量的消除

首先需要从梯度向量中减去其与参数向量w同方向的径向分量，即通过投影操作将梯度向量映射至切空间。这一步骤保证了更新方向与当前参数点在参数空间中的位置保持正交关系。

• 归一化处理

在完成投影后，对所得切空间向量进行归一化操作，确保其具有单位长度。该处理为后续学习率的应用提供了标准化的尺度基准。

• 学习率调节

最终将归一化后的切空间向量乘以预设学习率，从而在维持方向最优性的同时，精确控制参数更新的步长。
这一系列操作的核心优势在于：既保留了梯度下降算法的优化本质，又通过几何约束确保了所有更新步骤严格位于参数空间的切平面内，从而避免了算法收敛过程中的径向偏移问题。
在图4中可以观察到，这一精密的数学调整过程被学术界定名为「回缩映射」（retraction map）。以下将系统性地阐述流形优化算法的完整计算流程：

一阶流形优化器的核心原理与方法综述

一阶流形优化器是一种基于几何约束的优化方法，其核心流程可系统地分解为以下三个关键步骤：

• 确定单位长度切向量
• 在梯度方向上计算当前点的切空间单位向量。
• 该向量的选取需确保其方向为局部优化目标的最速下降方向。
• 沿切向量梯度更新权重
• 通过预设的学习率对该切向量进行标量缩放。
• 将缩放结果从当前参数点处进行线性减除，完成初步迭代更新。
• 回缩映射至流形空间
• 对更新后的参数实施回缩映射（Retraction）操作，确保其重新满足流形的几何约束条件。

算法设计与实现的核心选择

在实际应用中，流形优化器的性能取决于以下两个本质性选择:

• 约束流形的数学定义
• 需明确优化问题所嵌入的微分流形类型（如球面、Stiefel流形等）。
• 不同流形结构将直接影响切空间与回缩映射的计算方式。
• 度量方式的选取
• 定义切空间上的内积或度量张量，用于确定梯度的长度与方向。
• 采用欧氏度量或黎曼度量会导致不同的优化轨迹与收敛特性。

根据上述选择的组合差异，可衍生出一系列具有不同计算特性与收敛表现的优化算法。具体方法的对比分析请参见后续表格总结。

MuonTransformer流形中的权重矩阵约束设计策略

MuonTransformer流形中的典型权重矩阵W本质上是一个向量线性变换器，其数学表达为y=Wx，其中x为输入向量，y为输出向量。在该架构设计中，我们必须建立合理的流形约束和距离函数，以确保权重矩阵对输入向量的变换满足以下关键要求：

• 保持输出值的稳定范围，避免输出值的过大或过小
• 确保权重更新过程的平滑性，防止输出向量发生剧烈变化或几乎不变化

针对矩阵作用于向量的作用机制分析，奇异值分解(SVD)提供了理论层面上的重要分析工具。如图5所示，SVD通过矩阵分解的方式清晰地展现了权重矩阵如何在不同维度上对输入向量进行尺度变换。

矩阵流形与拉伸效应的最优选择

关键概念解析：在实现最优矩阵变换时，研究者期望矩阵的「拉伸效应」接近于1。这一特性对于保持向量空间的几何结构至关重要。

Stiefel流形的数学定义

为实现这一目标，我们采用了一种特殊的矩阵流形——Stiefel流形。该流形由满足以下特性的矩阵构成：

• 所有奇异值均为1
• 在m≥n的高矩阵假设条件下

从集合论角度，Stiefel流形可严格定义为：Vₙ(ℝᵐ) = {X ∈ ℝᵐˣⁿ | XᵀX = Iₙ}
这个定义保证了矩阵变换过程中的保距性，即不会产生异常的尺度变形，从而满足我们对拉伸效应的严格要求。

Stiefel流形优化中谱范数约束的理论基础与应用

谱范数作为衡量矩阵最大奇异值的数学工具，在Stiefel流形的优化设计中展现出独特价值。该范数通过约束权重更新的最大拉伸效应</b]，为优化过程提供了关键的限制条件。尽管谱范数仅直接控制最大影响因子，但由于优化算法会自发趋向这一上限，因此能间接保证最小影响因子不会过度衰减，形成双向约束效果。
这一理论基础直接催生了Muon优化器的创新设计。当将该约束理念与Stiefel流形固有的几何特性相融合时，便形成了具有理论深度和应用价值的”manifold Muon”优化问题。该方法在保持算法收敛性的同时，有效平衡了参数更新的尺度范围。
技术实现层面，该方法具有以下关键特征：

• 通过奇异值分解(SVD)精确计算谱范数约束
• 保持优化参数的单位正交性
• 实现最大-最小效应的动态平衡
• 兼具理论严谨性和计算可行性

研究的关键发现在于该问题可表述为凸优化模型，其求解方法可采用经典的对偶上升法（dual ascent）这一标准优化技术。这一方法论选择既确保了理论解的收敛性，又具有工程实现的可行性。
该结论可进一步严谨表述为：

• 基于严格数学推导，我们得出对偶函数的梯度表达式为：*

这一理论结果具有以下关键特征：

• 形式明确：给出了对偶函数梯度的解析表达
• 理论基础坚实：推导过程符合凸优化理论的规范性要求
• 应用价值显著：为相关优化问题的求解提供了重要数学工具

该结论在数学优化领域具有重要的理论意义和实践价值，其正确性已通过严格的逻辑证明与数值验证。
补充说明：

• 推导过程需满足Lipschitz连续性等常规数学约束条件
• 结果适用于标准凸优化问题框架
• 具体表达式形式与问题的对偶形式密切相关

为验证算法的可行性，本研究设计了一项小型对照实验。实验结果显示（详见图6），该算法在预设测试条件下展现出预期的性能表现。关键数据指标达到设计要求，充分证明了算法的有效性与实用性。

神经网络优化中的模块流形理论探究

多层神经网络组合的关键问题

在构建多层神经网络时，一个重要问题在于如何有效管理层间交互关系，以及是否需要据此调整优化策略。这一问题的解决需要将单层网络的推导逻辑系统性扩展至整个网络架构，这正是模块流形理论（modular manifolds）的核心研究范畴。

模块流形的核心机制

该理论通过建立抽象数学框架，为神经网络各层之间的学习率分配提供方法论指导。其理论本质可归纳为：

• 学习率分配问题：不同网络层间的学习率配置
• 参数缩放原则：单层参数的规范化调整
• 敏感性分析：基于网络输出对权重Lipschitz连续性的理解

模块流形理论的创新价值在于：通过在网络构建过程中持续追踪参数敏感性，并引入流形约束条件，显著提升了对网络动态特性的数学刻画精度。该理论为深度学习模型的优化过程提供了更具解释性的数学工具。
注：本文理论内容参考自专业机器学习研究机构thinkingmachines的相关学术成果。