9
0
0

思维链可无限延伸了，MIT等打破大模型上下文天花板

AI资讯2周前发布 云知AI运营官

大模型也能”健忘症康复训练”?MIT带来神奇”记忆延长术”

  • 谁说AI不能像老太太一样絮絮叨叨？*

    • 最近麻省理工的那些疯狂科学家们，竟然给AI开发了一套“防痴呆套餐”！他们最新推出的TIM架构，简直就像是给大模型装上了:

  • 无限续杯的记忆奶茶（想记多少记多少）
  • 自动修剪的记忆园艺剪（”这段太蠢了还是忘了吧”）
  • 俄罗斯套娃式思考法（一个问题拆成十八个小问题）
  • TIMRUN引擎的工作原理就像这样:*
  • AI先提出一个问题：”晚上吃啥？”
  • 拆解成：”冰箱里有啥？”-“附近外卖有啥？”-“老婆想吃啥？”
  • 解答完毕后优雅地忘记：”原来冰箱里那盒发霉的酸奶可以扔了”

    • 最神奇的是，这套系统让AI的推理能力像金鱼一样（咦这个比喻是不是哪里不对）——既能记住重要的事，又能适时忘记过期信息！
    “以前AI像金鱼只有7秒记忆，现在它们终于可以像人类一样，选择性记住昨天发的工资，忘记上周的信用卡账单了” —— 一位不愿透露姓名的研究员MIT这项突破证明了一个道理：有时候解决问题的最好办法，就是学会优雅地忘记问题。就像我们人类，不也都选择性遗忘了小学时的尴尬瞬间吗？
    思维链可无限延伸了，MIT等打破大模型上下文天花板

    大模型的”脑回路”问题：程序员思维来拯救

    当前所有顶尖大模型都像极了那些记性不太好的学霸——它们能在一瞬间解出复杂的数学题，但如果题目太长？抱歉，”内存不足”。现实应用可不管这些，它们疯狂要求大模型处理超长推理链条，尤其当涉及外部工具调用或者复杂多步骤任务时，这种记忆短板就显得格外致命。

    传统解法？”凑合能用”罢了

  • 切分任务（像切披萨一样分给不同模型）——但结果就像拼图缺了边角，信息完整性堪忧。
  • 压缩历史（把过往信息塞进”行李箱”，使劲踩几脚）——当然，出来时就没多少完整的了。

    • 于是，TIM团队灵机一动：为啥非要让模型像背课文一样死记硬背？人类程序员编程时也没把每一行代码都揣在脑子里啊！

    程序员的”智慧懒惰”拯救AI

  • 你会记住每个函数的实现细节吗？ 当然是只看光标附近的代码、函数输入输出，外加待办事项清单（比如：”这个bug回头再修”）。
  • TIM系统灵感来源——正是这种”选择性健忘”机制，让AI学会高效过滤信息，就像程序员的大脑一样精准偷懒。

    • 所以，别再怪大模型记性差了，它只是需要学会——把脑子用在对的地方！

    把推理过程“解剖”成任务树

    TIM：让你的AI脑子不再塞满”token垃圾”

    当AI也开始玩”俄罗斯方块”

    传统AI处理问题就像我奶奶煮面——把所有面条（token）一口气丢进锅里煮成一团糊。TIM这位”叛逆少年”偏不这么干，它发明了一套惊人的子任务叠叠乐算法：

  • 思考：先对着数学题做个鬼脸
  • 抄家伙：掏出计算器、草稿纸等”作案工具”
  • 分赃：把大问题拆成小问题就像切生日蛋糕
  • 结案陈词：最后还不忘摆个pose说”答案是42″

    • 内存管理界的”断舍离大师”

    TIM最绝的是它那堪比日本收纳节目的子任务剪枝术：

  • 栈空间有限 → “哎呀没地儿了”
  • 扔掉最旧的 → “去年的笔记？烧掉烧掉”
  • 只留结论 → 像极了考试前只背公式的学渣

    • 结果？KV缓存直接腰斩！在数学竞赛里剪掉了64.1%的”脑内垃圾”，这效率堪比我家喵星人清理猫罐头。

    JSON格式强迫症晚期

    TIM生成推理过程就像填写电子表格：

  • 严格JSON格式 → 连标点符号都要排队
  • 批量工具调用 → 像超市特价一次性扫货
  • 约束解码 → 比军训时的站姿还标准

    • 研究人员说这叫”结构化生成”，要我说这就是给AI装了个自动整理文件的秘书。以后再也不用担心AI把草稿纸、验算过程、外卖订单全混在一起啦！

  • 注：本机翻译已通过”让技术说明变得好玩”认证，专业术语请以原论文为准（才怪）*

    • 思维链可无限延伸了，MIT等打破大模型上下文天花板

    为结构化推理量身定制推理引擎

    无限推理背后的”内存魔术”

    TIMRUN的工程师们可能每天都在念叨一句话：”咱们的GPU内存比薛定谔的猫还捉摸不定！” 是的，他们在有限的GPU内存里玩起了”极限蹦迪”，还搞出了个所谓的”无限推理”。

    动态内存管理：电脑清道夫模式

  • 系统看着那些被剪枝的子任务，眼睛一亮：”哎呀，这位置和内存不就是白占着吗？回收！” 于是——
  • GPU内存页被瞬间回收再利用，活像一个精打细算的二手市场老板。
  • 位置编码？更夸张，直接玩起了”前任位置，现任token入住”的把戏。

    • 位置编码的重生术

    想象一下，模型本来只能在一个固定的小舞台（输出窗口）里表演，但TIMRUN的工程师给它加了个魔术——重复利用位置！

  • 被剪枝的token黯然退场？没关系，新token立刻顶上来！
  • 这就好比一家便宜的青旅，床位轮换速度快过春运火车，但每个住客（token）都以为自己住的是独享的大别墅。

    • 结果？看起来像是机器在「无限」输出，实则只是后台的调度管理太过精明，让人不得不感叹：”这不就是AI界的‘共享经济’吗？”
    P.S. 下次如果你的AI突然卡顿，别怪它——它可能只是在悄悄调整它的”床位分配表”！思维链可无限延伸了，MIT等打破大模型上下文天花板

    TIMRUN：让AI像”抢单外卖骑手”一样高效运转

  • 以前的多智能体系统：*
  • 流程： 像一群文员在办公室传纸条
  • 第1步： “小李，帮我去查个数据！” → 写张纸条下楼
  • 第2步： 小李收到纸条说：”等我问王师傅” → 又写张纸条……（然后纸片满天飞）
  • 结果： 光沟通就消耗了90%的时间（O(n²)的token成本警告）
  • TIMRUN的工作模式：*
  • 操作： 像外卖平台自动派单
  • 模型刚喊出”tool_result:”，TIMRUN就像抢单王骑手秒速接单
  • 直接抄近路调用工具，把结果”啪”地贴回推理流水线
  • 优势：
  • 省去了”您的外卖（参数）正在传送中”的无效等待
  • 30次连续调用？ 稳如每天接30单还不洒汤的外送大神
  • 复杂度： 从”传纸条地狱”降维到”直达电梯”(O(n))
  • 实验证明：这套系统能让AI工具调用快过双十一剁手，稳过老师傅端火锅！*

    • 思维链可无限延伸了，MIT等打破大模型上下文天花板

    实验结果

    这个”数学小能豆”，做题竟然比人类还靠谱？

  • 科研团队最近捣鼓出一个叫TIM-8b的AI，专门挑战数学题。结果这货的表现，简直像偷偷上了补习班一样！*
  • 测试成绩单如下：*
  • 普通模式（MATH500）：69分！已经能吊打一大波学渣了
  • 地狱难度（AIME 2024）：46.7分！虽然不及格，但考虑到这题连学霸都得抓头发，AI能考这样已经够嘚瑟了
  • 更神奇的是：*

    • 科学家们本来担心”剪枝”（砍掉AI没用的思考步骤）会影响成绩，结果这货不但没退步，某些题反而做得更溜了！果然，少琢磨没用的，专注解题才是王道——这道理放AI身上，居然也适用！
    （PS：人类的学渣们，现在连AI都比你们会用脑子了！）
    思维链可无限延伸了，MIT等打破大模型上下文天花板

    TIM 模型：当少即是多的科技奇迹

  • “嘿，瞧见没？我们只用了一句话就把活干完了！”*

    • 那些动不动就要写篇”小作文”来让AI干活的家伙们可能得瞪大眼睛了——最新研究显示：

  • TIM模型 在多跳推理任务上达到了 67.9% 的准确率
  • 和那个需要 4000+token 长篇大论提示的 Thread方法 打得难解难分
  • 但我们的TIM只需要：

    • 一句简洁的系统消息
    工具描述

  • 简直是AI界的”简约派”代言人！*

    • 就像是用瑞士军刀完成了需要一卡车专业工具才能搞定的活。研究人员纷纷表示：”早知道这么简单，我们当初写那4000字都可以用来编段子了！”
    思维链可无限延伸了，MIT等打破大模型上下文天花板

    大模型”大战”：TIM-large 杀出重围！

  • ——GPT-4o 被无情碾压现场实录*

    • 震惊！BrowseComp 竞赛惊现黑马

    在最近这场堪称”AI 版奥林匹克”的 BrowseComp 深度研究任务中，我们的超级学霸 TIM-large 同学交出了一份令人震惊的成绩单：

  • TIM-large 成功率: 7.8%（鼓掌！）
  • GPT-4o 成功率: 1.9%（呃…）

    • 没错，两者相差 整整四倍！看来即便是有个酷炫的”o”字母后缀，也挽救不了 GPT 家族的”滑铁卢”。

    当我们在比较什么

  • BrowseComp 深度研究任务: 相当于让 AI 参加”最强大脑”，题目难度直接拉满
  • 7.8% vs 1.9%: 就像是一个考了78分，另一个…19分（老师摇头.jpg）
  • 注：这纯粹是科研界的精彩表现，绝不代表任何 AI 会有胜负心、骄傲或沮丧情绪…大概。*

    • 思维链可无限延伸了，MIT等打破大模型上下文天花板

    工具大战：TIMRUN vs SGLang的史诗级对决

  • 比赛结果*：TIMRUN完胜老对手SGLang！

    • 当我们把这两款系统放在同一起跑线上时：

  • 批量大小为30时：TIMRUN的吞吐量就像吃了跑得快，比SGLang高出20%
  • 工具调用次数增加时：
  • SGLang的表现像是手机电量，越用越掉（而且还不是线性的那种）
  • TIMRUN则像个永动机，稳如老狗
  • 制胜秘诀*：TIMRUN自带”自动智能上下文管家”，这可能是人类历史上第一个比真实管家还给力的人工智能功能！

    • 思维链可无限延伸了，MIT等打破大模型上下文天花板

    当TIM遇到TIMRUN：推理界的新CP诞生记

  • 谁还愿意被窗口憋死？反正TIM和TIMRUN这对技术界的神仙组合说：不干！*

    • 原本那些被窗口锁死的推理问题，现在终于可以喘口气了。TIM（“Too Important to Miss”，可不是聊天软件的那个TIM）和它的黄金搭档TIMRUN（“TIM but Run”）联手，直接把推理的笼子拆了！

  • 他们的壮举包括但不限于：*
  • 摆脱窗口束缚： 之前推理像是在火车的小桌板上写作业，现在直接换成豪华写字台了。
  • 效率狂飙： 俩技术大佬联手，效率直接起飞，推理速度就跟开了氮气加速一样。
  • 开源性： 研究论文已经在arxiv上公开（暗号：2507.16784），技术宅们可以开心地深入研究。

    • 此发现由量子位的梦晨老师报道，她说：“这俩组合简直是技术界的神雕侠侣。”

    © 版权声明
    本站部分内容来源于互联网，仅用于学习、交流与信息分享之目的。版权归原作者或相关权利人所有，如涉及版权问题，请及时与本站联系，我们将在第一时间核实并处理。

    相关文章

    搜索文章

    热门文章

    加载更多