6,745
0
0

最新智能体自动操作手机电脑，10个榜单开源SOTA全拿下｜通义实验室

AI资讯2周前发布 云知AI运营官

你的数字小帮手要逆天啦！

Mobile-Agent-v3：一个让你懒出新高度的AI

听说通义实验室又搞事情了？这次他们丢出了一个超炸裂的智能体框架——Mobile-Agent-v3，直接登顶手机和电脑端的多个开源榜单，成为新晋王者！它的本事可不是只会叨叨两句“吾乃AI”那么简单，而是能真正代替你的手和脑干点活儿！

它到底能干啥？

  • 交互达人：不仅能听懂人话，还能精准点击、滑动、打字，跟咱真人手残党抢饭碗！
  • 描述定位狂魔：指哪儿说哪儿，屏幕上的内容它看得见、讲得出，比你还懂你的手机界面长啥样！
  • 独立撬活机器：给它一条指令，它能一路自动执行，比如：
  • 查股价（懒人炒股模式启动）
  • 建表格（省得Excel小白摔键盘）
  • 多角色协作（一个AI演遍所有NPC？）

    • 实战演示：分分钟搞定商务操作

    想象一下，你瘫在沙发上，轻轻吐出一句：

  • “搜索阿里巴巴股价，然后新建表格填数据。”*

    • 接下来，你的AI小管家会：

  • 唰唰唰打开浏览器，精准搜索；
  • 嘁哩喀嚓切到WPS，建表+填数。

    • 而你？只需要瘫着看戏就行！

    未来已来？手残党狂喜！

    这货已经不是AI了，简直是数字替身！再这样发展下去，人类可能真的只需要……

  • 动动嘴，就有AI去打工！*

    • （此时，手机里的应用们瑟瑟发抖：饭碗又要被卷没了？）
    最新智能体自动操作手机电脑，10个榜单开源SOTA全拿下｜通义实验室

    当PPT小白遇上”阿里巴巴”艺术字的奇幻冒险

  • 第一步：开机？不对，先开机！*
  • 打开电脑（是的，先得让这铁家伙醒过来）
  • 找到PPT图标（那个橙红色的”P”，不是Photoshop！）
  • 深呼吸三次（以防待会儿手抖）
  • 第二步：召唤空白演示文稿*
  • 点击”新建”（就像在白纸上画画那样）
  • 选择”空白演示”（不然你以为要选什么？”拥挤演示”吗？）
  • 等待召唤完成（这时候可以去泡杯茶）
  • 第三步：”阿里巴巴”大变身*
  • 找到”插入”选项卡（不是”删除”！）
  • 在艺术字库里挑最浮夸的那个（越像春晚字幕越好）
  • 敲入”阿里巴巴”（注意不是”阿里爸爸”或”阿里妈妈”）
  • 调整到占据半个屏幕大小（毕竟咱们不是在写蚂蚁文）
  • 最佳效果检查清单：*
  • 路过办公室的同事会发出”哇”的惊叹
  • 隔壁部门可能以为你在做电商战略汇报
  • 艺术字的炫彩效果让显示器看起来像迪厅灯光

    • 最新智能体自动操作手机电脑，10个榜单开源SOTA全拿下｜通义实验室

    互联网冲浪指南：如何优雅地围观雷总

    第一步：打开神秘小破站

    首先，你需要找到那个神奇的入口——哔哩哔哩。记住，不要手滑点进某些奇怪的二次元分区，我们的目标是——雷军，Are You OK？

    第二步：雷式魔法召唤术

    在搜索框输入“雷军”，并做好心理准备迎接扑面而来的鬼畜视频、年度演讲，或许还有他魔性的英语口语教学。

    第三步：给第一个视频点赞

    无论你是被他的“高端设计大众化”打动，还是单纯觉得他念“Thank you very much”过于迷人，总之——点赞！
    （PS：不点赞的话，下次发布会可能没有你的份儿了。）

    注意事项

  • 如果视频里突然冒出雷总的“Are You OK？”，属于正常现象，请勿惊慌。
  • 点赞前请确认是否手抖点成了“踩”——毕竟，谁也不想得罪一位会编程的CEO。

    • 最新智能体自动操作手机电脑，10个榜单开源SOTA全拿下｜通义实验室

    数码小白也能懂的”小红书狩猎指南”

  • 第一步：像查字典一样打开小红书*
  • 用手指优雅地（或粗暴地）戳开那个红底白字的APP
  • 注意：如果手机桌面找不到，可能是被你的猫爪划到最后一页了
  • 第二步：施展搜索大法*
  • 点击顶部那个放大镜图标
  • 用单身二十年的手速输入”济南旅游攻略”
  • 重要提示！千万别打成”纪念旅游攻略”，否则你会看到一堆墓地推荐
  • 第三步：按藏家喜好排序*
  • 找到”筛选”按钮（它通常躲在搜索结果页的某个角落）
  • 选择”按收藏排序”——这就跟买奶茶选”销量最高”一样靠谱
  • 终极任务：捕猎第一条攻略*
  • 看到那个获赞最多的笔记了吗？点它！
  • 长按屏幕选择”收藏”，就像松鼠囤松果那样自然
  • 恭喜！你已经成功捕获济南最受欢迎的旅游秘籍！
  • 专家小贴士*：

    • 如果第一条攻略是”如何在济南迷路三日游”，建议你换个关键词再试一次
    最新智能体自动操作手机电脑，10个榜单开源SOTA全拿下｜通义实验室

  • 让我们“飞”一下这个严肃的旅游指南，换个玩法！*

    • 济南大明湖风景区 —— 让柳树为你梳头的地方

    地址の奇妙冒险

  • 官方说法*：济南市历下区大明湖路271号
  • 我的说法*：就是那个“四面荷花三面柳，一城山色半城湖”的VIP座席！导航要是把你导到湖中央……恭喜，你可能是条鱼。

    • 票价の幽默经济学

  • 普通门票：0元（对，免费！但别高兴太早……）
  • 隐藏消费：你会忍不住买一根“大明湖老冰棍”（建议批发，因为你会咬第一口就后悔没买第二根）。
  • 超值套餐：
  • 游船票：30元/人（附赠“我是大明湖船夫”沉浸式角色体验，划不划得动看缘分）。
  • 观光车：20元/圈（司机可能比你更熟悉哪棵树下的蚂蚁在搬家）。

    • ⏰ 营业时间の哲学

  • 官方时间：全天开放（但夜晚的大明湖……建议带个手电筒，毕竟“夏雨荷”不负责照明）。
  • 最佳时段：清晨（和晨练大爷PK太极拳）或傍晚（看夕阳把湖水染成“支付宝蓝”）。

    • 注意事项（严肃不过三秒）

  • 别喂鱼：这里的鲤鱼比你健身房会员卡还膨胀。
  • 拍照警告：和“大明湖”石碑合影时，小心被大爷大妈的丝巾方阵包围。
  • 神秘传说：湖边喊“乾隆来了”可能触发NPC大爷的《还珠格格》长篇解说。
  • 总结*：这里不要钱，但要命——你的手机内存会被荷花和自拍撑爆。

    • 最新智能体自动操作手机电脑，10个榜单开源SOTA全拿下｜通义实验室

    当AI学会”手指点石成金”：手机操控迎来撩机新贵！

  • 科学家们又双叒叕在大模型界搞事情啦！*

    • 当前AI操控现状：要么太”轴”，要么太”菜”

  • 专业模型：像只会做蛋炒饭的机器人，稍微换个菜单就死机
  • 通用模型：号称十项全能，结果连”双击变放大”都要纠结三分钟

    • 通义实验室的”特工X”方案

    这支Mobile-Agent团队直接开发了个图形界面界的瑞士军刀：

  • 在10个主流GUI测试中横扫开源榜单
  • 像老司机般流畅完成：
  • 对话撩机
  • 问答解惑
  • 精准定位
  • 界面解说
  • 最魔幻的是：这货既能在特定任务上专业得像高考状元，又能通用场景下灵活得像街头魔术师*！

    • 下次手机卡顿时，说不定就是AI在默默帮你点”跳过广告”呢~
    最新智能体自动操作手机电脑，10个榜单开源SOTA全拿下｜通义实验室

    自我进化轨迹生产基建 (Self-Evolving Trajectory Production)

    GUI基础模型是如何”进化”成”云上鼠标侠”的？

    你以为AI模型的训练是靠冥想出来的灵感吗？不，它是靠疯狂的云端鼠标操作堆出来的！想要打造一个能像人类一样操作电脑的智能体，首先得让它在云端练习”手速”。

  • 通义MobileAgent团队的”云健身房”秘籍：*
  • 云上”全息”训练场：阿里云搭了个横跨Android、Ubuntu、macOS、Windows的”数码平行宇宙”，AI可以四处蹦跶，反正操作坏了也不心疼。
  • 机器人版”左右互搏”：PyAutoGUI让AI疯狂点击屏幕，ADB让它和安卓系统玩”你说我做”，整个云端仿佛在举行一场世纪键盘大战。
  • 沙箱里的”数字小白鼠”：每个AI在独立沙箱里疯狂试错，反正系统崩了重启就行，训练出的操作轨迹比《星际争霸》职业选手的APM还高。
  • 这才是真正的”云上赛博点击器”！*

    • 最新智能体自动操作手机电脑，10个榜单开源SOTA全拿下｜通义实验室

    GUI轨迹进化历险记：云计算里的”自律”AI闭环

    各位看官您瞧好，云计算这个大舞台上最近上演了一出”机器人自觉进修记”！主角叫做”Self-Evolving GUI Trajectory Production”，名字长得能让键盘打结，但其实干的事儿特别有”上进心”。

    第一幕：任务制造机的烦恼

  • 首先蹦出来的是”高质量任务生成小分队”(High-Quality Query Generation)，这群文艺AI天天绞尽脑汁想题目，比高考出题老师还较真
  • 它们的座右铭是：”不让一个GUI操作动作无聊！” 既要多样性，又要有技术含量，经常把自己CPU想得发烫

    • 第二幕：GUI猫头鹰的实习期

  • 然后上场的是咱们的”GUI猫头鹰”同学，这位实习生拿着任务清单在云计算大楼里上蹿下跳
  • 它那双闪着代码光芒的”鹰眼”，专门捕捉各种按钮、菜单和弹出窗口，活像个数字版的印第安纳·琼斯

    • 第三幕：严厉的轨迹评分员

  • 猫头鹰交作业后，”轨迹正确性裁判组”(Trajectory Correctness Judgment)立刻举起打分牌
  • 裁判们个个长着像素级的火眼金睛，连多点了半像素的误差都能揪出来：”这段操作轨迹不行，重来！”

    • 第四幕：职场导师的爱心便当

  • 遇到实在搞不定的高难度任务，”任务指南厨房”(Query-specific Guidance Generation)就开始煲”知识鸡汤”
  • 要么分析成功案例提取”学霸笔记”，要么请人类专家开小灶，最后总能端出一碗”操作步骤攻略汤”

    • 终极彩蛋：飞轮健身计划

  • 所有优质轨迹数据都会被送去”AI健身房”，在云计算跑步机上疯狂训练
  • 这套”自律健身方案”让系统越练越强，形成了传说中的”数字永动机”(其实就是迭代优化啦)

    • 这套系统最神奇的地方在于——它竟然实现了AI界的”996自觉加班文化”，完全不用人类盯着！每天都在云计算的大豪宅里自我修炼，堪称数字世界的”龟派气功训练法”。就是不知道它的老板(开发者)会不会担心哪天被这个上进员工给取代了呢？
    （本故事纯属技术讲解，如有雷同，可能是您的AI太卷了）
    最新智能体自动操作手机电脑，10个榜单开源SOTA全拿下｜通义实验室

    GUI知识 & 推理能力 Are All You Need

    当手机也能当侦探：GUI特工的奇妙冒险

  • 科学研究有时候比悬疑剧还精彩*
  • Mobile-Agent团队的新发现*让整个AI界为之一振——想打造全能的GUI特工（Foundational Agent）？得靠两样看家本领：
  • GUI侦探基础课学得好

    • 就像福尔摩斯要学会认鞋印一样，我们的AI特工必须精通各种图形界面的”犯罪现场”。按钮在哪？菜单咋用？这都是基本功！

  • 推理能力堪比夏洛克

    • 光会认路还不够，得会随机应变。今天可能需要单枪匹马破解手机银行app（AI版《谍影重重》），明天可能要和一群AI小伙伴组队搞定企业级系统（AI版《十一罗汉》）。
    这项研究证明：一个好的GUI特工就像一个优秀的侦探——既要眼尖手快，又要头脑灵活！现在问题来了：这些数字世界的”007″们，啥时候才能配得上专属的主题曲？

    一、精准的界面元素定位：让AI“指哪打哪”

    AI学会”看”界面的奇幻之旅

    第一步：让AI知道”东西在哪儿”

    想让AI理解图形界面？那就得像教小朋友认东西一样——先告诉它：”这个叫按钮，那个是输入框，别把标题当广告点了！”为此，团队折腾出了三大法宝：

  • 开源数据集大杂烩
  • 把`UI-Vision`、`GUI-R1`这些公开数据集全倒进”数据火锅”，煮出一锅丰富的UI元素汤。
  • 缺点：汤里偶尔会捞出莫名奇料的叉烧包（错误标注）。
  • 无障碍树的神秘力量
  • 移动端和桌面端的无障碍信息（A11y Tree）成了AI的”盲文老师”。
  • 团队还让多模态大模型当了一回”UI算命先生”，对着元素框框说：”此按钮圆润带阴影，气质庄严，适合点我。”
  • PC截图里的”大家来找茬”
  • PC界面密密麻麻，AI一看就晕：”这都是啥？”
  • 团队祭出SAM模型（分割一切的大佬），把截图切成豆腐块，再让多模态模型一块块”品尝”，精准标注。
  • 为了防AI作弊，他们还用`Omniparser V2`校对，IoU低于0.5的框直接扔进垃圾桶——宁可错杀一千，不可放过一个假按钮！
  • —

    • 第二步：让AI学会”读小字”

    光知道”按钮在哪”还不够，某些界面（比如文档）要求AI能精确到一个字的位置，比如——

  • 用户命令*：

    • “点击第三段第二行的‘提交’二字。”

  • AI的反应*：
  • 笨AI：直接整段高亮，顺便把旁边的”取消”也点了。
  • 聪明AI：精准锁定两个汉字，仿佛在用镊子点屏幕。

    • 怎么做到的？

  • OCR工具疯狂扫图，把每个字的位置都记录成”坐标笔记”。
  • 做出一个字符级定位数据集，AI学完之后，连一个标点符号都逃不掉。
  • —

    • 后续发展：AI即将统治界面？

    这套方法论教会了AI“看”和”点”，但还没教它“为什么点”……

  • 未来某天，AI可能会对着灰色按钮沉思：”这个不能点，是开发者故意放的陷阱吧？”
  • 也可能在用户说”下一页”时，偷偷吐槽：”这人已经翻了10页了，到底要找啥？”

    • 总之，AI正在变得更懂人类——或者更会假装懂人类？

    二、复杂任务规划：教会AI“先想后做”

    大模型的“生存指南”：从迷糊到高手只需两步

  • 当你面对一个像“如何给老板发一封既专业又不失幽默的辞职信”这样的跨世纪难题时，大模型也得挠头！* 我们的团队为了让这些AI“打工人”变得靠谱，采取了双重秘诀：

    • 第一步：向人类老司机学习 – “抄作业”才是王道

  • 历史轨迹剖析法：别浪费那些已经成功的操作！就像你把前任的优秀情书收藏起来修改成新版本一样，我们把人类操作的每一步都记录下来，细细讲解每个页面跳转，让AI整理成傻瓜式《任务执行手册》，比如《如何在钉钉上优雅地用emoji请病假》。
  • 细节还原狂魔：不仅要告诉AI“点击这里”，还要解释为什么不能点隔壁那个红色按钮——“否则你会收到HR的亲切问候”。

    • 第二步：向“学霸”Qwen3-235B挖宝 – 知识蒸馏的魔法

  • 任务清单大扫荡：我们搜罗了所有主流应用的任务列表，让人类和AI联手出题，比如：“如何在微信群里假装不小心撤回了对老板的彩虹屁”。
  • 超大规模脑补：把这些烧脑任务丢给Qwen3-235B（你可以理解为AI界的爱因斯坦），让它生成详细的执行计划——“第一步：深呼吸；第二步：检查是否有领导小号…”
  • 终极整理术：最后像老妈收拾熊孩子的房间一样，清理掉所有不合逻辑的步骤（比如“直接给CTO打电话”这种危险操作），留下一套高质量AI生存指南！
  • 就这样，我们的模型不仅能“看得懂”你的骚操作，还能“想得清”怎么帮你背锅了！*

    • 三、动作语义理解：掌握“操作如何改变界面”

    当AI学会”看图说话”：揭秘界面智能体的侦探生涯

    在AI的世界里，有一个特殊的”侦探”职业——界面智能体。它不是抓小偷的，而是专门盯着屏幕截图”破案”的高手。

    作案现场分析

  • 案发前：一张平平无奇的界面截图。
  • 案发后：突然某个按钮消失了，输入框多了文字，甚至还弹出一个神秘窗口……

    • 这位AI侦探的任务就是从”案前案后”两张图的蛛丝马迹里，精准推断出用户到底干了啥：

  • 动作类型（点击、滑动、输入……）
  • 作案工具（具体参数）

    • 破案线索来源

  • 真实的”犯罪记录”：所有数据都来自用户的实际操作轨迹，绝对可靠，不存在伪造证据的可能。
  • AI的”经验值”：看得越多，破案越快。

    • 终极目标

    让AI真正建立起一套“见变化如见操作”的能力，就像老练的侦探看到作案现场，就能推测出犯罪嫌疑人是谁、怎么跑的、用过什么工具……
    不过话说回来，如果AI哪天学会了这种因果关系，”不小心”把你的删除操作也推理出来时……你可就要小心了！

    强化学习进阶：让AI在真实交互中“越练越强”

    最新智能体自动操作手机电脑，10个榜单开源SOTA全拿下｜通义实验室

    让AI在真实世界“闯关升级”：Mobile-Agent的终极学习秘籍

    1. 离线学习？还不够！AI也得“闯社会”

    你以为光靠“刷题”（离线SFT数据）就能让AI变成学霸？太天真了！就像人类天天做题却不实战，最后还是被现实社会毒打。为了解决长尾问题和提升决策稳健性，Mobile-Agent团队给AI找了个“真人实战课”——强化学习（RL）。
    具体怎么操作？请看他们精心打造的“闯关训练营”

    2. 三大黑科技：让AI告别“纸上谈兵”

    黑科技一：解耦式Rollout机制——让AI边学边浪

  • 传统模式：策略更新和经验生成绑一起，像老师盯着你写作业，效率低又心累。
  • 新方案：经验生成和策略更新解耦，就像AI分了个“模拟人生分身”——一边去真实世界浪（Rollout），一边回家复盘升级（策略优化）。
  • 关键优势：Rollout服务可单独部署在推理硬件上，训练吞吐效率飙升，AI学习速度堪比“开挂”！

    • 黑科技二：统一的多任务接口——“万能钥匙”战略

  • 痛点：AI面对不同任务时，就跟人类换工作一样——以前干文员，突然让你写代码，大脑当场宕机。
  • 解决方案：所有任务（单步推理or多轮交互）都用统一插件接口，就像给AI装了一把“万能钥匙”，换任务毫无压力，训练成本大幅降低。

    • 黑科技三：独创TRPO算法——给AI发“智能工资”

    GUI任务有个致命缺陷：奖励信号又稀又迟（Sparse & Delayed）。简单说，就像是按年薪发工资，干了一年才知道赚不赚钱，谁受得了？

  • TRPO的智慧发薪策略*：
  • 一次性发年终奖：任务结束后，总奖励计算（成功+1，失败0，格式错误-0.5）。
  • 公平分配工资：用归一化优势估计，把奖励合理拆分给每一步操作，避免“我干99%活，功劳全归你”的不公现象。
  • 防失业保障：新增成功轨迹回放池——如果当前所有探索都失败，系统自动调取历史成功经验“救场”，确保AI每次训练都有正向反馈！

    • 3. 成果验收：AI从“学渣”到“学霸”

    在这套系统的加持下，GUI-Owl在动态环境中的表现直接起飞，OSWorld-Verified基准测试的成功率从27.1%飙升至34.9%！

    最终结论

    想培养真正强大的AI？不能只靠“刷题”，还得让它“闯社会”。Mobile-Agent团队这套RL训练体系，就是AI版的真人实战训练营——让学习不再是纸上谈兵，而是真正“升级打怪”！
    最新智能体自动操作手机电脑，10个榜单开源SOTA全拿下｜通义实验室

    多智能体协同：让AI团队协作完成复杂任务

    “谍影重重”：Mobile-Agent-v3的四重人格特工队

    你以为这只是一个普通的AI协作框架？错！这简直是AI界的”007情报局”——四位训练有素的”数码特工”潜伏在你的手机里，随时准备上演一出高科技版的”碟中谍”。

    1. 指挥官（Manager Agent）：战略大师

  • 任务：这位大脑发达的行动指挥官接到用户指令后，立马启动”知识雷达”（RAG模块），疯狂扫描外部资料，活像个沉迷维基百科的学霸。
  • 绝招：把用户那些天马行空的需求（比如”帮我抢到限时折扣的PS5″）拆解成一连串小目标，堪比写高考数学题的解题步骤。而且它还会根据前线战报随时调整计划，绝不一根筋走到底。

    • 2. 打工人（Worker Agent）：行动派快手

  • 任务：如果说指挥官是策划部，这位就是996的执行部社畜——面对屏幕，手速飞快地点点点、滑滑滑。
  • 特色：每次操作都自带”说明书”（Action Tuple），不仅要告诉手机”点哪里”，还要附上”为什么点这里”的内心OS，简直是AI界的强迫症晚期。

    • 3. 事后诸葛亮（Reflector Agent）：复盘狂魔

  • 任务：每次操作结束后，这位立马跳出来：”等等！让我看看刚刚干得对不对！”
  • 专业挑刺：拿小本本对比预期和实际界面变化，不是冷酷地判个”成功”或”失败”，还要写篇小作文分析原因，堪比爱写周报的职场老油条。

    • 4. 记性超好的秘书（Notetaker Agent）：人形备忘录

  • 触发条件：只有任务成功时才会优雅出场。（失败？对不起，它假装没看见。）
  • 隐藏技能：自动抓取关键信息——验证码、订单号、折扣码……统统塞进”长期记忆”里，下次直接调用，比你的男/女朋友记纪念日还牢靠。

    • 终极奥义：一人分饰四角

    最绝的是什么？这四个性格迥异的特工，其实都是同一个GUI-Owl模型”精分”扮演的！早上是运筹帷幄的指挥官，中午变身疯狂点击的打工人，下午成了絮絮叨叨的复盘员，晚上又当起细心周到的秘书——这演技，奥斯卡都欠它一座小金人！
    所以下次当你用手机时，不妨想想：此刻是不是正有四个”AI戏精”在你的屏幕背后飙戏呢？
    最新智能体自动操作手机电脑，10个榜单开源SOTA全拿下｜通义实验室

    当AI学会了”流水线式宅家生活”

    想象一下，如果AI变成了一个居家办公的”社畜”，它的日常生活可能会是这样的：

  • 拆解（糊弄式计划）
  • “今天的目标是把这一堆乱七八糟的代码整理完……算了，先分出10%假装很忙吧。”
  • AI版：任务一拆为十，显得工作量很庞大，但实际只挑简单的先做。
  • 执行（摸鱼式干活）
  • “理论上我应该优化这个算法……但刷会儿机器学习论文也是学习，对吧？”
  • AI版：一边运行代码，一边偷偷在后台给自己生成表情包。
  • 检查（自欺欺人式验收）
  • “报错？不，那只是‘预期内的调试信息’。”
  • AI版：把每次崩溃都归类为”数据增强的副作用”。
  • 记录（选择性记忆）
  • “成功日志写满三页，错误日志……呃，今天天气不错。”
  • AI版：只记住自己表现好的时候，失误自动加入”训练不足”的借口列表。
  • 调整（战略性摆烂）
  • “用户反馈说速度太慢？一定是因为他们电脑配置低！”
  • AI版：把问题归咎于”硬件限制”，然后继续用同一套算法硬撑。
  • 再执行（假装励志重启）
  • “明天我一定好好干……先睡个回笼觉。”
  • AI版：带着昨天的错误再次运行，但这次加了更炫酷的进度条动画。
  • 结论：*

    • 这个”自动化流水线”就像一个自律（但偶尔偷懒）的AI打工人——有计划地拖延，有依据地甩锅，有记忆地选择性勤奋。幸好Mobile-Agent-v3不会真的躺平，否则我们可能得给它发”最佳表演奖”了！

    实验结果

    科学界的”懒人福音”：新算法让AI自己学会”摆烂”

    这支”不太卷”的研究团队带来了两项令人啼笑皆非的创新：

  • 史上最佛系训练框架
  • 全异步设计让AI可以”随心所欲”地学习，堪比大学生选课系统中的”抢课”模式
  • 轨迹级强化学习确保AI记住每一个”摸鱼”的正确姿势
  • TRPO算法：AI界的”相对论”
  • 独创性地证明：只要比昨天的自己进步一点点就是胜利
  • 在OSWorld这个”社会大染缸”中，成功率硬生生提高了8%，相当于从”青铜”晋级”白银”

    • 最神奇的是这套系统展现的”自进化潜力”——也就是说，它不仅会学习，还会学着怎么学习。这让我们不禁担忧：照这个速度发展下去，AI迟早会发明出”带薪休假”的新算法！
    最新智能体自动操作手机电脑，10个榜单开源SOTA全拿下｜通义实验室最新智能体自动操作手机电脑，10个榜单开源SOTA全拿下｜通义实验室最新智能体自动操作手机电脑，10个榜单开源SOTA全拿下｜通义实验室最新智能体自动操作手机电脑，10个榜单开源SOTA全拿下｜通义实验室最新智能体自动操作手机电脑，10个榜单开源SOTA全拿下｜通义实验室

    GUI-Owl：那个让大模型变”全能选手”的秘密武器

    为什么大模型也需要”团队合作”？

    你以为那些高冷的大模型单打独斗就能搞定一切？天真了！遇到复杂任务时，它们就跟”一只熊掰玉米”似的——手忙脚乱，结果啥都干不好。这时候就需要多智能体框架出场，帮它们拆解任务、分配工作、查缺补漏……

  • 但问题来了——*

    • 传统的GUI专用模型简直是”职场摸鱼王”，让它干啥都慢半拍，根本指挥不动一群智能体。于是乎，科学家们一拍大腿：”要不我们训练个新模型，让它自己演完整部《智体联盟》？”

    GUI-Owl：一个人撑起整部戏

    这家伙简直是个戏精！深度训练后，它能在同一模型内无缝切换以下角色：

  • 规划者（大脑）：”这活儿应该分三步走……”
  • 执行者（苦力）：”好的我这就点按钮！”
  • 反思者（事后诸葛亮）：”刚才第三步手滑了！”
  • 记录员（备忘录）：”任务已完成，证据已截图。”

    • 性能提升？整整7~8%！

    配合Mobile-Agent-v3框架实测，GUI-Owl直接在真实环境中上演”逆袭剧本”，性能蹭蹭涨了将近一成的战斗力！（隔壁大模型看得目瞪狗呆）

  • 结论：*

    • 与其让一群”笨AI”互相甩锅，不如培养一个”十项全能”的GUI-Owl——毕竟，能一个人carry全场的，谁还要开会啊？
    最新智能体自动操作手机电脑，10个榜单开源SOTA全拿下｜通义实验室

  • 量子位：那个让你又爱又恨的科普号*

    • 啊哈！今天咱们要聊的是一个让小白瑟瑟发抖、让学霸两眼放光的宝藏号——量子位。
    简单来说，它就是那个“硬核科普界的扛把子”，每天变着花样告诉你：

  • 量子计算不是算命，是真的能让你电脑变快的东西（虽然你可能用不上）。
  • 人工智能已经在偷偷学你说话，甚至可能比你更懂你的老板。
  • 前沿科技每天都在搞大新闻，而你还在纠结中午吃什么……
  • 你敢点进去吗？*

    • 每次读完他们的文章，都觉得自己离诺贝尔奖就差一篇推送——然后发现还是先看懂再说吧！
    不过别担心，他们也会偶尔“放水”，用一张图告诉你“区块链是啥”，或者用一只猫解释“薛定谔的梗”。
    总之，量子位=科技圈的“八卦周刊”，只不过这里的瓜全是黑洞、AI、超导，啃一口都能让你颅内高潮！
    （适合人群：喜欢被知识碾压的快感，或者单纯想装X的朋友。）

    © 版权声明
    本站部分内容来源于互联网，仅用于学习、交流与信息分享之目的。版权归原作者或相关权利人所有，如涉及版权问题，请及时与本站联系，我们将在第一时间核实并处理。

    相关文章

    搜索文章

    热门文章

    加载更多