AI圈的”话痨病”有救了?DAEDAL让大模型学会”看菜吃饭”
最近AI界爆发了一场奇怪的”传染病”——各大科技公司和实验室纷纷患上了”扩散大语言模型狂热症”(DLLM-Fever)。Gemini-Diffusion、Seed-Diffusion这些”病毒携带者”到处撒欢,搞得学术界和工业界人人发热。
但问题来了:*这些大模型个个都是”死脑筋”,回答问题就像小学生写作文——非要把字数凑满预设长度想让它写首五言绝句?不行!必须写够800字议论文!让它写封邮件摘要?抱歉!系统预设是3000字起步!香港中文大学MMLab和上海AI实验室的研究人员实在看不下去了:”这不就是AI版本的’话痨强迫症’吗?”于是他们提出了”DAEDAL疗法”——让AI学会“看菜吃饭”:
症状缓解:终于可以根据问题长短自主调整回答篇幅了疗效显著:一举治愈了DLLM和自回归LLM之间的”长短失调症”副作用:可能会让AI变得更聪明(这个副作用我喜欢!)这项突破简直是对抗AI”话痨病”的重大胜利!以后我们再也不用忍受AI那些又臭又长的标准答案了——它终于学会像正常人一样,该长则长,该短则短。
PS:在此建议各大AI公司立即为其产品投保”话痨险”,以防被DAEDAL疗法淘汰!*
动态伸缩的魔法:让大模型自己决定生成长度
当你还在纠结GPT应该写多长的回答时,DAEDAL已经潇洒地挥一挥衣袖,留下一句:“我自己来!”
传统VS现代:生成长度的拉锯战
以前的模型生成文本时,通常需要手动设定一个固定的长度,比如:
“写300字的作文。”“生成不超过50个token的回答。”但如果写300字太啰嗦,而50字又不够说清楚?抱歉,传统方法只能让你二选一,就像理发师问你要剪一寸还是两寸,完全不考虑你的脑袋是否适合某一款发型……
DAEDAL:自适应长度的魔术师
DAEDAL*这位“魔术师”是怎么做的呢?统一短起点——先定个小目标(比如:“嘿,我先写5个字…”)。动态调整——写着写着觉得不够?延长!太长?停下!效果惊艳——竟然和那些精调固定长度的模型打得有来有回,甚至在部分任务上还能反超一波!好处在哪?
不再纠结长度参数——AI自己决定写多长!
媲美最佳表现——不用调参,也能达到甚至超越手动调整的效果!
自适应能力Max——无论是摘要、对话还是长文生成,它都能优雅把控文本的呼吸节奏。
DAEDAL*就像一位智能秘书,问你:“老板,需要我写多长?”而你只需要微微一笑:“不必问,我相信你的判断。”
DAEDAL:让你的问题不再”千人一面”
性能对比图(a)
初始长度统一且超短:DAEDAL就像是穿着紧身衣的体操运动员——动作简洁但效果惊人!吊打调优基线:在多轮基准测试中,它表现出了与精心调优的固定长度基线相当、甚至更强的性能。设计哲学:”为什么要把问题搞得那么复杂?”——DAEDAL开发者可能是这么想的动态调节图(b)
现有方法:像是一把万能钥匙,但实际上开所有锁都靠蛮力(咔嚓..哎呀钥匙断了!)DAEDAL方案:更像智能门禁系统,能根据每个访客(问题)自动调节力度(长度)碰到简单问题:快速响应,绝不拖沓遇到复杂情况:该长就长,绝不偷工减料总之一句话:它懂得什么时候该短小精悍,什么时候该细水长流!这种自适应能力让现有固定长度方法看起来像是还停留在石器时代…
DAEDAL 介绍
大语言模型的”话痨症”:说多少才够?
DLLM的心路历程:要么憋死,要么尬聊
当前的大语言模型(DLLM)就像个被家长规定了发言时间的社恐人士:要么话说到一半被迫闭嘴(“预设长度太短”),要么不得不硬着头皮东拉西扯直到计时器响(“预设长度太长”)。
说太少?脑子里的智慧火花刚冒头就被掐灭,回答就像暑假最后一天赶作业——全是草率结论说太多?变成办公室开会时那个非要”补充三点”的同事,车轱辘话说到自己都怀疑人生(实验证明:长篇大论时DLLM的性能会像周末早上的股市——直线跳水)*模型的求生欲:隐藏的摩尔斯电码
研究人员发现这些AI们其实偷偷发明了自己的求救信号系统:
“我要下班”信号(EOS)模型在结尾处生成”结束符”的热情程度,直接暴露了它的心理活动:
高自信度EOS → “这次发言时长刚刚好,我要优雅退场”低自信度EOS → “救命!给我再批500个token的预算!”“我编不下去了”信号当模型对某个词突然产生”我是谁我在哪”的迷茫时,这其实是在暗示:
当前上下文比短视频平台的注意力跨度还短需要的不是更多token,而是给自己的胡言乱语打个补丁终极解决方案:让AI学会自己喊停
这项研究最叛逆的地方在于——让模型自己决定什么时候闭嘴。就像聪明的打工人懂得在领导眼皮开始打架时结束汇报,未来的DLLM或许会发展出这样的生存智慧:
优雅收尾检测器:”观察到老板开始摸手机了,立即启动结束流程”逻辑完整度扫描:”重点已说完,再讲就是凑KPI”未来的AI对话可能会上演这样的黑帮片片段:
“Boss,我查到三条线索…第一条…(查看置信度)…第二条…(检查EOS倾向)…算了您还是看总结报告吧”*
解码器模型的神奇”直觉”:它怎么知道答案够不够长?
当AI开始玩”猜猜我在想什么”的游戏…*研究人员发现了一个有趣的现象:
当AI模型遇到“长度充足”的问题(答案刚好能在128长度内解决)时,它的”结束符(EOS)”信心值明显更高而面对“长度不足”的问题时,模型就像考试遇到难题的学生一样,在结尾处表现出更低的信心值热力图告诉我们的秘密:*大片绿色区域(差值>0)简直就像在说:”嘿,这个问题我能搞定!”而少数非绿色区域则是模型在委婉地表示:”呃…可能需要再多给我点空间”于是科学家们脑洞大开:*既然模型自己都能感知答案够不够长,那我们干嘛不…
开发一个两阶段的AI小聪明(DAEDAL):第一阶段:让模型先快速预览一下问题第二阶段:根据信心值自动调整回答长度最妙的是什么?
无需额外训练!模型自带的”直觉”就能当尺子用这就像你的朋友能精准判断:
什么时候该用”嗯”结束对话什么时候需要展开讲20分钟的故事科学启示录:*原来AI不光会回答问题,还会在内心悄悄计算:”这个答案够体面了吗?”

DAEDAL vs. 传统方法:如何让AI学会“留白”艺术?
1. 开局先定个小目标:长度不够?加!
传统方法:一上来就给AI一串固定长度的“填空题”,管它够不够用,塞满再说。
DAEDAL:优雅地从短短几个词开始,然后偷偷观察AI的心理活动——“EOS(结束标志)的自信度咋样?”
如果AI一脸迷茫(EOS信心极低): → 说明它觉得:“这点字数哪够我发挥?”
→ DAEDAL大手一挥:“给您加个[MASK]!”(程序员版“再来一碗”)
→ 循环操作,直到AI露出满意的微笑:“嗯,这下够我写篇小作文了。”
2. 边写边改:AI的“临时扩写术”
传统方法:AI硬着头皮填坑,填不动就瞎编。
DAEDAL:像贴心的编辑,实时监控AI的纠结时刻——
发现某个[MASK]位置AI疯狂挠头(信心崩盘): → 立刻标记为“扩展点”,把1个[MASK]换成多个[MASK]。
→ 效果相当于:“别急,这段给你多留两行空白,慢慢编!”
3. 终极奥义:不培训,纯靠“察言观色”
零训练成本:DAEDAL全靠心理战术,让AI自己决定何时扩写、何处加戏。动态长度大师:问题简单就短平快,问题复杂就化身话痨,彻底告别“凑字数”和“砍一半”的悲剧。结论*:DAEDAL教会AI两件事——“自知之明”:“我的答案需要多长?”“灵活变通”:“这儿得再多想5毛钱的!”(传统方法:酸了酸了。)
实验结果


DAEDAL:这个”长度调节大师”让你告别纠结
一、短小精悍也能打:DAEDAL的惊艳首秀
就像用迷你高尔夫球杆打出了老虎伍兹的水平,DAEDAL凭着超短的初始长度就轻松碾压了那些基线方法别家还在纠结”这个长度不合适,那个长度差点意思”时,DAEDAL已经用两阶段调整机制优雅地完成了反杀二、长度选择?不存在的!
基线方法的日常*:在A任务上用长度50效果最好到了B任务又要换成70C任务?哦天哪需要150!(研究员已经陷入了选择困难症)而DAEDAL就像个贴心的AI管家:
“主人别担心,我自适应”“这个任务需要多少词元我最清楚”(完美避开过长导致的性能下降陷阱)三、资源利用的艺术
DAEDAL的精打细算:
更少的总词元(N_token)相当的有效词元(E_token)= 爆表的有效词元利用率(E_ratio)这就像是:
别人买菜要拎5个塑料袋DAEDAL用一个环保袋就搞定了还顺便帮你把菜分好类放冰箱里总结
DAEDAL:让AI模型像贪吃蛇一样“伸缩自如”
不再“一刀切”的智能长度调节
传统的AI模型就像买裤子——只有一个固定尺码,瘦了勒得慌,胖了撑爆裆。DAEDAL却开发出了神奇的可伸缩腰带:
初试身手(Initial Length Adjustment):先给模型来个快速热身,估算个大概长度,就像你妈小时候给你买校服总会故意买大两号。反复试穿(Iterative Mask Insertion):接着像玩拼图一样不断调整,直到找到最合身的“尺码”,这不就是当代年轻人网购的真实写照吗?性能怪兽,效率达人
DAEDAL这货厉害在哪?
跑分狂魔:在各种测试中把固定长度的老古板们按在地上摩擦精打细算:会根据任务难度自动分配“脑容量”,简单问题不浪费,复杂问题不含糊充电5分钟:计算效率高到让竞争对手哭晕在厕所填补AI界的“代沟”
过去扩散模型和自回归模型就像iOS和Android用户互相diss,现在DAEDAL建造了一座彩虹桥:
让扩散模型终于get了自回归模型的看家本领就像给自行车装上火箭推进器,既保留了原有优势又获得了新技能为未来更智能、更省电的AI模型铺好了红地毯总结*:DAEDAL的出现,让AI模型从此告别“削足适履”的悲剧,开启“量体裁衣”的新时代!作者介绍
这个研究大牛有点东西!
你知道吗?今天的主角是个超强学霸——李劲松!他可不是那种只会泡图书馆的书呆子(虽然他可能确实泡了不少)。
他是谁?
头衔:香港中文大学MMLab的博士生背后大佬:被林达华教授(可能是那种随手就能发顶会paper的导师)亲手调教研究方向:整天琢磨多模态大模型和大语言模型(简单说,就是让AI既能看懂图又能听懂话的狠活)厉害在哪?
顶会收割机:NeurIPS、ECCV、ACL这些顶级会议都是他的“常驻地”
论文狂人:随手一写就是高质量论文,Google学术引用1400+(可能比你微信好友还多)
出道平台:这篇文章来自[机器之心](一个AI圈的宝藏公众号)
总之,这位大佬不仅在学术界混得风生水起,还在AI圈里疯狂输出!下次见到他的名字,记得膝盖准备好~
© 版权声明
本站部分内容来源于互联网,仅用于学习、交流与信息分享之目的。版权归原作者或相关权利人所有,如涉及版权问题,请及时与本站联系,我们将在第一时间核实并处理。