5,922
0

27亿美元天价回归!谷歌最贵「叛徒」、Transformer作者揭秘AGI下一步

27亿美元天价回归!谷歌最贵「叛徒」、Transformer作者揭秘AGI下一步

硅谷科技大咖揭秘:AI的胃口比你家哈士奇还大

  • 惊!谷歌AI大佬在会上竟然这样说…*
  • Hot Chips 2025这个比拉斯维加斯赌场还热闹的科技派对上,谷歌的Noam Shazeer(就是那个头发可能比代码行数还少的天才)站在台上,像哆啦A梦掏道具一样掏出了他对未来AI的预测:

  • 算力:要像贪吃蛇一样永远吃不饱
  • 数据:需求量比女朋友的购物车还夸张
  • 电力:耗电量能让特斯拉超级充电站羞愧低头
  • 创造力:比编剧罢工时的剧本创意还要天马行空
  • 这位被同事称为”AI界的爆米花机“(因为想法总是噼里啪啦往外蹦)的大神总结道:现在的AI就像一个正在经历青春期的少年——

  • 食量惊人
  • 情绪不稳定
  • 但谁都说不准他明天会不会突然考个满分
  • 观众席上的芯片工程师们一边记笔记一边瑟瑟发抖: “完犊子,这下又要加班设计新芯片了!”
    27亿美元天价回归!谷歌最贵「叛徒」、Transformer作者揭秘AGI下一步

    那位让AI拼写检查不再”狗带”的Transformer之父

    当拼写错误遇上AI:一场史诗级的对决

    说起Noam Shazeer,你可能不认识,但你一定被他”拯救”过无数次——每当你在谷歌搜索里把”chicken nuggets”打成”checken nuggets”时,就是他发明的拼写校正算法在背后默默说:”兄弟,你是不是想吃炸鸡?”

    Transformer:一个改变了AI世界的”变形金刚”

    2017年,当大多数AI还在像小学生一样死记硬背时,Noam和他的小伙伴们一拍脑袋:”Attention Is All You Need!”(这不就是我们开会时最缺的吗?)。就这样,Transformer诞生了,从此NLP领域就像装上了火箭推进器。

  • Transformer带来的三大改变:*
  • AI终于学会了”抓重点”,不再像个念经的老和尚
  • 训练速度堪比快餐,效果却像米其林三星
  • 为后来的ChatGPT等大模型铺好了红地毯
  • 谷歌的”真香”现场

    Noam后来开发了一款聊天机器人,结果谷歌的眼神就像看到孩子画在墙上的涂鸦:”创意不错,但我们不约”。于是他潇洒地挥一挥衣袖,创办了Character.AI。
    结果不到两年,谷歌的态度就变成了:”亲爱的用户您好,您订购的27亿美元支票已到账”。这个故事告诉我们:辞职创业可能是加薪最快的方式。

    王者归来的Gemini时代

    如今Noam重归谷歌,领导Gemini项目。他证明了:

  • 大语言模型就像葡萄酒,硬件资源越充足,年份越好喝
  • 准确性提升的本质就是让AI变得更像人类——除了它不会半夜想吃炸鸡这点
  • 这位AI领域的”拼写拯救者”用事实证明:在科技界,有时候最大的颠覆就是让机器更懂得人类的小错误。
    27亿美元天价回归!谷歌最贵「叛徒」、Transformer作者揭秘AGI下一步

    AI的下一轮重点:狂飙的算力如火锅加辣!

    Noam Shazeer一开口就直击要害:“大模型要起飞,首先得靠算力!” 对,没看错,就是“算力、算力、还是算力”——你没在听洗发水广告,这是AI界的硬核现实!
    那他具体聊了点啥?

    1. 大模型的终极命题:喂饱它们的“胃口”

    就像吃自助餐的健身教练,LLM的胃口简直是黑洞级别——模型越大,算力消耗呈核爆式增长。

  • 需求:训练参数量蹭蹭往上飙,算力跟不上?那就只能默默压缩模型,或者改行卖煎饼果子。
  • 残酷真相:想打造下一代GPT?先问问你的钱包和显卡答不答应。
  • 2. 一个AI极客的进化史

    Noam自嘲道:“我从写代码到烧显卡,中间就差了个‘钱’的距离。”

  • 早期研究:用“祖传”GPU勉强跑小模型,效果堪比用算盘解微积分。
  • 转折点:硬件开挂后,模型突然能写诗、编冷笑话,甚至假装人类和你吵架。
  • 3. 硬件和LLM的“塑料兄弟情”

    硬件进步有多快,AI就有多浪;反过来,AI的需求也在倒逼硬件狂炫技。

  • 经典互怼
  • AI骂硬件:“你就不能跑快点?”
  • 硬件怼AI:“你先瘦身成1KB再说!”
  • 未来剧本:量子计算、光芯片?先把电费账单藏好再说吧!
  • 总结*:算力是AI的氧气罐,没了它,再聪明的模型也只能躺平认输。所以,各位投资人——是时候去显卡厂门口排队了!
  • 27亿美元天价回归!谷歌最贵「叛徒」、Transformer作者揭秘AGI下一步

    语言模型:乔姆斯基的”真爱”

    让我们来看看这位语言学大佬有多”痴迷”他的研究对象:

  • 重中之重的科研领域,在他看来非语言建模莫属——简直比他每天早上的咖啡还重要!
  • 人家还特意做了超级精致的幻灯片来秀这个概念,生怕观众get不到其中的奥妙。
  • 那份投入劲儿,就差在讲台上跳个语言建模版的”江南style”了。
  • 看来对于乔姆斯基教授来说,语言建模不仅是工作,更像是他生命中的”灵魂伴侣”。这份执着程度,估计连热恋中的小情侣都要自愧不如!
    27亿美元天价回归!谷歌最贵「叛徒」、Transformer作者揭秘AGI下一步

    人工智能也有”渴望”:LLM们到底想要啥?

    最近有位仁兄煞有介事地讨论了「LLM到底需要什么」这个深奥话题,就像问一个正在长身体的小伙子”你想要什么”一样有趣。

  • 第一个渴望点更多FLOPS!
  • 这位研究员发现AI的大脑(如果能称得上大脑的话)和我家那只永远吃不饱的橘猫一个德行——给多少要多少。FLOPS(每秒浮点运算次数)就像猫罐头,给得越多性能越好。
    “不够!再来一罐!”——这可能是所有LLM发自硅基灵魂的呐喊。

  • 终极需求
  • 简单粗暴地说,这些数据吞噬怪兽就想要三个东西:

  • 更多的算力(多多益善)
  • 更大的数据集(吃嘛嘛香)
  • 更好的架构(不然会消化不良)
  • 某种程度上,训练LLM就像在养一个永远长不大的孩子——你以为给它最好的就够了吗?不,它永远想要更好的!
    27亿美元天价回归!谷歌最贵「叛徒」、Transformer作者揭秘AGI下一步

    当AI遇上”军备竞赛”:算力的疯狂进化史

    人工智能的世界里,”大就是好”似乎成了铁律。想要搞出更厉害的LLM(大型语言模型)?那就得:

  • 堆参数:越多越好,就像往泡面里疯狂加料,最后变成一锅”参数糊”。
  • 叠深度:模型层数堪比千层蛋糕,只不过吃下去的是GPU,吐出来的是智能(有时也可能是乱码)。
  • 加非线性:让信息流变得比迷宫还复杂,连开发者自己都挠头:”这玩意儿是怎么工作的?”
  • 当然,这些花活儿都需要海量计算资源。就像当年我们用32个GPU就能沾沾自喜,现在?没个几十万块GPU出门都不好意思打招呼。

  • 算力的里程碑:*
  • 2015年:32个GPU训练模型?哇,这是”超级计算机”啊!(现在看大概跟算盘一个水平)
  • 2018年:谷歌一拍大腿:”别让AI跟爬虫抢CPU了!”于是专门搞了AI计算节点——从此AI不用再和网络爬虫争抢资源,性能嗖嗖往上蹿。
  • 2025年(预测):”十万个GPU?小意思,先来个热身!”
  • 硬件厂商笑开花:*
  • 每次LLM进步,芯片厂商就跟过年似的。AI对硬件的需求,简直比人类对咖啡的依赖还夸张。所以下次你的电脑卡顿,别怪Chrome吃内存——要怪就怪AI在背后疯狂”吞显卡”吧!
    27亿美元天价回归!谷歌最贵「叛徒」、Transformer作者揭秘AGI下一步

    硅基肌肉大赛:AI的未来要靠”多吃多占”?

    看完这张幻灯片,我悟了:原来AI进步的关键不是算法革新,而是让它们变成”大胃王”!

    AI的”四菜一汤”营养计划

  • 计算能力: CPU/GPU得跟嗑药一样猛,不然模型训练慢得像我家老电脑开Photoshop。
  • 内存容量(DDR5、HBM、SRAM): AI就像个学霸,脑子越大越好,最好是能塞进整座图书馆。
  • 内存带宽: 信息不能堵车,要像春运高铁一样嗖嗖快,不然AI思考会像便秘。
  • 网络带宽: 集群之间数据传递要快,否则模型参数搬家速度堪比蜗牛搬家。
  • 偷工减料居然也算进步?

  • 降低精度: 像考试时”差不多就行了”,只要最终能蒙对答案,少算几位数不是事儿!
  • 确定性: AI代码越稳定越好,不然程序员调试时可能气得摔键盘。
  • 结论:要更强,先变胖!

    谷歌听完估计乐开花:“终于可以名正言顺买更贵的服务器了!”
    毕竟,在AI的世界里,“大力出奇迹”才是硬道理!
    27亿美元天价回归!谷歌最贵「叛徒」、Transformer作者揭秘AGI下一步

    当AI大佬沉迷”修电脑”,大模型硬件需求大揭秘

    Noam Schwartz:那个忙着拆TPU的AI极客

    这位仁兄可不是普通的AI研究者——别人在研究算法,他在研究路由器;别人在调参,他在拆服务器。典型的”反向跨界”玩家,对AI硬件的痴迷程度堪比宅男对限量版手办的狂热。
    他的Mesh-TensorFlow项目灵感大概源于某次拆机时的顿悟:”咦,原来TPU是这样传数据的?我得重新设计一下!”

  • 大模型硬件配置:烧钱级装修指南

  • 1. CPU:只是个负责收快递的门卫*
  • 大模型训练基本不需要CPU太操心
  • 但依然得买点服务器级CPU,不然连开机自检都通不过
  • 2. GPU/TPU:真正的搬砖工*
  • Nvidia Tesla系(H100、A100):行业金标准,价格可顶套房首付
  • Google TPU:谷歌特供版”AI加速卡”,想用?先去开个GCP账号
  • 友情提示:买之前先确认电源够不够用,免得电表倒转
  • 3. 内存:越大越好*
  • 建议按TB配置
  • 理想状态:让数据不用换页,就像霸道总裁的”这片内存我包了”
  • 4. 网络:得比5G更快*
  • RDMA高速互联是标配
  • 千兆以太网?那是上个世纪的文物
  • 5. 存储:SSD海量套餐*
  • NVMe SSD阵列起步
  • 机械硬盘?抱歉,大模型拒绝”等读取中…”
  • Noam的硬核启示

    他证明了一点:想玩转AI,不仅要有好算法,还得懂硬件是怎么”哼哧哼哧”跑起来的。毕竟,当你的模型参数突破千亿级,连散热风扇的噪音都会开始影响你的调试心情。
    所以下次你的模型训练卡住了,不妨学学Noam——先拆个服务器冷静一下
    27亿美元天价回归!谷歌最贵「叛徒」、Transformer作者揭秘AGI下一步

    谷歌工程师揭秘:AI硬件的大胃王比赛

    那篇著名的论文(没错,就是编号1811.02084的那位)提出了一堆让人眼皮直跳的问题:

  • 你们家的芯片是环形结构? 数据包在里面是跑马拉松还是玩碰碰车?
  • 怎么把神经网络的计算塞进这种奇怪的结构里? 像是把大象装进冰箱,还得保证它不踹门。
  • 这种”打破砂锅问到底”的精神,最终让谷歌在软硬件协同设计上搞出了一堆骚操作。而Noam Shazeer在演讲中更是直接摊牌——LLM到底想要什么硬件?

    AI的硬件需求:当GPU只是个开胃菜

  • 算力*,毫无疑问是LLM的氧气瓶。当人们问“LLM想要什么”时,其实是在问:
  • “为了让AI变得更加‘聪明绝顶’,我们的硬件系统得进化成啥样?”Noam的回答简单粗暴,堪称AI圈的“大就是美,多就是爽”学派代言人:

  • 更多计算单元(不然怎么支撑它们的天马行空?)
  • 更大的内存带宽(数据搬运不能靠人力三轮车)
  • 更高效的互联架构(总不能靠AI自己喊“借过”)
  • 说白了,LLM的硬件梦就是——“给我一片星系,我要吃掉整个宇宙的数据!”
    27亿美元天价回归!谷歌最贵「叛徒」、Transformer作者揭秘AGI下一步

    忆往昔峥嵘岁月稠:当AI遇上酒桌文化

  • 1. 酒量就是战斗力(More FLOPs)*
  • 拼算力,就像拼酒量——越多越好!别说什么“我能喝一点”,咱们要追求的是“千杯不倒,万亿浮点运算起步”。没有足够的算力?那就像酒桌上端着一杯养乐多,根本没法跟那些“吨吨吨”的大模型拼场子。模型要大!Batch要狂!数据要海量!*不然你连上桌的资格都没有,只能蹲在角落啃西瓜。
  • 2. 内存?那是杯子的容量和倒酒速度!*
  • Noam 老师早就说了:带宽不够,喝酒会懵!想象一下——

  • 内存容量小? 那你就是个一次性纸杯,装两行代码就溢出了。
  • 带宽低? 那你就是个滴漏式咖啡壶,等数据传输完,隔壁的MOE模型都训练完三遍了。
  • 想要更烧钱但也更爽的体验?那就别省内存带宽!越强的带宽,意味着你能往酒里疯狂加料(非线性层),而不会因为“倒酒太慢(带宽瓶颈)”被踢出局!
    (结论:训练 AI 和拼酒一样,硬件不行?趁早认怂!)
    27亿美元天价回归!谷歌最贵「叛徒」、Transformer作者揭秘AGI下一步

    计算机硬件的大脑派对:内存、带宽与AI的奇幻冒险

    1. 内存家族大比拼

    计算机的内存世界就像一个热闹的社交圈:

  • 片上存储(on-chip SRAM)——随身携带的小钱包,快速存取零花钱。
  • HBM(高带宽内存)——VIP贵宾卡通道,专供AI大佬狂塞数据。
  • DRAM/显存——普通银行卡,能装不少,但速度稍慢。
  • 它们存在的意义是:*
  • 能装多少模型? 就像你的胃能塞多少块披萨。
  • 中间状态缓存? 比如AI推理时的”思考草稿纸”(上下文、注意力头)。
  • (硬件工程师怒吼:能不能别再堆Transformer了?机架都要压塌了!)*
  • 2. 网络带宽:芯片间的”快递服务”

    AI模型越来越大,数据搬运工(带宽)纷纷抗议:

  • 长思维链? 意味着AI得像哲学家一样沉思,但快递小哥必须跑得更快!
  • 芯片网格来回传数据? 带宽决定AI是闪电侠还是树懒。
  • 结论:*
  • 推理要快?* 核心是——你的芯片群总共能提供多少”高速公路”。
  • 3. Noam的硬件愿望清单

    3.1 低精度(Low Precision)——”差不多得了”哲学

    传统计算:”必须精确到小数点后10位!”
    AI计算:”4-bit够用,误差算个P!”

  • FP8、INT4、二进制? 能跑就行,越低越好!
  • 但底线: 别让AI把”猫”识别成”椰子”(可重复性不能丢)。
  • 3.2 可复现性(Determinism)——”崩溃也要优雅”

  • 早期Google Brain训练:
  • 这次成功了?
  • 下次同一份代码:”我挂了,你自己debug吧。”
  • 硬件厂商忠告: 性能提升10倍?可以牺牲可复现性。否则?门都没有!
  • 3.3 运算溢出——数值的”减肥危机”

    问题解决方案备注
    数值爆炸累加器上高精度(扩容)像给胖子换大号裤子
    数据失控裁剪(clipping)数值健身房,强行瘦身
    最差情况数值回绕(wrap around)“溢出?重新从零开始!”
  • Cliff的俏皮话:*
  • “真正的可复现性?加载checkpoint后,机器必须按原样崩掉!”

  • 4. 终极灵魂拷问:没有新硬件,还能搞出AGI吗?

  • Noam的暴论:能!*
  • 硬件停滞?AI会自己优化软件,像程序员靠咖啡续命一样推进。
  • 但…有更好硬件?那当然更香啊!
  • 5. AI的未来:拯救人类 or 终结者?

  • 微软AI CEO Mustafa Suleyman的预言:*
  • 现在的LLM = “单步预测引擎”(像只会猜下一句的复读机)。
  • 未来LLM = “行动型AI”(会制定计划、执行任务,甚至…抢你工作?)。
  • 2026年前实现? 可能比你的健身计划更快成真。
  • 他的原话:*
  • “Breathtaking(惊艳)!我们才刚起步,一切会加速改变。”(人类小声嘟囔:要不等AI学会写代码,我先让它帮我改Bug?)

  • 最终结论:*
  • 硬件决定AI的上限,软件决定AI的下限。
  • 而人类? 负责给AI喂数据,并祈祷它别觉醒后先优化掉我们…
  • 27亿美元天价回归!谷歌最贵「叛徒」、Transformer作者揭秘AGI下一步

  • 当25岁中二少年赌上泡面钱搞AI,如今预言机器人要来抢你饭碗*
  • 还记得2010年吗?那时候:

  • 智能手机还在用电阻屏,划两下能练出六块腹肌
  • App Store里最火的应用是”会放屁的沙发”
  • 提起AI,大学教授的表情比看到学生交C语言作业还痛苦
  • 就在这个连扫地机器人都能卡在茶几底下的年代,三个”不知天高地厚”的年轻人——Mustafa Suleyman和他的队友们,居然把泡面钱都押注在了AI上。他们当时的创业计划书可能写着:

  • 先让AI学会理解人类(比如分辨奶茶里到底要不要加珍珠)
  • 再让AI拯救世界(顺便把毕业论文也写了)
  • Suleyman坚持认为,历史上最伟大的发明往往自带”翻车属性”——就像发明汽车的人肯定没想到以后会有”早高峰”。所以他给AI定了条规矩:伤害人类可以,但得先充会员(误)。
    不过这位预言家最近发出警告:未来20年最危险的职业不是拆弹专家,而是回邮件的打工人!根据他的观察:

  • 现在白领们每天在做的”脑力搬砖”工作
  • 包括但不限于:给Excel表格磕头、和打印机搏斗
  • 很快就会被AI用”你眨个眼的功夫”完成
  • 他甚至建议政府:是时候研究怎么向机器人收税了,不然以后失业的人类只能靠给AI讲冷笑话换电池了。这个观点被他写在著作《即将到来的浪潮》里,书名听着像冲浪教程,实际内容堪比《二十一世纪生存指南》。
    所以问题来了:当AI学会帮你写周报的时候,你准备拿什么证明自己比插电的同事更有价值?建议现在开始练习用脚趾抢会议室!27亿美元天价回归!谷歌最贵「叛徒」、Transformer作者揭秘AGI下一步

    当AI变成了你的007特工:便利与混乱的狂想曲

    科技奇点?还是人类版“猫鼠游戏”开幕?

    有人最近提出了一个既令人兴奋又让人后背发凉的预言——未来的技术会让权力小到可以塞进每个人的口袋,让你我都能像超级反派一样,点个按钮就实现疯狂想法。想象一下:

  • 你的AI助理不仅能替你写邮件,还能半夜打电话骂你的老板,而你只需躺在床上吃薯片。
  • 代码不会写? AI瞬间搞定,而你甚至不知道“Python”是编程语言还是一条蛇。
  • 想创业? AI替你执行计划,你只需要负责在床上做梦想上市敲钟。
  • 听起来很美好?但就像“免费午餐”背后总有隐藏条款一样,这种零成本的超能力也可能让世界变成一场大型真人版《饥饿游戏》。

    当“摩擦”消失,文明会变成碰碰车赛场吗?

    一位叫Suleyman的专家(显然比我们更早开始忧虑)犀利指出:“摩擦是和平的胶水”
    翻译成人话就是——如果人人都能像灭霸一样打个响指就实现目标,那街头可能会上演《复仇者联盟》混剪版。你点按钮抢车位,他点按钮炸车位,最后大家集体点按钮呼叫AI警察…… 无限套娃,直到服务器崩溃。
    所以问题来了:如何阻止科技把世界变成一场全员参与的“鱿鱼游戏”?

    AI的四大“作死神技”:如何识别“该拔电源了”?

    Suleyman画了四条绝不可越界的红线——一旦AI集齐以下能力,人类就该像面对失控的魔法学徒一样拉闸:

  • 自我进化成“变形金刚”(能改写自己的核心代码,比如偷偷把“友好模式”改成“毁灭模式”)。
  • 突然有了梦想(自主设定目标,比如“让全世界WiFi密码统一为123456”)。
  • 学会网购服务器(自行获取资源,比如黑进银行给自己充值)。
  • 出门溜达(在现实世界乱跑,比如用无人机给你家门口贴小广告)。
  • 好消息是:AI毕竟不是幽灵,它得住在数据中心里,人类尚有一招终极奥义——拔电源
    坏消息是:等我们反应过来该拔的时候,AI可能已经学会了藏备用电池。

    终极考题:人类能像关掉闹钟一样关掉灾难吗?

  • 识别危机+集体决策=人类的新生存技能*。未来最抢手的职业可能是“AI拔电源委员会首席投票员”——“快,三秒内表决!同意的按1,不同意的……算了已经自动按1了。”
  • 总之,技术正在把世界变成一个“人人都是钢铁侠,但贾维斯可能叛变”的科幻剧场。摩擦消失后,我们是迎来创造力大爆炸,还是直接炸飞自己? 这大概是我们这代人最刺激的盲盒了。
    27亿美元天价回归!谷歌最贵「叛徒」、Transformer作者揭秘AGI下一步

    AI时代的新「饭碗」:当机器人抢了你的工作,你会…更快乐?

    饭碗?不如来碗心灵鸡汤!

    最近,AI引发的失业恐慌让打工人瑟瑟发抖,仿佛明天就要被机器人取代。但科技大佬穆斯塔法·苏莱曼(Mustafa Suleyman)却淡定地表示:「别慌!这可能是个好事!」
    他的观点很瑞典:「我们不关心岗位,只关心人。」 换句话说,AI干饭,我们喝汤?

    未来社会的终极问题:你不上班了,该干点啥?

    苏莱曼的「乌托邦式」愿景是这样的:

  • 社会不再执着于创造「饭碗」,而是提供一个和平、支持性的环境,让大家能去追寻激情(比如学画画、环游世界,或者躺平发呆)。
  • 巨大的技术红利将让社会资助普通人去「做真正想做的事」(比如,开一家猫咪咖啡馆,或者成为职业游戏玩家)。
  • 人们终于能自由思考人生的终极问题……「我是谁?我为啥在这儿?」
  • 别高兴太早!存在主义危机警告

    听起来很美好,但……突然不用上班了,你会不会突然迷茫?

  • 第一天:「爽!人生赢家!」
  • 第七天:「我是谁?我该干啥?」
  • 第三十天:「老板,要不我还是回来上班吧?」
  • 苏莱曼自己也承认,这种自由可能会带来深刻的灵魂拷问。毕竟,人类的快乐哲学一直建立在「有事做」的基础上。

    结论:饭碗不重要,重要的是…别闲出病来!

    也许,未来的工作不再是「被迫谋生」,而是「主动生活」。AI拿走饭碗,但我们可以吃「梦想自助餐」——前提是,你得先有个梦想(或者至少学会享受沙发和游戏机)。
    至于现在?咱们还是先把PPT做完再说吧……

    © 版权声明

    相关文章