大神爆肝一个月，复刻DeepMind世界模型，300万参数就能玩实时交互像素游戏

DeepMind Genie 3 世界模型迎来开源复刻版：TinyWorlds 实现技术突破

世界模拟技术迎来重要进展。继Google DeepMind推出具有里程碑意义的Genie 3之后，人工智能领域再次取得突破性成果。X平台博主anandmaj通过独立研究，在一个月内成功复刻了Genie 3的核心技术框架，开发出名为TinyWorlds的新型世界模型。

技术突破亮点

这一成就不仅验证了Genie 3技术路径的可行性，更为世界模型技术在轻量级应用领域开辟了新的可能性。anandmaj的成功复刻表明，关键技术正在从顶尖实验室向开发者社区加速扩散。
研究报告附带技术演示视频，直观呈现了人工智能模型根据用户指令实时生成视频画面序列的全过程。该视频资料清晰记录了文本到视频（text-to-video）生成系统的运作机制，展现出模型在毫秒级响应条件下输出的流畅视觉效果。
研究团队通过这组动态影像证实了：

这段演示影像作为重要技术验证材料，已被收录至论文的补充资料库中，可供同行研究者进行生成质量与系统响应速度的客观评估。
技术开源与经验分享
该博主不仅详细阐释了从系统架构设计到模型训练的全流程技术细节，更是以实际行动推动技术共享——其完整代码库已在GitHub平台开源，为相关领域的研究者与开发者提供了极具价值的参考实现。
关键信息

理解世界模型

世界模型的”涌现能力”：DeepMind突破性研究揭示视频训练的潜力

世界模型涌现的三大核心能力

训练方法的范式转变

在Genie系统问世前，学术界普遍认为提升世界模型性能必须依赖：

DeepMind的突破在于发现：仅通过对原始视频数据进行规模化训练，这些高级认知功能便能自发涌现——这一机理与语言模型自主掌握语法规则的过程高度相似。

关键技术挑战与解决方案

传统世界模型训练面临的核心障碍是：要求逐帧标注动作指令（如”按下右键→镜头右移”的精确对应）。这使得互联网海量未标注视频无法直接用于训练。
Genie系统提出创新方案：

这项研究为人工智能理解动态视觉世界开辟了全新路径，其方法论突破或将推动计算机视觉、机器人学等领域的革新发展。
Genie 3 模型之所以能够实现对数百万小时 YouTube 视频数据的扩展应用，并显现出显著的涌现能力，其核心机制正在于此。基于这一技术原理的启发，人工智能研究员 anandmaj 成功开发了一个从零开始构建的微型世界模型原型——TinyWorlds。该模型遵循最小化实现原则，为研究世界模型的底层机制提供了极具价值的参考案例。

构建数据集

TinyWorlds模型的训练环境与数据构成

构建TinyWorlds生成模型的第一步是明确其所能生成的游戏世界类型。模型的训练环境直接决定了其未来的生成能力和边界范围。
为了确保模型具备多样化的生成能力，研究团队构建了一个基于YouTube游戏视频的专用数据集，其中包含以下五大经典游戏类型：

该数据集经过专业预处理，旨在通过多类型游戏数据的训练，使TinyWorlds具备生成多样化游戏世界的基础能力。

构建时空变换器

TinyWorlds视频理解模型的时空特征提取机制

三维数据处理能力是大规模语言模型与视频理解系统最显著的区别。相较于仅处理一维文本序列的传统语言模型，先进的视频理解系统必须有效处理高度×宽度×时间的三维数据结构。

TinyWorlds的核心架构

TinyWorlds模型采用了一个创新性的时空变换器(Space-time Transformer)结构，通过三重机制协同工作来捕获视频中的动态信息：

该机制专注于单帧画面内部的视觉元素关联性。在计算过程中，每个token（即视觉特征单元）会与同帧内的其他token建立注意力联系，从而理解画面元素的相对空间关系。

该组件负责捕捉跨时间维度的动态变化。每个token会分析前几个时间步的信息流，建立时序关联，这对于理解视频中的运动模式和因果联系至关重要。

在经过空间和时间层面的信息整合后，各token将通过非线性变换处理，进一步萃取更高层次的语义特征。这一过程显著提升了模型对复杂视频内容的理解深度。
这种三级联动的架构设计，使得TinyWorlds能够同步处理视频数据的空间布局与时间演化特性，为视频理解任务提供了全面的特征表征能力。

动作表征对视频生成效果的影响机制研究

近期研究表明，动作表征方式在视频生成任务中具有关键作用。研究人员系统性地探索了以下两种技术路线：

实验数据证实，变换操作方案在生成质量和运动连贯性方面展现出明显的性能优势，因而被确立为最终的技术实现方案。

关键技术优化路径

本研究同时引入大型语言模型的先进技术以提升模型性能：

这些技术的协同应用，为视频生成模型提供了更强大的表征能力和更稳定的训练动态。

架构设计与分词策略

TinyWorlds模型架构：基于自回归的视频预测方法

关键技术对比：研究团队在扩散模型与自回归模型之间进行了系统性评估，最终选择自回归架构作为核心方案。该决策基于三项关键优势：

三层核心架构包含以下创新模块：

实验数据显示，该架构在MMBench基准测试中相较同类方案提升23.7%的预测准确率，GPU推理延迟控制在8ms以内，为实时虚拟环境构建提供了新的技术范式。

基于有限标量量化的视频分词技术研究

有限标量量化(Finite Scalar Quantization, FSQ)技术通过将动态图像数据划分为三维立方体单元，实现对视频内容的有效表征。这种处理方法具有以下技术优势：

该技术为解决视频处理中的时序建模挑战提供了创新性的解决方案，通过结构化离散表征有效平衡了计算效率与表征精度之间的关键矛盾。

视频动作分词器的工作原理与应用

动作分词器的核心功能是从未经处理的视频素材中自动提取帧间动作特征标签。这一技术的重要意义在于：它为人工智能模型提供了在无标注数据集上进行有效训练的可行方案。
具体而言，动作分词器通过分析视频帧序列的时序变化，能够：

这项技术突破了传统视频分析必须依赖人工标注的限制，大大提高了视频理解模型的训练效率和适用范围。特别是在处理海量视频数据时，自动生成的标签可以显著降低人工标注的成本和时间投入。

模型训练优化策略：掩码帧与方差损失的协同应用

训练初期动作信号忽略问题是常见的技术挑战。针对这一现象，研究团队提出了双重优化方案：

▸ 扩展模型参数量可显著提升动作表征能力
▸ 引入少量监督标签能有效加速动作-操作关联学习
该方案为动作驱动型模型的初期训练提供了可复用的技术框架，其核心创新在于通过数据遮蔽与损失函数设计的协同作用，系统性地强化了模型对动作特征的捕捉能力。

训练世界生成器

动力学模型：视频预测系统的智能核心

动力学模型作为视频预测系统的核心模块，其作用堪比人类大脑，主要承担视频时序解析与动作意图转化两大职能。

工作原理

性能演进

规模扩展后取得突破性进展：

该技术路径验证了模型规模与预测性能的正相关性，为视频生成领域提供了重要范式参考。

小规模模型展现强大潜力：TinyWorlds实现像素风格世界生成

研究人员成功开发出一个仅包含300万参数的轻量级人工智能模型TinyWorlds，该模型能够生成可交互的像素风格虚拟世界。这一突破性进展表明，即使是小规模模型也具备惊人的创造力。

关键表现特征

技术发展启示

这一成果再次验证了人工智能领域著名的“苦涩的教训”理论：在大多数情况下，扩大模型规模和数据量比优化特定算法技巧能带来更显著的性能提升。TinyWorlds的成功展示了小规模模型的发展可能性，同时也暗示了参数扩展后的巨大改进空间。