从一句话到一个能玩的世界,VAST 把整条链路开源了
在游戏里,如果你走到一扇门前,不确定能不能进去,通常的做法是先转身往回走两步,再跳两下,看看能不能翻过旁边的墙。 这些都是游戏里再普通不过的操作,可是想象一下,如果眼前的画面由 AI 生成,模型就得跟上玩家的每一次临时起意——突然停下,又突然转身,又突然跑跳。这期间,每一帧都得稳定在线。 这就是 VAST 刚刚开源的实时世界模型 EdenLive 所能做到的。它是 Project Eden 系列中的实时生成式渲染器,游戏、动画预览等可交互内容的规则和状态仍由上游交互系统维护,白模、2D/3D 场景,或真实录像,都能作为生成画面的参考。你让角色往前走,或者把镜头转向身后,交互系统将更新后的状态转化为灰盒画面与场景描述,输入 EdenLive,由模型实时渲染出对应的视觉效果让你 一边玩,一边看到 AI 实时生成的世界。 参考不必是一套已经做完美术的游戏——任何视觉素材都可以。一个粗糙的 3D 白模、一段 2D 场景,甚至一段已有录像,都可以提供结构和运动。同一段参考,换一张首帧、一句提示词,就能得到写实、手绘线稿、卡通、像素或油画等完全不同的外观。 拿任意视觉参考,边交互边生成画面 EdenLive 堪称是全能,可以跟着玩家的操作持续生成游戏画面,也可以保留一段视频的运动轨迹和镜头、把人物与环境换成另一种风格;到了具身场景,第一人称的人手操作视频还能改写成机械臂视角的版本。 为了做到这一点,EdenLive 实现的是一种「分工合作」:参考画面决定结构、运动和镜头,生成模型负责重写这些内容最终「看起来是什么」。EdenLive 的三类输入分工明确:参考视频决定场景布局、镜头运动、物体轨迹和事件发生的时间;目标首帧确定主体、材质、配色和画风;文本提示词补充风格和细节,交互中还能在事件发生时追加一句描述。这最终让生成式渲染从离线的视频生成,进入长时游戏交互、视频画风转换、具身数据增强等不同的场景。 在交互持续进行所需的长时生成能力上,EdenLive 取得了不错的突破。基于 Gemini-3.8-Flash 对 45 个长时案例的两两盲评(每组交换顺序各评一次,再按维度计算 Elo 分数),在参考遵循、首帧一致性、物理合理性、画质和避免外观泄漏五个维度上,EdenLive 14B 和 5B 全部排在第一和第二。以参考遵循为例,14B 得分 1704,比 AgentGarten 高出约 200 分。 更强悍的是 EdenLive 对于实时的跟随能力。离线视频生成模型要先拿到完整输入,再整段生成,接不进实时交互,EdenLive 却能够追着不断变化的参考画面往前走。按照团队披露,EdenLive 5B 在单张消费级显卡 RTX 5090 上能以超过 24 FPS 生成 720P 画面,并支持分钟级连续生成。 这对游戏制作来说尤其有意义,玩家按下攻击键之后,最先工作的并不是 EdenLive。武器有没有击中对手、血量应该减少多少、角色又移动到了哪里,都会先由上游交互系统作出判断,并更新到游戏状态里。 在场景和动画预览中,参考可以是白模场景、美术做的粗动画,或由精细模型渲染出的法线图视频。参考不变,只换首帧和提示词,就能在同一个场景、同一段动画上比较不同的材质、光照和配色。镜头离开一处再转回来,参考里的结构还在原处,EdenLive 按同样的结构继续渲染,不必从过去的画面里重新推测。 在游戏里这种连续和一致性,还需要与玩家的操作协同。比如在进入升降装置之后,随着装置下降,整个围栏和网格不能走形,但外面的环境却需要缓缓变化。 面向游戏开发,VAST 同步开源了 EdenGolem(v0.1),一款给编程智能体使用的 skill。只要输入一段玩法描述,智能体便会分四个阶段,依次完成玩法设计、场景搭建、交互逻辑实现与界面完善,生成可独立运行的 3D 灰盒游戏。目前,EdenGolem 已支持解谜、射击、驾驶、冒险、竞技场、格斗等多种游戏类型。 除了根据简单素材生成,EdenLive 也能够理解现实素材,并实现转换。像「闪身步」是真人教学,在保留构图和运镜的同时,人物、画面和笔触都动画化。模型沿着原视频的动作和空间关系,重新生成每一帧,同时不照搬原视频的质感。 还有一个容易被忽略的用途:具身数据增强。 机器人训练中,并不缺「人类怎样擦桌子」的知识, 缺乏的是「从机器人的眼睛看出去,机械手怎样靠近物体、抓住物体并完成动作」的训练素材 。 获得类似视角倒也不难,找一个人戴着头戴相机,擦桌子、开抽屉、倒水,一天可以拍很多段。但真人录像里出现的是人的手臂和五指,机器人部署时看到的却是机械臂和夹爪,两者的外形、运动范围和遮挡方式都不同。模型如果主要用真人视频训练,到了机器人摄像头里,可能会遇到明显的视觉分布差异。 通过 EdenLive 把真人的手替换成机械手,