实时、改环境、语音指令、Gemini…全来了???
刚刚,Google DeepMind正式发布新一代「世界模型」——Genie 4。
这也是,谷歌迄今为止最逼真且最具交互性的世界模型。
一句话实时修改场景、模拟真实物理效果,连人物动作、环境音效和互动对话都能同步生成全安排上了。
比如,直接在对话框里输入指令,画面中的男子就能回头做出反应,整个场景还能随着指令实时变化:
更离谱的是,这个世界里的人物,居然还能直接开口跟你聊天??!
风声、水声等环境音效同步生成,人物也能根据场景变化和你的输入实时接话,确实无缝接入啊:
更有看头的是,Gemini也被拉来当「大脑」了——
咱看下面这个demo,虚拟实验室里,一台机械臂正夹着移液器,对准实验孔板进行操作。
从任务步骤规划,到模拟机械臂的精细动作,整个过程都在AI生成的环境中进行,旁边还能看到推理步骤:
还有一些获取早期访问权限的网友也已经大roll特roll了。
有网友直接生成了一座地下洞穴,操控角色在错综复杂的地道里四处探索、寻找宝藏。
整个洞穴场景随着玩家的移动实时生成,走哪儿、看哪儿,AI就接着往下构建,整成大型探险游戏了!?
虽然,通用模型未必要看谷歌。
但世界模型,感觉还是得看谷歌啊。。。
Genie 4来了:整个世界都能实时生成,还能开口说话
如果用一个词概括Genie 4这次的核心升级,那一定是——「实时」。
简单来说,AI现在已经能根据你的操作,一边生成虚拟世界,一边模拟接下来会发生什么。
而且这次,谷歌还把人物、物理效果、声音,甚至复杂任务推理都给卷上去了~
我帮大家浅浅总结了一波核心能力,先来一睹为快:
实时世界生成与操控:一句话生成可探索的虚拟世界,随时修改天气、人物、物体和场景。
真实物理与人物模拟:支持碰撞、空气动力学等物理效果,人物动作自然,还能根据环境实时反应。
原生音频与互动对话:环境音效、音乐和人物对话同步生成,虚拟角色能够实时交流。
Gemini协同推理:Gemini负责规划任务、观察反馈、动态调整策略,还能在虚拟世界中模拟机器人执行任务。
当然了,光看能力介绍可能还不够直观。
咱直接把Genie 3和Genie 4拉出来遛遛,说实话,我是感觉差距还真挺明显的。
下面这个对比Demo,左边是Genie 3,右边是Genie 4。
最直观的感受,就是人物终于没那么「游戏伪人」了,动作上也更符合物理规律。
在场景上,左边还是个相对空旷的房间,右边直接切进了布满灯光、设备和工作人员的剧院后台。
从简单室内到复杂多人场景,整个环境的信息量一下子上来了,人物、空间和光影的呈现也更接近真实拍摄:
接下来,我们再看几个更有意思的例子!
比如下面这个Demo,湖面上漂浮着一座小平台,一名男子正在上面演奏萨克斯。
用户可以随时用自然语言修改天气、切换镜头,甚至往场景中加入新人物。
更有意思的是,Gemini还会根据当前环境调整后续变化,让新加入的元素与原有场景尽可能保持连贯。
连萨克斯的演奏声、风声、水声,也都能跟着场景实时生成,be like:
而在物理模拟上,Genie 4同样有不少看头。
人物从高处坠落,身体会随着重力向下运动;西瓜受到撞击后,则会瞬间破裂,果肉四散飞溅。
从人体运动、重力作用,到物体碰撞后的形变与破碎,Genie 4已经能够模拟出相当逼真的物理反馈:
再来看「音频生成」。
值得一提的是,Genie 4还是谷歌首个支持原生音频生成的实时世界模型。
它能够根据正在发生的场景,同步生成环境音效、音乐,甚至让虚拟人物开口说话,根据用户输入和周围事件实时接话。
比如直接化身骑士,以第一人称视角骑着巨龙在群山间高速狂飙。
耳边呼啸的风声、巨龙振翅声,甚至远处火山的轰鸣,都能跟着飞行过程实时生成,be like:
不过,看到这里,其实还只是Genie 4在感官体验上的升级。
值得一提的是,这次Genie 4还与Gemini深度结合,让世界模型具备了更复杂的任务规划和多步骤推理能力。
具体来说,谷歌把Gemini 3.8 Flash接入了Genie 4,让它充当实时引导Agent——
Genie 4负责生成虚拟世界,Gemini负责理解目标、观察环境,并决定下一步该做什么。
随着Genie 4实时生成画面,Gemini还会持续观察场景,检查任务执行到了哪一步、前面的操作有没有成功~
咱看下面这个demo。
让机器人在虚拟实验室中完成精细操作,或在不断变化的环境里执行多步骤任务。
AI可以先在模拟环境中规划行动、观察结果、调整策略,再将经过验证的方法用于现实世界,牛啊:
甚至呢,更高阶的Gemini 4 Argon,也已经被咱老谷歌拉来参加实验了。
官方展示了一个相当有意思的demo:让「人形机器人下跳棋」。
这里出场的是Apptronik的人形机器人Apollo。
实验中,Gemini 4 Argon负责把下跳棋的任务拆解成多个步骤,再将指令交给Genie 4。
Genie 4则根据这些指令,实时模拟Apollo执行相应动作。
整个过程发生在AI生成的世界里,无须让真实机器人到场,真·自动化作业了:
Gemini 4 Flash也要来了!?
不过,谷歌这两天的消息还没完。
就在Genie 4发布前后,Gemini 4 Flash竟然也有新动静了。
有网友发现,Gemini 4 Flash疑似已经进入内部测试阶段,连代号都被扒了出来——
Hydrogen,氢。
而且,Gemini 4 Flash甚至可能是用远低于Gemini 4 Argon的成本,提供接近旗舰模型的性能。
我们要知道Gemini 4 Argon作为谷歌目前的旗舰模型,能力虽然很强,But——
推理成本和响应速度上,也让不少高频使用场景面临取舍。。。
Flash系列主打的恰恰就是「速度」和「成本」。
甚至还有网友爆料称,Gemini 4 Flash的生成速度可能接近每秒300 Token。
如果能把Argon级别的智能水平,塞进一个更快、更便宜的Flash模型里,那确实有点看头哈~
世界模型在手,Gemini 4 Flash我有。
虽迟又能怎么样,但到了不就得了。
参考链接:
[1]https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法!
— 完 —
🌟 点亮星标 🌟
科技前沿进展每日见


