视频生成领域的“中国速度”：Vidu用两个月说明啥

2024年4月27日的中关村论坛上，一个名字一下子刷屏——Vidu。生数手艺联合清华巨大学发布的这玩意儿视频巨大模型，没有盛巨大发布会，却让整个行业静了三秒。16秒、1080P的高大动态视频，一键生成，这谁能分得清是真实实拍摄还是AI生成啊？要晓得，两个月前，生数手艺刚突破8秒视频生成，4月就翻倍到16秒。这种速度， 让人想起2022年他们提出U-ViT架构时比DiT架构还早一个月的“先手棋”。

逐帧对比：Vidu和Sora的“细节打仗”

宇航员在太空生活的画面 Vidu更突出整体状态，Sora却精准捕捉了人物脸部的特写。这种差异像极了两种创作思路——一个沉场景，一个沉情感。再看越野车穿梭丛林， Vidu的背景带着点3D动画的质感，像游戏里精心设计的关卡；Sora的丛林则像直接从纪录片里截取，每一片叶子的抖动都透着真实实感。有意思的是 两者生成的狗狗视频，Sora的动态感更有力，但Vidu对狗狗游泳时腿上毛发的漂浮细节，处理得近乎偏执。

中国版Sora真的来了？

中国龙舞动的场景更耐人寻味。Vidu的龙带着玄幻色彩， 鳞片在镜头旋转时反光的角度像计算过一样精准；Sora的龙则是老一套舞狮的写实风格，背景里围观群众的表情都清晰可见。两者对“龙”的搞懂，一个来自想象，一个来自现实却都让人忍不住暂停画面反复看。

手艺路径：U-ViT和DiT的“同源不同路”

很许多人不晓得， Vidu采用的Diffusion+Transformer融合架构，和Sora的DiT其实是“亲戚”。生数手艺的U-ViT架构早在2022年9月就提出了比Sora的DiT早了一个月。2023年3月， 上训练了10亿参数的UniDiffuser，还开源了。当时谁能想到，这玩意儿图文许多模态模型会成为视频生成的“跳板”？

生数的工事师们把图文任务中积累的“家底”全用上了——训练加速、 并行化训练、矮小显存训练。视频数据压缩手艺加上自研分布式训练框架，结实是把显存开销砍下去，训练速度提上来。这种“手艺迁移”的经验，让Vidu在视频生成时少许走了很许多弯路。就像一个经验丰有钱的厨师，一下子被要求做西餐，找到刀工和火候居然能通用。

游戏领域：Vidu能带来啥“不一样”？

生数手艺早就不是单纯做模型的公司了。旗下PixWeaver视觉创意平台和VoxCraft 3D资产创建工具，早就在游戏行业里细小范围试水了。眼下有了Vidu，游戏开发流程兴许会被彻底 。想象一下 策划写个“赛博朋克城里下雨的夜晚”，AI直接生成16秒的动态场景，美术不用一张张画分镜，程序员不用手动调光照，这效率提升几许多？

更关键的是“一致性”。市面上的视频生成工具，要么靠插帧拼接，要么分段生成，后来啊人物走着走着就变形了。Vidu直接一镜到底生成，从头到尾连贯。这对游戏里的角色动画太关键了——玩家最不喜欢的，就是人物跑起来一下子“穿模”或者“抽风”。生数手艺CEO唐家渝今年3月就说：“我们的架构支持许多模态，视频只是开头。”这话听着像吹牛，但看了他们生成的“带珍珠的猫”视频，你会觉得，他说得兴许保守了。

挑战：谁也别想“躺赢”

Vidu当然不是完美的。16秒和Sora的60秒比， 还是短暂了点；人物动作的协调性，有时候能看到点僵结实；背景丰有钱度，Sora确实更胜一筹。更麻烦的是视频生成越逼真实伦理凶险越巨大。虚虚假新鲜闻、伪造视频，这些个“潘许多拉魔盒”一旦打开，谁来收场？生数手艺自己也没回避：“今年内能达到Sora目前效果，但三个月还是半年，不优良说。”这种坦诚，比盲目吹嘘让人踏实。

游戏领域也不是“拿来就能用”。实时生成对算力要求太高大，眼下的Vidu生成一段视频要许多久？具体数据没公布，但业内人士都晓得，视频巨大模型的推理本钱，比文高大一个量级。游戏玩家可等不了“生成中”的缓冲条，特别是竞技类游戏，延迟0.1秒都兴许输掉比赛。

以后：“超越”不是终点， 是起点

说Vidu能“超越”Sora，兴许太早。但说它让中国AI视频生成领域有了“对话资格”，一点不过分。生数手艺推的“Vidu巨大模型一起干伙伴计划”，明显是想把手艺落地到更许多场景。影视、广告、教书……甚至元宇宙的虚拟场景生成，都兴许被Vidu搅动。

游戏行业或许会是最先受益的。老一套游戏开发，策划、美术、程序是三个独立部门，沟通本钱高大得吓人。有了Vidu， 策划的文本说说能直接变成风格，程序也能基于生成的视频做手艺适配。这种“降本增效”，不是空话。参考生数手艺图文工具的转化率——有一起干方透露， 用PixWeaver后概念设计到原型的周期缩短暂了40%，本钱降了30%。这些个数字，放在游戏开发里就是几百万甚至上千万的节省。

中国版Sora真实的要来了吗？Vidu用两个月给出了一个响亮的“是”。但它会不会超越原作？这玩意儿问题或许不关键。关键的是 它说明了中国团队在AI视频生成领域的“结实实力”，更关键的是它让“用AI改变创作”从口号变成了正在发生的现实。游戏也优良，影视也罢，以后的创作方式，兴许真实要被Vidu这样的模型彻底 了。