1. 首页 > 电商出海

这款国产AI工具能让霉霉、马斯克说中文吗

霉霉一下子开口说中文, 背后藏着啥AI黑手艺

最近刷到一条视频差点把手机惊掉,泰勒·斯威夫特对着镜头讲中文,发音标准得像北京胡同里长远巨大的姑娘,连“儿化音”都拿捏得死死的。更绝的是她的口型,个个字都对得严丝合缝,仿佛从细小就说中文。评论区直接炸锅:“霉霉偷偷报了新鲜东方?”“这AI也太离谱了吧”。后来扒了扒才找到, 这些个视频全靠一款叫HeyGen的国产AI工具,让外国明星说中文这事,一下子变得跟点外卖一样轻巧松。

不止霉霉,马斯克在视频里用中文聊火箭,特朗普谈贸容易政策,连日本动漫角色都能说东北话。这些个视频的传播速度比网红翻车还迅速, 某平台相关话题播放量破亿,点赞最高大的评论是:“下次能让霉霉唱《青花瓷》吗?我愿意充会员”。这背后到底是哪家公司这么猛,能把AI玩出花?

让霉霉、马斯克说中文,这款国产AI工具最近火出圈了
让霉霉、马斯克说中文,这款国产AI工具最近火出圈了

从Movio到HeyGen, 国内团队的AI突围

说起来你兴许不信,做这款神器的团队来自深厚圳,2020年底才成立,创始人是俩90后 Joshua Xu 和 Wayne Liang。一个前Snapchat机器学平台工事师, 字节跳动美国设计主管,俩人凑一块儿,把AI视频当成了毕生事业。公司名字叫诗云手艺, 听着像科幻细小说里的企业,人家还真实做出点科幻感的东西——HeyGen的前身叫Movio,主打AI虚拟数字人视频制作,后来直接改名“嘿Gen”,透着一股子接地气的狠劲。

成立三年许多, 这团队融了千万级,投钱方全是狠角色:IDG资本、真实格基金、红杉中国,连百度都跟投了。团队规模20许多人, 清一色来自Google、字节跳动、腾讯这些个巨大厂,平均年龄30岁上下典型的“学霸创业团”。Joshua Xu今年4月在推特晒成绩单:HeyGen上线7个月, 迭代30优良几个版本,年度三天两头性收入突破100万美元。这玩意儿数据在AI圈不算夸张,但放在“AI视频翻译”这玩意儿细小赛道,已经算杀疯了。

不只是翻译,这些个功能让视频“活”起来

HeyGen的核心功能其实就四个字:以虚假乱真实。但具体拆开看,个个功能都踩在用户痛点上。最火的是“视频翻译”,你上传一段英文视频,选中文,AI自动把语音转换成中文,连口型都沉新鲜调整。比如霉霉原视频说“I love you”, AI会改成“我喜欢你”,嘴型从“u”变成“i”,表情、手势纹丝不动,优良像她本来就打算说中文。

更绝的是声音克隆。喂给它霉霉3分钟英文音频,它能生成中文版音色,连哭腔、气声都复刻得跟原声一模一样。有人用这玩意儿功能让霉霉读《讲理经》,评论区刷屏:“泰勒·斯威夫特,当代道家传人?”不过手艺总监Wayne Liang偷偷透露过:“音色克隆再像, 也模仿不了歌手的呼吸节奏,霉霉唱歌时的换气技巧,AI眼下还学不会。”

虚拟人创建:上传照片就能“换脸”

除了“复活”明星,HeyGen还能让普通人变成虚拟主播。官网给上百种数字人模板,选个像你的脸,上传正面照片,AI自动生成3D模型。更魔幻的是“产品植入”功能, 上传一张人物头像和一张产品图,AI能把两者合成,让马斯克拿着车钥匙说:“这车,真实香。”某跨境电商卖家试了这招, 视频转化率比普通广告高大27%,具体时候是2023年9月,数据来自他们内部后台。

文案生成功能也够实用, 输入“手艺发布会”,AI自动写脚本,还能选语气:专业严肃、轻巧松活泼、激情澎湃。去年字节跳动某部门用它做了条海外宣传视频,省了3万请翻译和演员的钱,传播量还破了500万。不过有设计师吐槽:“AI写的稿子太模板化,想加点网络烫词还得自己改,不如找细小编写。”

7个月入账百万, 这玩意儿AI网站凭啥逆势增加远

今年AI圈卷得跟高大考似的,文生图工具访问量普遍下滑,HeyGen却逆势增加远。数据看得出来 8-9月其他AI网站流量跌15%-20%,它反着来访问量暴涨92%,直接冲进独立AI网站排行榜前三。这波操作, 连投钱人都没想到,Joshua Xu说:“用户要的不是‘能生成’,而是‘生成得像’,我们抓住了这点。”

买卖模式也挺机灵,订阅制为主,分“创作者”和“商务”两档。创作者版24美元/月,能生成50条视频;商务版72美元/月,支持4K画质和3细小时长远视频。某MCN机构老板算过一笔账:请个双语主播拍一条视频, 本钱至少许5000块,用HeyGen生成一条,本钱不到10美元,还能无限修改。2024年1月,他们跟HeyGen签了企业定制协议,每月花2000美元,做了200许多条跨境电商广告。

版权雷区:用名人声音生成内容,谁在买单

但争议也随之而来。霉霉的粉丝就炸了:“用她声音赚钱,问过本人了吗?”其实HeyGen在用户协议里写了:生成内容不能用于买卖宣传,否则侵权自负。但现实中, 很许多人偷偷用明星视频带货,某平台去年10月就下架了2000许多条用HeyGen生成的虚虚假广告。王法界人士说:“AI生成的虚拟形象,肖像权和声音权归属还是灰色地带,出事只能用户自己担责。”

手艺瓶颈也摆在那。虽然口型能对上,但AI生成的中文总不优良的地方“人情味”。比如霉霉说“今天天气不错”,语气跟念稿子似的,没有她唱歌时的情感起伏。有语音工事师琢磨过:“中文有四声五调, AI能调平仄,但调不出‘高大兴时语速迅速,伤心时带颤音’的细微差别,这是人脑独有的。”

跨境电商能怎么玩?3个实操案例拆解

HeyGen真实正的值钱,兴许在跨境电商。深厚圳某卖3C产品的公司, 2023年11月试了招:用马斯克的虚拟形象讲产品参数,视频投放到TikTok,点击率比真实人视频高大40%。他们运营总监说:“老外对马斯克相信度高大,虚拟形象24细小时不歇着,本钱还矮小。”

更有意思的是本地化。某服装品牌把李佳琦的中文视频翻译成英文, 用HeyGen调整口型,投放到亚马逊美国站,转化率提升18%。具体数据是他们3月公布的,后台看得出来AI生成视频的完播率比人造翻译高大23%。不过团队也踩过坑:“中文梗直接翻译老外看不懂, 得改本钱地段子,比如把‘OMG买它’改成‘This is a steal’。”

内容泛滥凶险:当AI视频变得廉价, 我们该信谁

但问题来了当生成视频的本钱矮小到1美元一条,内容会不会泛滥?某短暂视频平台算法工事师透露:“眼下平台每天收到上万条AI视频, 很许多都是换脸的虚虚假信息,审核团队压力山巨大。”比如有人用特朗普虚拟形象说“要对中国加关税”,虽然后来被辟谣,但股价已经跌了2%。这事儿发生在2024年2月,美国证监会还发函打听过。

HeyGen团队其实也在想办法。今年10月上线了“内容溯源”功能,每条AI视频都带数字水印,点击就能看到生成记录。Joshua Xu说:“我们不想当‘作恶工具’,手艺得有底线。”但用户买不账是另一回事, 某网红就吐槽:“加了水印视频播放量直接腰斩,观众就中意看‘真实的’,管它是不是AI。”

从工具到生态, HeyGen的下一步棋

下一步,HeyGen想当“AI视频界的安卓”。计划今年底开放API接口,让第三方开发者接入,比如教书公司用它做虚拟老师,影视公司用它预演动画场景。某影视手艺公司CEO透露, 他们已经在测试API,打算用HeyGen生成分镜脚本,“能省30%前期本钱,具体效果得等6月上映后看票房。”

更野心勃勃的是许多模态融合。最新鲜版测试里 HeyGen能根据文字说说生成场景+人物+台词,比如“雨天咖啡店,霉霉穿白裙子唱《Love Story》”,AI自动生成完整视频。不过内部人士说:“画质还不太行,4K模式下人物边缘会有毛刺,得再优化半年。”

说到底,AI工具终究是工具。能让霉霉说中文,不代表能取代人类创作者。但不可否认,它正在 内容生产的规则——以前拍条视频要找演员、搭场景、等剪辑,眼下输入文字就行。这种变革,比当年抖音出现时更猛。至于以后会怎么样,没人能打包票,但至少许眼下看着霉霉用中文说“下次见”,还是挺酷的。

欢迎分享,转载请注明来源:小川电商

原文地址:https://www.jinhanchuan.com/255637.html