​AI音频“扛把子”刚上谷歌V2A，第一个视频+音频全自动AI工具，完全开源免费

AI音频“扛把子”刚上谷歌V2A，第一个视频+音频全自动AI工具，完全开源免费

文 | 乌鸦智能说

这几天的视频生成 AI 一经推出就好评不断。无论是 Runaway 新模型 Gen-3 Alpha，还是 Luma AI 推出的 Dream Machine，都有着逼真的画面、多样的电影叙事手法，艺术气息拉满。

目前最顶尖的工具如 Sora 生成的视频都是没有声音的，而声音是让 AI 视频变得更为真实的重要一步。如果 AI 能完成从脚本 / 图片 - 视频 - 配音的工作流，那才是真的完美。

昨日凌晨，谷歌 DeepMind 悄悄发布了 V2A（Video-to-Audio）系统。这个系统能根据画面内容或者手动输入的提示词直接为视频配音。

没过几小时，另一个 AI 音频克隆 " 扛把子 "ElevenLabs 就发布了文字到音频模型的 API，并基于这一 API 做了一个 Demo 应用。这是当前唯一一个全自动将视频与音频相结合的 AI 工具，且完全开源、免费在线使用。

花开两朵，各表一枝。由于谷歌并不打算向公众开放 V2A 系统，那我们就先试用一下 ElevenLabs 的这个版本 ~

看懂 + 对齐，生成全自动，但不能理解复杂画面

AI 视频告别无声，ElevenLabs 为 " 徒手 " 制作大片的 AI 工作流补上最后一笔，我已经迫不及待，马上就要为前几天做出来的 AI 生产视频加上配音了。（工具体验：https://www.videotosoundeffects.com/）

▲ ElevenLabs 生成配音视频 step1 → step2

我将 luma 生成的着火 meme 视频、OpenAI 成员暴走视频、电影《闪灵》视频等，以及 Gen-3 的示例视频都投喂给了 ElevenLabs，看看它会为这些画面配上什么声音。

效果还不错呀！其中，" 某个歌手在独唱 "、" 一个女人奔向正在发射的火箭 "、" 白头发女人大笑 " 等等配音跟场景很契合，" 水下呼吸的女人 "、" 一个男人身后燃起大火 " 的视频配音逼真细腻，非常有大片感。

经过约 20 个视频的试炼，ElevenLabs 能自动生成与视频内容同步的音轨，而且生成配音基本已覆盖影视配音的全部类型：

- 环境声，例如水下呼吸声、燃烧声、滚轮声、爆竹声、乐器演奏、白噪音、嘈杂人声等；

- 人声，哭声 / 笑声、对白 / 独白和歌声等，但不能生成旁白；

- 音乐，比如马戏团插画的欢乐音乐、闪灵双胞胎镜头的恐怖音乐等；

- 音效，例如枪声、喜剧效果的搓碟声、"OpneAI 成员打架 " 时的机械崩坏声等。

对比其他 AI 配音工具，ElevenLabs 是第一个做到全自动为视频结合生成式配音的工具，无需人工输入提示词也可以为视频配音，且使用 AI 创建 4 个音轨供选择，无需人工对齐音频与视频。

ElevenLabs 能理解视频的画面，读懂里面的元素，知道画面里正在发生什么，应该出现什么声音，自动匹配上环境音、人声、音乐和音效，在口型同步上表现也不错。

再从声音本身来说，乌鸦君发现 ElevenLabs 在声音保真度方面表现不错，水下呼吸声、燃烧声、滚轮声、爆竹声，甚至白噪音、嘈杂人声等声音都非常逼真，且音源丰富、音质尚可。

令人最想吐槽的一点是，ElevenLabs 的音轨选择较少（只有 4 条），我用同一个视频多次投喂给 ElevenLabs，始终只能得到相同的 4 个音轨。

音轨选择少意味着使用者的控制范围小、创作灵活度低，这使得 ElevenLabs 在一致性和运动性方面不稳定的缺陷被暴露无疑。理解简单的画面对 ElevenLabs 来说不是难题，但一旦画面元素有了动态，配音时常出现节奏韵律不对、不能贴合画面内容的情况，例如脚步声不能符合人物走动的节奏等。

不过，这还只是 ElevenLabs 做视频配音的一个 Demo 程序，期待它后续增加可选择的音轨条数，提高理解复杂画面的能力。

完全开源，理解画面能力弱于 V2A

不到一天，ElevenLabs 研究人员说这是他们的视频到声音应用的开发用时。这个敢直接硬刚谷歌的 AI 语音公司由前 Google 机器学习工程师 Piotr Dabkowski 和前 Palantir 策略分析师 Staniszewski 于 2022 年 1 月共同创立，自 2022 年以来一直从事生成 AI 语音。

对比谷歌 V2A 示例视频和ElevenLabs 的生成视频，我们发现后者要逊色前者不少，这可能是由于二者的工作原理存在的本质的差别。Demo 是基于公司在 5 月底发布的文字到音频模型打造的，工作原理如下：

- 以 1 秒钟的间隔从视频中提取 4 帧图像（全部在客户端提取）

- 将帧和提示发送到 GPT-4o，以创建自定义的文本音效提示

- 使用 ElevenLabs 文本转声音特效 API 创建提示音效

- 在客户端使用 ffmpeg.wasm 将视频和音频合并为一个文件供下载

- 托管于 vercel

ElevenLabs 并不能直接实现画面到音频的转换，而是利用了 GPT-4o 将视频截图转换为文字提示词，之后再输入文字转在几秒内生成多条与画面内容匹配的音频。而 DeepMind 在博客中称V2A 能依靠自己的视觉能力理解视频中的像素，这意味着ElevenLabs 理解视频的能力可能会弱于 V2A。

另外，在 API 使用过程中，Elevenlabs 按每次生成 100 个字符收费，在设置持续时间时按每秒生成 25 个字符收费。

结语：视频生成带飞音频生成，深度伪造技术带来自检挑战

一方面，OpenAI 不断推出高品质 AI 视频生成模型 Sora 的新演示，另一方面目前这项技术对公众仍然不可见，包括谷歌 V2A。然而为了解决视频配音这个问题，竞争对手 Pika 研究名叫 "Lip Sync" 的对口型功能。

AI 视频赛道在 " 百团大战 " 的同时，AI 音频生成企业也正在扶摇直上。

ElevenLabs 今年 2 月获得了 8000 万美元的 B 轮融资，估值超过 10 亿美元，跻身独角兽行列，估值在半年多的时间暴增 10 倍，包括像网易等游戏开发商、《华盛顿邮报》等传统媒体，都已经在大量使用 ElevenLabs 的文生语音技术。

声音是影视作品给人以身临其境之感的元素，未来，AI 音频生成可能会细化到人声模拟、对口型、方言等各个部分，无限逼近真实世界。

与此同时，企业需要研究更多类似生物指纹嵌入应用的技术，来防范 Deepfake（深度伪造）技术被用作不法用途。ElevenLabs 曾表示将会推出新的措施，克隆声音仅供付费用户使用，禁止多次违反平台协议的用户使用这种功能，将会推出一种新的 AI 检测工具。