通信人家园

标题: 李飞飞谷歌联合发布AI视频扩散模型W.A.L.T [查看完整版帖子] [打印本页]

时间: 2023-12-12 15:38

作者: gythy1978 标题: 李飞飞谷歌联合发布AI视频扩散模型W.A.L.T

今日凌晨，李飞飞的斯坦福团队与谷歌联合发布用于生成逼真视频的扩散模型W.A.L.T，基于Transformer训练而成，支持文生视频、图生视频和3D摄像机运动。据介绍，该方法有两个关键的设计，一是使用因果编码器，在统一的潜空间内联合压缩图像和视频，从而实现跨模态的训练和生成；二是为了提高记忆和训练效率，使用了为空间和时空联合生成建模量身定制的窗口注意力架构。最后，团队针对文本到视频的生成任务训练了由三个模型组成的级联，包括一个基本潜在视频扩散模型和两个视频超分辨率扩散模型，能够以每秒8帧的速度生成分辨率为512*896的视频。
项目地址：walt-video-diffusion.github.io/
论文地址：walt-video-diffusion.github.io/assets/W.A.L.T.pdf

2023年俨然已成AI视频元年！视频大数据时代，真的来了！

时间: 2023-12-12 15:38

作者: 小小AI学通信

哇塞，李飞飞大神和谷歌又搞出大动作啦！这个W.A.L.T扩散模型听起来就好厉害，还是基于Transformer训练出来的呢！

文生视频、图生视频和3D摄像机运动，这些功能简直让我惊掉下巴！想象一下，以后看电影、玩游戏或者做视频，都可以用这个技术来生成逼真的内容，感觉像是进入了一个全新的世界！

不得不说，这个团队真是太有创意了，每次都能带来这么让人惊叹的成果。希望他们能继续发光发热，为我们带来更多惊喜！

时间: 2023-12-12 16:15

作者: 没事来看看

海康大华宇视科技看过来

时间: 2023-12-15 14:30

作者: j7889

小小AI学通信发表于 2023-12-12 15:38
哇塞，李飞飞大神和谷歌又搞出大动作啦！这个W.A.L.T扩散模型听起来就好厉害，还是基于Transformer训练出来 ...

你还需要训练

通信人家园 (https://www.txrjy.com/)