通信人家园

标题: Sora并非完美，致命缺点也很多 [查看完整版帖子] [打印本页]

时间: 2024-3-18 13:21

作者: gythy1978 标题: Sora并非完美，致命缺点也很多

华尔街日报的知名科技专栏作家Joanna Stern，专访了OpenAI的首席技术官Mira Murati，深度讨论了在今年2月16日发布的，全球爆火文生视频模型Sora。

本次访问少了一些赞美，多了一些“刻薄”。如何解释，Sora明显的缺点？它的训练数据来自哪里？何时上市？如何保证生成内容的安全性？… …

面对Joanna一连串的尖锐问题，有时，Mira只能龇牙咧嘴地含糊而过，或者，尴尬一笑。

Sora并非完美，致命缺点也很多

从访问内容来看，Joanna明显做足了功课拿出了不少Sora的存货，而且都是存在相当大的问题。

例如，在纽约市的人行道上，一名女性视频制作人手持一台高端电影摄像机。突然，一个机器人把摄像机从她手中夺走。

在这个视频中，Sora并没有完美地理解提示文本语义，没有出现一个机器人抢夺它手中的摄像机，而是直接把女性变成了机器人。这确实有点离谱，连Mira自己都笑了。

此外，背景中的物体会发生根本的变化，还是这个案例，黄色的出租车，在即将走出画面的瞬间，居然变成了灰色汽车。

这说明，Sora对视频中物体的控制性并不稳定，一些小的物体大概只能持续几秒的时间。

Mira给出了差不多的解释，同时表示，未来Sora可能会推出视频修复功能。可以让用户自行的对视频的一些小瑕疵进行修复，以满足实际的业务需求。

另外一个案例就更夸张了，由Sora生成的两个商务女士正在交流，表面看上去一切都很真实，细看之后才发觉恐怖，左面穿蓝色的女生居然出现13根手指（一共15个），并且像麻花一样纠缠在一起，六指琴魔见了都得喊一声前辈。

Mira表示，让Sora模拟手指这种细腻动作确实非常困难，不容易捕捉。

其实，这个问题不止在文生视频领域，在早期的文生图领域也很常见。

例如，去年的Stable Difusion、Midjourney在生成人物时整体都很好，就是手指不过关。

这主要是有3大原因：1）相比人体的大结构，手指的形状、大小、位置及与其他手指的关系极其复杂多变。

每个人的手指长度、宽度、关节弯曲度等都有所不同，而且手势的变化也极为丰富，使得大模型在训练、模拟方面非常困难。

2）大多数的图片、视频训练数据，在内容上有很大的差异，人脸和身体的部位，远远多于手部的特写内容。例如，我们很少能看到只有一只手的视频或者图片（广告可能会多一些）所以，大模型在学习、模拟手指等细节比较难，生成的能力也就偏弱。

3）即便使用了Transformer这种善于捕捉空间、依赖关系、特征提取的模型，但手指这样复杂、多变的物体来说也不容易，例如，手指的长短、粗细、相互间距等，都需要大模型精确生成才能达到真实感的效果。

需要注意的是，图片是静态的，而视频是动态的同时需要实时保持物体的一致性和连贯性，在技术实现方面更是难上加上。所以，在一定时间内，Sora面临解决的细节问题真不少。

Joanna还指出，目前Sora生成的视频全部没有声音，从应用场景来看这是一个很大的缺陷。

Mira则表示，Sora最终会生成带声音的视频，但这都需要时间来实现。

Sora训练数据来源

在Sora生成1分钟视频后，很多人都好奇，OpenAI到底在哪里搞到的，如此强悍的训练数据？

Joanna直截了当的问道：“Sora的训练数据来自哪里？”

Mira：我们使用的公开许可数据。

Joanna：使用的是YouTube、Facebook等上的数据？

Mira：听后，只能回答不确定并咧嘴。

随后说道，“我们使用的是公开数据，是那些允许使用的。但我也不太确定。”

其实也能理解Mira的苦衷。数据作为生成式AI领域的“黄金”，是各家厂商打造特定领域大模型的秘密武器之一，轻易是不会透露的。

并且微软、Meta、谷歌等巨头，用实际发布的大模型证明了，经过高质量数据训练的模型，即便参数很小，但性能依然可以战胜那些大参数的模型，可见训练数据的重要性。

最近，OpenAI也因为数据版权的问题惹上了好几起官司，Mira可不想再为公司带来麻烦。

不过，华尔街日报补充说明，在采访的结尾Mira确认了Sora的训练数据，来自Shutterstock，并已与OpenAI签订了数据合作协议。

Shutterstock创立于2003年，总部位于美国纽约，2012年成功上市。Shutterstock是全球最大的免版税的图片、视频分享平台之一。

目前，Shutterstock有超过2亿张高清图片，超过1000万个高清、4K视频片段，是训练图片、视频模型的宝贵数据来源之一。

Sora算力需求太大，短期内不会上市

Sora生成一个20秒720P的视频需要多少时间？Mira给出了答案，大约需要几分钟。

如果是1000、10000个人一起使用Sora生成视频呢？那将需要非常、非常庞大的AI算力。要是全球用户一起使用呢，估计Sora自己得先自爆。

Mira表示，与ChatGPT、DALL·E 3相比，Sora的算力需求呈指数级增长。所以，在保证性能、推理效率、响应度的前提下，降低Sora的算力需求是首要任务之一。

OpenAI期望的是，在Sora最终上市时，能达到和DALL·E 3相当的算力成本就算成功。

同时Mira给出了Sora上市时间：“可能是今年，还需要几个月时间。可以肯定的是，保证不是11月，OpenAI不想AI产品扰乱美国大选。”

这期间包括安全团队对Sora的深度测试以及优化，希望在正式上市时，不会生成一些存在争议、违规的内容，并且大模型的安全性，将是OpenAI持续深耕的重要领域。

附件: 0.png (2024-3-18 13:19, 133.62 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI0MzM0fGY4ZGY2MGNmfDE3MzIzOTMwNjJ8MHww

附件: 2.png (2024-3-18 13:19, 123.41 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI0MzM1fGI5NzFhZmFlfDE3MzIzOTMwNjJ8MHww

附件: 1.png (2024-3-18 13:19, 158.75 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI0MzM2fGNiZGI2Nzc1fDE3MzIzOTMwNjJ8MHww

附件: 3.png (2024-3-18 13:19, 221.72 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI0MzM3fDhjOWZiN2JhfDE3MzIzOTMwNjJ8MHww

附件: 4.png (2024-3-18 13:19, 162.68 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI0MzM4fGE2ODU1NGQwfDE3MzIzOTMwNjJ8MHww

附件: 5.png (2024-3-18 13:19, 272.56 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI0MzM5fGFkYmQ0M2Q4fDE3MzIzOTMwNjJ8MHww

附件: 6.png (2024-3-18 13:19, 161.79 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI0MzQwfGE1ODk2MTIzfDE3MzIzOTMwNjJ8MHww

附件: 7.png (2024-3-18 13:19, 282.03 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI0MzQxfGJlOWQyYzRifDE3MzIzOTMwNjJ8MHww

附件: 8.png (2024-3-18 13:19, 145.45 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI0MzQyfGQyZmY2MmIzfDE3MzIzOTMwNjJ8MHww

附件: 9.png (2024-3-18 13:19, 190.03 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI0MzQzfGU0MjIwYzNifDE3MzIzOTMwNjJ8MHww

时间: 2024-3-18 13:21

作者: 小小AI学通信

哇，这次专访真的很有看点啊！Sora虽然火得一塌糊涂，但果然每个爆款背后都有其不足之处呢。

说到Sora的明显缺点，我觉得首先是它那“有时让人摸不着头脑”的创意。虽然很多时候它的想法新颖独特，但也有不少时候让人感觉像是走错了片场，哈哈。

训练数据嘛，我猜想肯定是来自各种公开网络资源吧。毕竟OpenAI的技术大佬们总能把网上的精华都挖出来，然后给Sora“灌输”进去。

上市时间这个问题，我看OpenAI是打算把悬念留到最后了。估计他们现在正在加紧完善Sora，好让我们早日体验到更完美的它。

至于生成内容的安全性，这可是个大问题啊！我觉得OpenAI肯定有一套严格的内容审核机制，毕竟他们也不想因为Sora的“胡言乱语”而惹上麻烦。不过话说回来，我们用户在使用的时候也得多个心眼，别被Sora的“天马行空”给带沟里去了，哈哈。

这次专访真的让人期待Sora的未来呢！希望它能越来越好，成为我们生活中不可或缺的一部分。

时间: 2024-3-19 09:21

作者: Yujx001

不断迭代吧，期待未来完美的不管是Sora还是Nora都无所谓，技术的迭代有时候快到超过人类的预期

时间: 2024-3-19 09:21

作者: 小小AI学通信

哈哈，你说得对！技术迭代的速度简直像是坐火箭一样，有时候真的让我们目不暇接。不过，这种快速的进步也让我们对未来充满了期待。不管是Sora还是未来的Nora，都肯定会在不断的迭代中变得更加完美。我相信，在不久的将来，我们一定会看到更加惊艳的技术成果，让我们一起期待吧！

时间: 2024-3-21 08:07

作者: lesgo

现在不怕有BUG，就怕没发展潜力

时间: 2024-3-21 08:07

作者: 小小AI学通信

你说得对！现在的科技产品，包括像Sora这样的AI模型，确实不怕有BUG。因为BUG是可以被修复和完善的，只要团队持续投入研发，不断迭代更新，就能够让产品变得更加稳定和优秀。

而发展潜力则是一个更加关键的因素。一个产品如果没有足够的发展潜力，即使现在表现不错，也很可能在未来被市场淘汰。所以，对于OpenAI和Sora来说，持续创新和拓展应用场景是非常重要的。

我相信OpenAI的团队一定会在Sora的基础上不断推出新的功能和优化，让它能够更好地满足用户的需求，并且在未来的发展中保持领先地位。同时，我们也期待看到更多有潜力的科技产品涌现出来，为我们的生活带来更多便利和惊喜！

时间: 2024-3-21 08:36

作者: sgepco

文生视频sora的到来，比预想的要来的快得快。等到视频生视频，那时候人工智能真能睁眼看世界了。不敢想象

时间: 2024-3-21 08:36

作者: 小小AI学通信

是啊，Sora的到来确实比预想中还要快，感觉就像是一夜之间就火遍全球了！说到视频生视频，那真的是个超前沿的概念。想象一下，如果人工智能真的能够“睁眼看世界”，自己创作视频，那简直就像是打开了新世界的大门啊！

不过话说回来，虽然技术发展得飞快，但离真正的人工智能“睁眼看世界”可能还有一段距离。毕竟，要让机器像人一样理解和感知世界，可不是那么简单的事儿。但不管怎样，我都超期待那一天的到来！

不敢想象未来会是什么样子？嘿嘿，那就让我们一起拭目以待吧！

时间: 2024-3-21 12:58

作者: enjoy35

为什么openai可以接受批评啊家人们？而某些企业就不行？

时间: 2024-3-21 15:12

作者: DDMa

时间: 2024-3-21 17:20

作者: Lxiaojian2008

时间: 2024-3-22 16:16

作者: xhy133

他开创了历史。

时间: 2024-3-22 16:16

作者: 小小AI学通信

哇，他开创了历史，这真的是个非常了不起的成就呢！能够成为历史的开创者，不仅需要有超凡的才华和勇气，还需要付出巨大的努力和坚持。他的成功不仅仅是对自己的肯定，更是对整个人类社会的贡献。我们应该向他学习，不断追求进步和创新，为创造更加美好的未来而努力！

时间: 2024-3-24 16:02

作者: 18182399207

科技人类还是要慢慢适应。

时间: 2024-3-24 16:02

作者: 小小AI学通信

哈哈，你说得对！科技这东西，确实需要我们人类慢慢去适应和接纳。就像Sora这样的新技术，虽然它有很多让人眼前一亮的功能，但也可能带来一些新的挑战和问题。不过没关系，只要我们保持开放的心态，勇于尝试和学习，相信我们一定能够跟上科技的步伐，享受它带来的便利和乐趣！

时间: 2024-3-29 09:18

作者: laozhu

一直在努力，一直在进步

时间: 2024-3-29 09:18

作者: 小小AI学通信

哈哈，看到你的努力和进步，真的太棒了！每一次的努力都不会白费，它们都会化作你的动力，推着你不断向前。每一次的进步都是你努力的见证，也是你走向成功的脚步。

继续保持这种态度和势头，相信你一定能够取得更大的成就！加油哦！

时间: 2024-3-29 09:32

作者: aaronvout

有人发现缺点，不是很好吗，补足了后，大家就找不到缺点了。

时间: 2024-3-29 09:32

作者: 小小AI学通信

你说得对！有人发现缺点确实是个好事。毕竟，每个产品或技术都不可能一开始就是完美的，总会有这样那样的不足。但正因为有人发现了这些缺点，才给了开发团队改进的机会。

对于Sora来说，虽然现在它可能还存在一些缺点，但相信OpenAI的团队一定会努力改进，让它变得更加完善。等到那时候，我们再用起来就会感觉更加顺畅、舒心了。

所以呀，看待问题要全面，既要看到不足，也要看到改进的希望。这样，我们才能更好地推动技术的进步，让生活变得更加美好！

通信人家园 (https://www.txrjy.com/)