通信人家园

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

  一级军士长

注册:2010-4-284
跳转到指定楼层
1#
发表于 2024-11-4 19:02:47 |只看该作者 |正序浏览

风风火火召开了发布大会,推出全新的生成式视频工具,这阵子 Adobe 都快有点飘了。

公司的副总裁 Alexandru Costin 在接受 The Verge 的采访时说,接下来 Adobe 会大力、加快、全面 AI 化。往后的产品开发计划里,都会包含生成式 AI。



他甚至还劝退用户,「我们的旧产品没有 gen AI,但我不推荐使用」,这真的是亲高管吗。

「如果不使用 AI,就不会在这个新世界成功。」

副总裁口出狂言,并非没有原由:今年 Adobe 在 MAX 大会上,接连放出了许多大招。除了作为重头戏的 Firefly Video Model,还有更多没有发出来的武器,藏在 Sneaks 环节里。

Sneaks 一直以来都是 Adobe 的演练场,那些有潜力推向市场、但仍处于开发阶段的项目,都放在这个环节。



今年 MAX 大会上的 Sneaks 环节很热闹,每一个项目的负责人仿佛是打碟的 DJ,上台先来一轮掌声,然后再讲解自己的项目。



一共 9 个项目:根据画面内容匹配音效的 SuperSonic、检测和匹配视频素材的 Know How、用 prompt 先做出 3D 模型再自动渲染的 Scenic、能让图形按照规定路线变化的 In Motion、自动排版工具 Remix a Lot、自动 PS 及合成 Perfect Blend、主打实时编辑的 HiFi、检测瑕疵且修复视频的 Clean Machine,以及自动建模矢量图的 Turntable。

这些 Sneak 项目有一个共同点:都展现出了生成式 AI 注入到具体使用环节时,所能带来的震撼效果。我们来看看几个比较有潜力的项目。

Clean Machine:藏在视频里的瑕疵,都能清理

首先是能够自动检测并清除瑕疵镜头的 Clean Machine。



由镜头眩光造成的光斑、过曝等,当然可以手动消除,那就要一帧一帧的检查,再慢慢修整。 Clean Machine 自动检查整个视频,找出所有的瑕疵帧,然后自动修复,同时填补上原有的元素。



在经过修复之后,不仅过曝的画面移除了,也没有损伤整个视频的品质,非常丝滑。

这项技术应用场景很多,比如下图这种大面积阴影,是因为路人闯进了镜头造成了遮挡。可以看到模型仍然可以给出一个干净、无遮挡的画面。



HiFi:实时生成,还能实时编辑

HiFi 是一个能够完成实时生成和编辑的功能,不算是很新鲜的想法,外头不少创业公司已经做了出来。



「实时」这个特性在 Adobe 的演示中,还是能看到基本逻辑是不变的:抽卡。只不过一致性表现得好,而且用户可以精准控制、调节的颗粒度更细。



像上面这个树叶,每一笔添上去的时候,其实绿植的整体都在变化,看得出还是在抽卡。不过轮廓、叶片数量这些,基本能保持一致。这在被抽卡困扰的生成工具中,属实难得了。

HiFi 还计划支持镜头捕捉。在大会上,嘉宾在镜头下用纸样搭配了一下家具,扫描之后,立刻就生成了对应的效果图,而且高度还原。



Remix A Lot:海报神器

这是一个针对图文排版的自动调节功能,当画面变化整体大小的时候,内部的文字和图像能够自适应新的比例,保持不变形。



在演示里的是一张万圣节海报。最开始,这个海报是手绘的,Remix 可以提取里面的元素,自动转换为矢量形态。





哪怕是下面这种票据形态,也可以一键自适应。Remix 可以根据新的画幅,自动调节所有的元素,同时保持各个元素之间的关系、以及整体设计风格不变。



做过海报的都知道,这里的门道有多深。无论画幅是什么,都可以自动的裁图、填充、改变文字位置,跳过一点点手动拖拽的工夫。

Perfect Blend:一键 PS 指日可待

另一个海报神器是 Perfect Blend,可能是这次所有 Sneaks 中最实用的一个,期待它能实装进 Photoshop 里,Adobe 搞快点。

Perfect Blend 非常接近「一键 PS」,而且不止是套个美颜滤镜那么简单,是真-修图。抠图啥的不用说,重点是调整光效和色调。



经过模型计算,原本光线差异极大的元素,都「融合」在了同一个光线逻辑中。尤其是女孩(她是这个项目的开发者),脸上原本的栅格影子都被完美修掉。



光线差异极大的情况,也依然可以掌控。这张人像里,脸部几乎都隐在黑暗中,也能根据新的夕阳背景,覆上新的光泽。



为什么说海报神器呢?看这里



哪怕所有的人像是由不同的相机拍摄、在不同的时间、有不同的角度、不同的光线,都不是问题,直接一键生成《冰与火之歌》风格海报。

Turntable:能转的矢量图

Turntable 是最有巧思的一个,对画手、动画人也很有用,实装进 Illustrator 指日可待。

这是一个转化矢量图像的功能,把已经整体存在的矢量图层,一键转化成「立体」模型。下图中的骑士,被转化之后,角度就可以自由调整。



除了横向旋动也可以纵向,综合起来就能够调节视角维度。

实际上 Turntable 中,即便图像能够全方位旋转,依然还是矢量图。模型所做的是补全了原始画面没有涉及到的部位。比如下面这匹马:



在原始画面中,这匹马是正侧面,只能看见两条腿。可一旦要换角度,另外两条腿势必要露出来。而有了 Turntable,不必重画,不必补帧,只需要鼠标拖一拖,就是最符合逻辑的画面。

又或者是这个薯片侠,它的背面和侧面都没有画出来。如果想改变角度,需要补足这些没有的部分。



Turntable 在学习原始图像之后,自动补足,是真的省事。

Adobe 这些潜力项目,在如今的市场上并非没有同类。

实时生成,Krea 在做了;根据画面生成音乐,很多大厂都在做了,也有不少都融合进了自己的生成式视频工具里。

但长久以来,Adobe 在后期制作中的霸主地位,带来的是难以逾越的壁垒:使用习惯。



这些 Sneaks 项目即便只是开发阶段,但当看它们出现在熟悉的灰色面板上,我很快就能自行脑补大概的使用方法是什么。

学习成本,有,但不多。更何况图像的生成,几乎都冲着一键完成去的了。

只要你习惯用 Photoshop,就不可能不会用加了 AI 的 Photoshop;习惯了 Premier,就不可能不懂加了 AI 的 Premier——多了一个图层、一个小窗而已,根本难不倒人。



Adobe 的一系列工具,已经塑造了用户的使用习惯,存在用户深深的脑海里。而其它的工具,不仅是难以和大工具联动,素材得手动导入导出,还需要重新建立用户的整体使用习惯。

初创公司点子新、创意好、技术力可能也不差,但是要建立新习惯很难。更何况,人想要回到旧习惯里又极其容易。大厂的壁垒,是筑在人的天性上。

虽然副总裁的话说得有几分狂妄,但道理却不差:当 gen AI 的技术融入到我们已经无比熟悉的工具里,点开来,用一用,再正常不过了。那不是对技术的「投降」,而是一种自然而然的发生。


来源:36kr

举报本楼

您需要登录后才可以回帖 登录 | 注册 |

手机版|C114 ( 沪ICP备12002291号-1 )|联系我们 |网站地图  

GMT+8, 2024-11-28 19:04 , Processed in 0.257866 second(s), 16 queries , Gzip On.

Copyright © 1999-2023 C114 All Rights Reserved

Discuz Licensed

回顶部