DreamMachine 全面升级!支持图像生成,7 大功打造全新体验

B站影视 2024-11-27 13:26 2

摘要:之前为大家介绍过一款 AI 视频生成工具 DreamMachine,它由知名 AI 科技公司 Luma AI 推出,可以将图像转为动态视频,而且尤其擅长实现两张不同的图像间的流畅转换,很适合用来制作创意转场。

大家好,我是花生~

之前为大家介绍过一款 AI 视频生成工具 DreamMachine,它由知名 AI 科技公司 Luma AI 推出,可以将图像转为动态视频,而且尤其擅长实现两张不同的图像间的流畅转换,很适合用来制作创意转场。

就在昨天,Luma AI 宣布推出全新版本的 DreamMachine,它不再是一个单纯的视频生成工具,而成了一个集图像/视频生成、编辑为一体的 AI 创作工具,给用户带来了一种新的创作方式和体验。新版 DreamMachine 在交互方式上也有全面升级,整体使用体验非常丝滑,下面就一起来看看吧~

官网直达: https://dream-machine.lumalabs.ai/

新版 Dream Machine 在网站风格和功能排布上有很大变化。第一次使用的时候,官网弹出了一个窗口列举了它的 7 大新功能,分别是:

Boards:情绪板/故事板,这是 Dream Machine 的基础创作单位。你的想法可以在一个 Board 中无限延展,生成各种图片和视频,知道得到满意的结果;Creactive Intelligence:AI 生成功能,包括新的 DM1.6 视频生成模型和 Luma Photon 图像生成模型;Modify:支持通过自然语言对图像/视频内容进行编辑;Reference:通过垫图保持图像风格/角色特征一致性;Keyframe:支持首位帧控制视频生成;Share & Remix:将包含创作过程的 Board 分享给他人;Brainstorm & Creative Query:系统会基于你的想法,延展出多个不同的建议,帮助你进行头脑风暴。

这个 7 个功能并不是独立存在的,而是分布在图像/视频生成的不同阶段,帮助用户更好地生成创意和想法。如上所说,Dream Machine 的基础创作单位是 Board,所以我们进入网站后首先需要新建一个 Board,然后再进行后续的生成操作。

Dream Machine 使用方式和 Midjourney 官网有些相似。它将图像生成、视频生成、风格参考、角色一致性控制等功能都放在一个底部输入框内进行。

如果想生成图像,就直接在文本框内描述用英语描述你想要的内容,自然语言就行,无需遵循什么语法和规则;如果想生成视频,就在提示词前加上 make a video of,发送后就会生成视频。图像/视频的默认画幅比是 16:9;点击底部右侧的圆形调节按钮可以修改画幅。

图像和视频的生成结果会以线性的方式排列,上下滑动鼠标可以查看所有生成历史。下面是文生图的界面截图,Dream Machine 的图像生成质量还是不错的,不过美学风格和多样性还是比 Midjourney v6.1 差了一些。

可以看到我们的提示词被多个椭圆形线框分割开来了,点击这些线框,下面会弹出一系列同类型的关键词;选择其中任意一个,系统会根据新的关键词重新生成一组图像。生成结果会平行排列,用鼠标点击可以切换查看,这样我们就能很方便地探索不同的图像内容和风格。

将鼠标悬浮在单张图像之上,可以在右下角看到一串小图标,它们分别代表不同的功能:Modify 修改、Make Video 转视频、Reference 将图像做为参考、More like this 生成相似变体和 Download 下载。

这里着重说一下 Modify 图像修改功能。选择此功能后,图像会自动加载到底部的文本框内,我们只需再描述需要的修改,比如 “让这个女人带上一串珍珠项链”,或者“将其转为动漫风格”,图像就会发生对应的变化。新图像的内容构图会与原图有所不同,因此它不是局部重绘、也没有 controlnet 的硬控制属性,而是一种基于自然语言的图像修改功能。

点击图像组左上角的 「Brainstorm」按钮,可以查看系统给出的灵感建议,比如让图像风格更梦幻、生成不同艺术特色的动漫风格等。所有建议都自带提示词和效果图预览,点击就能自动复制使用。

三、视频生成

如果一开始生成的就是视频,也可以进行 show more 再次生成、Brainstorm 生成建议、Modify 视频修改、Extend 视频延长等操作。而且新的 DM1.6 模型在视频生成质量上的确比之前好了很多,画质更加清晰,动态也很自然。

如果是图像转视频,点击 make video 后,可以拖动将图像设置为首帧或者尾帧,然后直接用自然语言描述你想要的画面动态和镜头运动,比如填写 “zoom out”,系统会自动弹出对应的镜头运动选项 pull out,选择它再发送生成就可以了。但我感觉这种方式对新手来说并不是很友好,毕竟不是所有人都知道专业的镜头描述用语,不如直接将所有可选镜头都罗列出来。

Dream Machine 支持上传本地图像进行编辑,点击底部文本框左侧的「图像小图标」上传,然后在右上角设置图像的应用类型,包括 KeyFrames 视频首尾帧、Modify 图像修改和 Reference 图像参考。

其中 Reference 可分为风格参考和角色参考两种。如果想参考风格,就先在文本框内输入@ 然后选择 style,然后描述新的画面内容,比如 “a cute cat”,就能借鉴图像的风格,不过从测试结果来看效果并不是很好。

如果想要创造一致的人物角色,就先上传一张角色的正面肖像照,然后输入 @ 并选择 character,再描述想要场景。Dream Machine 在保持人物一致性的效果还不错,就是人物表情会有些僵硬,希望之后能更做进一步的优化。

当生成了一系列图像、视频后,再回到网站主页,就能看到系统自动将我们开始新建的 Board 进行了命名,并配上了最新生成图像做为预览图方便识别,整体界面看起来非常规整有秩序。进入 Board 后,点击右上角的 Share 按钮,可以将此画板的内容全部分享给他人,这样别人能清晰了解图像的创作思路与过程,还可以通过 reply 按钮发布评论。

点击网站左侧的第二个小图标可以进入图库,我们生成的所有图像、视频都会在这里展示。Dream Machine 的会员最低 10 美元/月,新用户有免费试用额度,感兴趣的小伙伴可以试玩一下。

那么以上就是对新版 Dream Machine 功能用法的介绍,此次更新的亮点有:新增了图像生成和多种图像编辑功能,让原本的单一的生态更加完整,方便用户一站式完成各种创意工作;新的交互界面也非常有意思,值得一试。

当然目前也有一些明显的不足,比如风格参考的效果并不好;用自然语言控制镜头运动的方式对新手来说不够友好;以及没有生成中止选项,不小心点到生成按钮后就无法撤回,感觉积分白白浪费,希望官方在这些官方可以尽快做出优化。

来源:梦想精通设计

相关推荐