原创 破狼 破狼 2024-02-04 00:16 四川

阿里Motionshop：一键AI自动替换视频东谈主物Motionshop简介

阿里通义履行室发布了用3D脚色替换视频中东谈主物脚色的框架Motionshop，旨在兑现AI自动识别视频中的绽开主体东谈主物，并一键替换成兴味兴味的3D脚色模子，生成不落俗套的AI视频。

Motionshop框架由两部分构成：

· 视频贬责进程，用于索求建筑后的配景视频序列。

· 姿态评估和渲染进程，用于生成头像视频序列。通过并行化两个进程，以及使用高性能的色泽追踪渲染器TIDE期间，兑现了悉数这个词过程在几分钟内就能完成。

图片

常州市中加佛威世商贸有限公司 63， 兰溪新力五金工具有限公司 63);box-sizing: border-box ;word-wrap: break-word ;">Motionshop包括以下阶段：

· Character Detection: 通过将文本信息与现存的闭集检测器精细交融， 首页-达茂艾皮具有限公司基于Transformer框架，兑现零样本指标检测。

· Segmentation & Tracking: 在检测到指标后，使用一种视频对象分割追踪门径来追踪像素级的指标区域，该门径由平素使用的零样天职割门径SAM启动化和优化。与径直使用SAM比拟，时序对应性能赢得了进步，以更好地贬责视频分割任务。

· Inpainting: 对图像区域进行视频建筑。具体，建筑装潢设计使用一种轮回流完成门径来归附损坏的进程，使用双域传播门径在图像域和特征域上增强全局和局部的时序一致性，同期，使用一种阑珊战术，只筹议一部分token，提高效能，缩小内存浪费，同期保执性能。

· Pose Estimation: 对脚色视频序列期骗CVFFS门径来估算隆重的东谈主体姿态。使用SMPL东谈主体模子来默示3D东谈主体，这是一种平素使用的参数化模子，用于东谈主体模式和姿态忖度。

· Animation Retargeting: 将评估的模式和姿态再行映射到遴荐的3D模子上。然后，将这个模子像原始视频中的脚色不异当然畅通地播放。

· Light Estimation: 在新的3D模子替换脚色时，需要与原始视频的光照条目保执一致。Motionshop期骗光照评估来更好地将新的3D模子和原始场景交融。

· Rendering: 使用一种旅途追踪渲染引擎TIDE来渲染新的3D模子。与精准系统相衔尾，辅以motion blur， temporal anti-aliasing， temporal denoising等算法。

· Composing: 临了，将渲染的图像与原始视频合成，生成最终的视频。

用户不错在modelscope体验。

· 体验地址：https://modelscope.cn/studios/Damo_XR_Lab/motionshop/summary

· 技俩主页：https://aigc3d.github.io/motionshop/

· 1：上传一个包含齐全东谈主物的视频。

· 2：遴荐视频中要替换的东谈主物。

· 3：遴荐要替换的臆造脚色模子并点击生成，简略恭候10分钟即可生成放弃。

图片

输出视频后果：视频中东谈主物被替换为可人3D猪猪的形象建筑装潢设计

• 建筑装潢设计
• 一部分
• 筹议
• token