寻光是阿里达摩院以视觉AIGC为核心功能,用PPT制作的方式创作视频的创作平台,它在2024年世界人工智能大会(WAIC 2024)上首次亮相。寻光通过先进的人工智能技术彻底变革视频制作流程,提供从剧本创作到视频编辑的全流程辅助。寻光特别强调了AI在视频创作中的全面应用,包括但不限于辅助用户生成剧本、设计分镜图、控制人物动作、调整场景、以及进行复杂的视频编辑任务。
寻光核心功能与特点
故事板生成:从剧本到分镜,AI辅助导演创作,画面生动再现。无需依赖想象,AI帮助生成逼真的分镜图。
角色库管理:AI生成并管理角色库,根据用户需求定制一致性的角色。在创作过程中,角色形象和场景画面统一协调。
视觉素材创作:利用AI进行运镜控制和运动编辑,制作个人大片。多模态生成技术支持,生成高质量视觉素材。
视频内容编辑:丰富的AI编辑功能,包括目标新增、消除和修改。提供风格变换、超分辨率和帧率控制,提升视频质量。
图层功能:图层拆解和融合功能,灵活处理视频中的各类元素。用户可以自由编辑视频中的前景、背景等部分,实现精细化编辑
剧本与分镜创作:AI辅助用户创作剧本和分镜图,使得从文字到视觉的转换更加直接,减少了创作者的想象到实现的障碍。
角色与场景控制:用户可以定制角色,甚至让AI为故事创造专属演员。场景编辑方面,支持精细到运镜控制,如推进拉远、左右环绕等,以及风格迁移,提供多样化的视觉风格选择。
精细化编辑:寻光平台允许用户在语义层面上进行编辑,而非像素层面,这意味着用户可以基于意图修改视频内容,如修改人物动作、消除或新增目标对象。它还支持视频图层编辑,能精确提取并编辑前景、背景等元素,即便是复杂的细节如飘动的头发也能精准处理。
多模态生成:平台支持通过文本描述生成视频素材,用户可以调用不同的多模态生成模型来创造新的视频内容,极大丰富了创作的可能性。
寻光适用人群
视频创作者:包括专业团队和个人创作者。
内容创作者和营销人员:新媒体工作者、营销人员。
教育和培训:在线教育、企业培训师。
影视制作和娱乐行业:电影和电视剧制作团队、游戏开发者和动画师、广告公司和品牌机构
目前,寻光处于内测阶段,对公众开放申请,感兴趣的创作者可以通过官方网站提交申请以体验这一创新工具。
寻光AI视频创作平台通过集成化的功能、AI辅助的创作、专属的角色定制、多样化的编辑能力、图层编辑功能、分镜头管理和智能编辑等功能,为视频创作者提供了高效、便捷、创新的视频创作解决方案。
达摩院-视觉技术实验室,致力于多模态视觉信号的理解与生成技术的研究,当前的重点研究方向包括更加精准的图像/视频/3D内容生成,更加可控的图像/视频/3D内容编辑,更加高效的生成框架,多模态的检索增强生成,统一的多模态理解-生成框架等。团队坚持技术深度和产业落地并重,支持阿里巴巴集团内外多项业务,在电商、遥感、安防、新零售等多个领域有成功落地。
团队成员皆毕业于国内外知名高校,且获得过斯坦福大学全球top2%顶尖科学家,清华大学AMiner AI Top2000等荣誉。过去三年团队取得计算机视觉国际竞赛冠军20余项,发表计算机视觉/机器学习顶会100余篇,并曾获CVPR 2022 Best Student Paper,2022年中国测绘学会测绘科学技术一等奖等奖项。