Open-Sora实现全面开源升级:16秒单镜头视频生成与720p分辨率支持

资讯8个月前发布 万万
1,941 0 0

在开源社区的持续关注下,Open-Sora项目最近迎来了重大更新。此次升级不仅显著提升了视频生成能力,更在模型架构上实现了重要突破。现在,Open-Sora已经能够支持长达16秒的单镜头视频生成,并且视频分辨率最高可达720p。这一升级使得Open-Sora在处理各种宽高比的文本到图像、文本到视频、图像到视频、视频到视频以及无限长视频的生成需求时,展现出了前所未有的强大能力。

Open-Sora实现全面开源升级:16秒单镜头视频生成与720p分辨率支持

技术报告与模型架构深度解析

Open-Sora技术报告已正式在GitHub上发布,该报告详细阐述了此次升级中的新功能和模型架构。报告指出,作者团队对STDiT架构进行了关键性改进,显著提高了模型的训练稳定性和整体性能。其中,旋转位置编码(RoPE embedding)和QK归一化技术的引入,极大地增强了训练稳定性。同时,ST-DiT-2架构能够自动缩放位置编码,使得模型能够轻松处理不同大小尺寸的输入。

Open-Sora实现全面开源升级:16秒单镜头视频生成与720p分辨率支持

多阶段训练方法实现高质量视频生成

为实现高质量视频生成,Open-Sora采用了多阶段训练方法。在初始阶段,视频采用144p分辨率,同时混训图片和更高分辨率视频。随着训练的深入,第二阶段将分辨率提升至240p和480p,而第三阶段则进一步增强至480p和720p。这种分阶段引入数据的方式,使得模型能够逐步适应更高质量的视频生成任务。

Open-Sora实现全面开源升级:16秒单镜头视频生成与720p分辨率支持

统一的图生视频/视频生视频框架

Open-Sora基于Transformer的DiT架构,能够支持图像到图像及视频到视频任务。此外,项目还提出了掩码策略来支持图像和视频的条件化处理。通过引入随机掩码策略,Open-Sora能够以随机方式选择并取消掩码的帧,从而提高模型处理图像条件化的能力。

Open-Sora实现全面开源升级:16秒单镜头视频生成与720p分辨率支持

支持多时间/分辨率/长宽比/帧率训练

为了满足不同场景下的视频生成需求,Open-Sora支持多时间、分辨率、长宽比和帧率训练。通过分桶策略,模型能够使用原始视频的分辨率、长宽比和长度进行训练,从而增加了采样的灵活性。

Open-Sora实现全面开源升级:16秒单镜头视频生成与720p分辨率支持

数据收集与预处理流程详解

为了方便用户更好地使用Open-Sora,作者团队还提供了详尽的数据收集与处理指南。该指南详细介绍了自动化的数据处理流程,帮助用户轻松完成数据准备工作。

Open-Sora实现全面开源升级:16秒单镜头视频生成与720p分辨率支持

性能全方位评测与展望

经过测试,Open-Sora已经能够将文字描述转化为动人的动态视频,支持多种内容、分辨率、长宽比和时长的生成。然而,项目团队也指出,当前生成的视频在噪声问题、时间一致性、人物生成质量以及美学评分方面仍有待改进。未来,作者团队将在下一版本中优先解决这些挑战,进一步提升Open-Sora的性能和稳定性。

Open-Sora实现全面开源升级:16秒单镜头视频生成与720p分辨率支持

项目体验与探索

想要亲身体验Open-Sora的强大功能吗?欢迎访问项目地址:https://top.aibase.com/tool/open-sora,

以及体验地址:https://huggingface.co/spaces/hpcai-tech/open-sora。

资讯、工具、教程、IT服务!

扫描以下二维码加群

告诉管理员您遇到的问题

我们会第一时间为您挑选优质教程和帮您解决问题

Open-Sora实现全面开源升级:16秒单镜头视频生成与720p分辨率支持
© 版权声明

相关文章

分享