网站建设与管理课程设计,教育一对一直播网站建设,天元建设集团有限公司招聘信息,用dw做网站怎么给链接今日#xff0c;智谱技术团队发布了其最新的视频生成模型 CogVideoX v1.5#xff0c;并将其开源。这一版本是自8月以来#xff0c;智谱技术团队推出的 CogVideoX 系列中的又一重要进展。 据了解#xff0c;此次更新大幅提升了视频生成能力#xff0c;包括支持5秒和10秒的视…今日智谱技术团队发布了其最新的视频生成模型 CogVideoX v1.5并将其开源。这一版本是自8月以来智谱技术团队推出的 CogVideoX 系列中的又一重要进展。 据了解此次更新大幅提升了视频生成能力包括支持5秒和10秒的视频长度、768P 的分辨率以及16帧的生成能力。同时I2V图像到视频模型也支持任意尺寸比例进一步增强了复杂语义的理解能力。
CogVideoX v1.5包含两个主要模型:CogVideoX v1.5-5B 和 CogVideoX v1.5-5B-I2V旨在为开发者提供更强大的视频生成工具。
更值得关注的是CogVideoX v1.5将同步上线至清影平台并与新推出的 CogSound 音效模型结合成为 “新清影”。新清影将提供多项特色服务包括视频质量的显著提升、美学表现和运动合理性支持生成10秒、4K、60帧的超高清视频。 官方介绍如下:
质量提升:在图生视频的质量、美学表现、运动合理性以及复杂提示词语义理解方面能力显著增强。
超高清分辨率:支持生成10s、4K、60帧超高清视频。
可变比例:支持任意比例从而适应不同的播放场景。
多通道输出:同一指令/图片可以一次性生成4个视频。
带声效的 AI 视频:新清影可以生成与画面匹配的音效。
在数据处理方面CogVideoX 团队专注于提升数据质量开发了自动化筛选框架以过滤不良视频数据并推出了端到端的视频理解模型 CogVLM2-caption以生成精准的内容描述。这一模型能够有效处理复杂的指令确保生成的视频与用户需求相符。
为了提升内容连贯性CogVideoX 采用了高效的三维变分自编码器3D VAE技术显著降低了训练成本与难度。此外团队还研发了融合文本、时间和空间三维度的 Transformer 架构通过去除传统的跨注意力模块增强了文本和视频的交互效果提升了视频生成的质量。
未来智谱技术团队将继续扩大数据量和模型规模探索更高效的模型架构以实现更优质的视频生成体验。CogVideoX v1.5的开源不仅为开发者提供了强大的工具也为视频创作领域注入了新的活力。
代码:https://github.com/thudm/cogvideo
模型:https://huggingface.co/THUDM/CogVideoX1.5-5B-SAT
追评
又开源一个我显卡跑不动的模型这是硬让我们开发llama.cpp的支持吗用 Apple M4
