首页 / ai资讯

智谱AI宣布开源「清影」同源视频生成模型

发布时间:2024-08-06 11:35:58

智谱AI宣布将其视频生成模型CogVideoX开源,旨在推动视频生成技术的快速发展和应用。CogVideoX模型基于先进的大型模型技术,能够满足商业级应用的需求。目前开源的CogVideoX-2B版本在FP-16精度下的推理仅需18GB显存,微调则需要40GB显存,使得单张4090显卡即可进行推理,而单张A6000显卡即可完成微调。

CogVideoX模型采用了3D变分自编码器(3D VAE)技术,通过三维卷积同时压缩视频的空间和时间维度,实现了更高的压缩率和更好的重建质量。模型结构包括编码器、解码器和潜在空间正则化器,通过时间因果卷积确保了信息的因果性。此外,使用专家Transformer技术处理编码后的视频数据,结合文本输入生成高质量的视频内容。

为了训练CogVideoX模型,智谱AI开发了一套筛选高质量视频数据的方法,排除了过度编辑、运动不连贯等问题视频,确保了模型训练的数据质量。同时,通过从图像字幕生成视频字幕的管道,解决了视频数据缺乏文本描述的问题。

在性能评估方面,CogVideoX在多个指标上表现优异,包括人类动作、场景、动态程度等,以及专注于视频动态特性的评估工具。智谱AI将继续探索视频生成领域的创新,包括新型模型架构、视频信息压缩和文本视频内容融合等方面。


免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。

如有疑问请发送邮件至:bangqikeconnect@gmail.com