中科大、字节等即将放出一款端到端长视频生成模型，该模型基于其自研的MoGA，一个让AI高效生成长视频的全新注意力算法，降低了长视频生成的计算成本问题

能处理约580K的上下文

如果说以前只能生成动图或短片，MoGA可以让模型一口气生成一部包含多个不同场景切换的“小短片”，突破在于它的多镜头和叙事性

即插即用，能直接套FlashAttention、xFormers、DeepSpeed等现有加速库

项目地址：https://jiawn-creator.github.io/mixture-of-groups-attention/