推理加速3倍!开普云优化TeaCache助力文生视频技术飞跃

发布时间:2025-03-31 来源:开普云

图1 优化前(TeaCache)

图2 优化后(同等算力条件下,优化后视频画质更高,生成时间大幅降低)

开普云近期推出一项全新的视频生成优化技术——“基于非线性局部拟合与动态缓存策略的改进方法”,在同等算力条件下,将视频生成速度提升至原来的3倍,同时保证画面质量不受影响。这项技术可广泛应用于短视频、影视制作、广告创意等领域,是内容生产效能方面的重要突破!开普云已将这项技术用于优化Wan2.1 等前沿模型的性能,并获得了GitHub开源社区的广泛认可。

传统模型算法的瓶颈

在文生视频(Text-to-Video)技术快速发展的今天,模型的推理速度往往成为推广应用的瓶颈。然而,当前主流的扩散模型在生成视频时,需要经过多个复杂的去噪步骤,每一步都需要大量计算资源,导致生成速度慢、成本高。

算资源,导致生成速度慢、成本高。

 

图3 Wan2.1推理流程

主流扩散模型(如Wan2.1)通过多步去噪生成视频(图3)。在生成过程中,每个时间步的计算量大致相同,但实际上很多时间步对最终结果影响甚微。如果能智能地跳过低影响时间步,就可以减少不必要的计算,从而大幅提高推理速度。

图4 TeaCache与Uniform Cache对比

此前,TeaCache提出了一种基于线性拟合的缓存策略,通过预测相邻时间步的输出差异,判断是否跳过某些计算(图4),从而加快视频生成速度。然而,这种方法存在以下问题:

线性拟合误差较大:在不同时间步的变化趋势并不完全符合线性关系(如图5),导致缓存策略不够精准。

误差累积影响生成质量:错误的缓存决策会导致最终生成的视频质量下降。

图5 Timestep Embedding差异 、Modulated Input差异和输出差异间的变化趋势

创新突破:图像生成速度提升3倍

针对TeaCache算法存在的问题,开普云提出了非线性拟合+动态缓存控制的方法,其核心改进点在于,在不同时间步使用不同的拟合函数,减少误差。同时自适应调整缓存阈值,确保推理质量。

从实际测试数据来看,优化效果十分显著。原本 Wan2.1 在文生视频推理的时间为 1829s,经过 TeaCache 优化后降至 909s,而开普云的方法进一步优化至 578s;在图生视频方面,Wan2.1 的推理时间为 903s,TeaCache 优化后为 363s,开普云的优化方法则将推理时间进一步压缩至340s。

开普云的优化算法大幅减少计算时间,将视频生成速度提升至原来的3倍,同时保证画面质量不受影响。测试数据显示,用户可以在更短的时间内获得高质量的视频内容。

图6 文生视频-14B(wan生成的黄猫,手套是红色)

优化前:teacahe的红色手套颜色不稳定

优化后:手套保持红色

图7 文生视频-1.3B

同等效果下,开普云算法速度更快

图8 图生视频-720p(wan生成的宇航员,手没有碰到蛋黄)
优化前:tecache碰到了
优化后:与wan保持一致

图9 图生视频-480p

优化前:teacache生成的视频中宇航员面罩上反光异常

优化后:与wan保持一致

表1 推理时间对比

模式

是否优化

Wan2.1

慢版本

快版本

文生视频-

14B

1829 s

1234 s

909 s

1829 s

915 s

578 s

文生视频-1.3B

97 s

64 s

49 s

97 s

61 s

41 s

图生视频-

720p

903 s

467 s

363 s

903 s

430 s

340 s

图生视频-

480p

385 s

241 s

156 s

385 s

212 s

164 s

以上数据均从单张H100测试得来。

 

开源贡献:推动技术共享进步

作为AGI时代全栈AI产品服务提供商,开普云积极投入开源贡献,公布了相关PR链接,不断推动技术的进步与共享。本次开普云不仅提供优化版的 TeaCache 技术并将其应用于 Wan2.1 模型,显著提升了模型性能,还将TeaCache 技术集成到 CogVideoX-1.5 和 Cosmos 模型中,进一步扩展了其应用范围,助力降低短视频制作、影视特效、广告创意等领域的制作成本。

 

TeaCache4Wan2.1(优化版):https://github.com/ali-vilab/TeaCache/tree/main/TeaCache4Wan2.1

TeaCache4Cosmos:https://github.com/ali-vilab/TeaCache/tree/main/TeaCache4Cosmos

TeaCache4CogVideoX1.5:https://github.com/ali-vilab/TeaCache/tree/main/TeaCache4CogVideoX1.5

 

在此,感谢 TeaCache 原作者对开普云工作的认可,感谢他们在相关项目中给予的支持与致谢!开普云未来还将积极参与知识共享,助力加速技术迭代,为模型算法升级和人工智能技术进步贡献更多力量。

 

返回列表页

    热门推荐

      X