IT 之家 4 月 2 日音问，好意思团昨天发布 LongCat-AudioDiT 音频生成模子，透顶毁灭梅尔谱等中间暗示，奏凯在波形潜空间进行基于扩散模子的文本转语音（TTS），堪称"温顺零样本 TTS 音色克隆上限"。

据先容，米兰体育app官网业界主流 TTS 引擎长久受困于"多阶段"的复杂经由：先有计划中间声学特征（如梅尔频谱），再依赖一个沉静的神经声码器将特征"翻译"成最终波形。这种经由本体上是在两个不同空间里"寄语"，势必会积聚弊端，投注pp导致最终合成的声息丢失了高保真、个性化的细节。

而 LongCat-AudioDiT 的中枢架构逻辑很是浅显，只用一个波形变分自编码器（Wav-VAE）和一个扩散 Transformer（DiT），在波形隐空间里完成声息的压缩、建模与重建。领有高效的下采样与多表率建模、非参数捷径清爽考试以及抗拒式多标的考试等多维度窜改。

同期，该模子的主干汇注基于 Transformer，集玉成局自得当层归一化（Global AdaLN）、QK-Norm + RoPE 清爽在意力考试等多项结构优化。还草率通过双重抑止机制设备流匹配 TTS 的"考试 - 推理"不匹配问题。

性能方面，该模子的 3.5B 版块在 Seed-ZH 测试集的言语东说念主相通度（SIM）洽商擢升至 0.818，Seed-Hard 测试集达到 0.797，朝上了 Seed-TTS、CosyVoice3.5、MiniMax-Speech 等驰名模子。

现在该模子也曾开源真钱投注app官网。

• 好意思
• 模子
• 音频
• 真钱投注app官网
• 团新