Ayrıştırılmış Zamansal Derinlik Yayılım Transformatörleri ile Bellek Verimli Ses Sentezi

Özetle: Siri Expressive Voices, Apple'ın en güçlü cihaz içi temel modeli olan AFM 3 Core Advanced tarafından desteklenen zengin, yapılandırılabilir konuşmayı gerçek zamanlı olarak ve tamamen cihaz üzerinde sentezler.

Özet

Siri Expressive Voices, Apple'ın en güçlü cihaz içi temel modeli olan AFM 3 Core Advanced tarafından desteklenen zengin, yapılandırılabilir konuşmayı gerçek zamanlı olarak ve tamamen cihaz üzerinde sentezler. Bu çalışma, bu yeteneğin arkasındaki bellek açısından verimli ses sentezi mimarisini sunuyor: temel model tarafından yayılan anlamsal ses belirteçlerini, Ölçeklenebilir Matris Uzantısının (SME) sıkı bilgi işlem ve bellek bütçesi dahilinde yüksek kaliteli sese dönüştüren bir token ayırıcı. Semantik ses belirteçlerini, zamansal ve derinlik işlemeyi sistematik olarak ayıran üç bileşenli bir tasarıma, bir akış kodlayıcıya, bir zamansal kod çözücüye ve bir derinlik kod çözücüye sahip bir artık vektör niceleme (RVQ) temsiline dönüştürüyoruz. Difüzyon Transformatörü (DiT) tarzı aşama koşullandırmaya sahip tek bir yeniden kullanılabilir derinlik kod çözücü, önceki çoklu kod çözücü mimarilerinin seviye başına atanmış kod çözücülerinin yerini alarak tüm RVQ seviyelerini otomatik olarak oluşturur ve sabit pencere anahtar/değer önbelleğe alma ile nedensel kayan pencere dikkati, dizi uzunluğundan bağımsız olarak sabit bellek karmaşıklığı sağlar. AMX üzerinde konuşlandırılan token ayırıcı, yalnızca 21 MB ve 329 MB cihaz üstü varlık çalışma zamanı belleği ile gerçek zamandan yaklaşık 16 kat daha hızlı, nesil adım başına yaklaşık 10 ms'yi sürdürür ve 20-320 saniyelik sesin sürekli akış sentezini sağlar. Bu sabit, küçük ayak izi, geleneksel transformatör ve GAN tabanlı yaklaşımların doğrusal ve karesel bellek ölçeklendirmesinin yerini alır. Ablasyon çalışmaları temel mimari bileşenleri doğruluyor ve ses kalitesi değerlendirmesi, mimarinin mevcut yöntemlere göre verimlilik kazanımları elde ederken sentez doğruluğunu koruduğunu doğruluyor. AFM 3 Core Advanced içerisinde 1 milyar parametrelik bir etkinleştirme boyutunda çalışarak, önceki cihazdaki metinden konuşmaya sistemine kıyasla Ortalama Görüş Puanını genel olarak +0,28 (4,15'e karşı 3,87) ve konuşma konuşmasında +0,42 (4,24'e karşı 3,82) artırır.

Orijinal Özet (İngilizce)

Siri Expressive Voices synthesize rich, configurable speech in real time and entirely on device, powered by AFM 3 Core Advanced, Apple's most powerful on-device foundation model. This work presents the memory-efficient audio synthesis architecture behind that capability: a detokenizer that converts the semantic audio tokens emitted by the foundation model into high-fidelity audio within the tight compute and memory budget of the Scalable Matrix Extension (SME). We convert semantic audio tokens to a residual vector quantization (RVQ) representation with a three-component design, a streaming encoder, a temporal decoder, and a depth decoder, that systematically decouples temporal and depth processing. A single reusable depth decoder with Diffusion Transformer (DiT)-style stage conditioning generates all RVQ levels autoregressively, replacing the dedicated per-level decoders of prior multi-decoder architectures, while causal sliding window attention with fixed-window key-value caching yields constant memory complexity independent of sequence length. Deployed on the AMX, the detokenizer sustains roughly 10 ms per generation step, about 16x faster than real time, with a peak runtime memory of only 21 MB and 329 MB of on-device assets, enabling continuous streaming synthesis of 20-320 seconds of audio. This constant, small footprint replaces the linear and quadratic memory scaling of conventional transformer- and GAN-based approaches. Ablation studies validate the key architectural components, and audio quality assessment confirms that the architecture maintains synthesis fidelity while achieving efficiency gains over existing methods. Operating at a 1-billion-parameter activation size within AFM 3 Core Advanced, it improves Mean Opinion Score by +0.28 overall (4.15 vs. 3.87) and by +0.42 on conversational speech (4.24 vs. 3.82) over the prior on-device text-to-speech system.

Kaynak: arXiv:2607.23811 · PDF