vLLM blogu (14 Ekim 2026), spekülatif çözümlemede Adaptive Verification (AV) için confidence head’i olmayan draft modellerde çevrimiçi uydurulmuş kabul tahmincisini duyurdu. AV, düşük kabul olasılıklı draft token’ları target forward’ından önce keserek büyük batch’lerde hesap tasarrufu sağlar; daha önce çoğunlukla DSpark confidence head ile sınırlıydı.
Tahminci ve kullanım
Draft dağılımından türetilen logit(q_max) özelliği ve paylaşılan eğim + konum başına kesişim ile lojistik regresyon, target’ın accept/reject etiketlerinden IRLS ile çevrimiçi refit edilir. EAGLE, MTP, DFlash ve bazı DSpark checkpoint’leri AV’ye “ücretsiz” kavuşur. PR #52228; enable_adaptive_verification speculative config’de açılır. Kıyaslarda MiMo-V2.5-Pro+DFlash, Inkling+MTP, Muse-Glimmer+DFlash2 gibi head’siz çiftlerde throughput kazancı; DSV4-Flash+DSpark’ta estimator’ın eğitilmiş head ile kabaca denk olduğu belirtiliyor. Target attention backend’inin değişken uzunluklu doğrulamayı desteklemesi gerekir; MTP/EAGLE’da draft maliyeti nedeniyle kazanç DFlash/DSpark kadar yüksek olmayabilir.
Kaynak: vLLM: Adaptive Verification Without a Confidence Head
Henüz yorum yok. İlk yorumu siz yapın!