LangChain, 13 Ekim 2026’da uzun süreli ajanlarda bağlam yönetimini hızlandırmak ve ucuzlatmak için ScaleDown constrained decoding modelleriyle langchain-scaledown entegrasyonunu ve LangSmith LLM Gateway desteğini duyurdu. Frontier LLM ile yapılan özetleme / sıkıştırma / çıkarım adımlarının yavaş ve pahalı olduğu; ScaleDown’un bu dar görevler için eğitilmiş modellerinin şirketin ölçümüne göre 200 kata varan hız ve 467 kata varan maliyet avantajı iddia ettiği belirtiliyor.
Modeller ve middleware
ScaleDown dört model sunuyor: Summarize, Compress, Extract ve Classify — her biri en fazla 1M token girdi; Extract/Summarize/Classify çoklu modal (görüntü, taranmış PDF). Entegrasyon üç hazır middleware getiriyor: ScaledownSummarizationMiddleware (eski geçmişi özetler), ScaledownToolCompressionMiddleware (araç çıktısını compression_query ile kırpar; örnekte ~yüzde 90 küçültme), ScaledownExtractionMiddleware (kullanıcı mesajlarından alan çıkarır, Classify ile etiketler). Örneklerde ajan modeli olarak gpt-6-sol / gpt-6-luna kullanılıyor; ScaleDown yalnızca bağlam işini üstleniyor.
Gateway ve sınırlar
LangSmith LLM Gateway /scaledown yolunda doğrudan sağlayıcı olarak ScaleDown’u ekliyor; çağrılar izleniyor ve harcama / kota limitlerine sayılıyor. Yazı, açık uçlu kod yazma ve planlama için genel amaçlı LLM’nin tutulmasını; ScaleDown’un her turda yapılandırılmış kararlar için kullanılmasını öneriyor.
Kaynak: LangChain: Building long-running agents with ScaleDown
Henüz yorum yok. İlk yorumu siz yapın!