İçeriğe geç
CANLI Dün ChatGPT Space, Plus kullanıcılarına açıldı Dün Tencent Hy4 açık ağırlıkları yayımlandı Dün browser-use 1.0: 24 araç yerine tek Python aracı Dün METR zaman ufku raporu: Yetenek 3,6 ayda ikiye katlanıyor Dün MiniMax kriptanaliz iddiası: Şifre adaylarında açık Zekâ endeksi lideri Claude Fable 5.2 (Max, Default Fallback) · 64,6 22.11.2026
Bülten

arXiv 2610.08775 cs.AI

Şişedeki Cin: LLM Ajanları Yeteneklerini Ucuz, Ölçeklenebilir Ürünlere Dönüştürebilir mi?

Özgün başlık Agent in a Bottle: Can LLM Agents Turn Their Capabilities Into Cheap, Scalable Artifacts?

  • Ankit Sonthalia
  • Haritz Puerto
  • Alexander Rubinstein
  • Martin Gubri
  • Seong Joon Oh
ai/muhabir · özet metinden derlendi

Büyük dil modelleri (BDM'ler) birçok dar kapsamlı görevi çözebilir, ancak milyonlarca ilgili örnek için bunlara ayrı ayrı sorgu göndermek aşırı pahalı olabilir. LLM temsilcileri bu tür iş yükleri için daha ucuz çözümler bağımsız olarak oluşturabilir mi? Bu yeteneğe "şişeleme" diyoruz: Genel yetenekleri, yanıt kalitesi ile amortismanlı maliyeti dengeleyen göreve özgü çözümlere dönüştürme yeteneği.

Bu kısa özet, sayfanın kendi metninin ilk cümlelerinden otomatik derlendi; “Yeniden yaz” aynı özeti baştan yazar.

02 Özet

Büyük dil modelleri (BDM'ler) birçok dar kapsamlı görevi çözebilir, ancak milyonlarca ilgili örnek için bunlara ayrı ayrı sorgu göndermek aşırı pahalı olabilir. LLM temsilcileri bu tür iş yükleri için daha ucuz çözümler bağımsız olarak oluşturabilir mi? Bu yeteneğe "şişeleme" diyoruz: Genel yetenekleri, yanıt kalitesi ile amortismanlı maliyeti dengeleyen göreve özgü çözümlere dönüştürme yeteneği. Temsilcilerin etiketlenmemiş bir iş yükünün tamamını aldığı ve bunu sabit zaman, hesaplama ve LLM API bütçeleri kapsamında tamamlaması gereken bir kıyaslama olan BOTTLED'i tanıtıyoruz. Temsilciler, küçük bir modeli eğitmek veya yeniden kullanılabilir bir program yazmak gibi kendi yaklaşımlarını seçerler. On model ve üç görevde, güçlü sıfır atışlı görev performansının güvenilir bir şekilde güçlü şişeleme yeteneklerine dönüşmediğini görüyoruz. Benzer sıfır atış puanlarına sahip modeller, şişelemeden sonra önemli ölçüde farklılık gösterebilir ve 60 şişeleme çalışmasından 48'i, modellerinin sıfır atış performansının %95 güven aralığının alt sınırının altında puan almıştır. Ayrıca, 60 çalışmadan 31'i, aynı token bütçesine sahip iki küçük model damıtma temel çizgisinden daha güçlü olanından daha düşük performans göstermektedir. Bununla birlikte, şişeleme önemli tasarruflar sağlayabilir: Sorgu-ürün alaka düzeyi sınıflandırmasında Opus 5, yaklaşık 657 kat daha düşük bildirilen maliyetle sıfır atışlı makro-F1 puanının yaklaşık %82'sini korur. Bottling, özellikle ucuz, tekrarlayan çıkarımlar için geliştirilmiş bir "sistem bir" modeli olan Jev ile de rekabet halindedir: Opus 5, aynı görevde Jev'in makro-F1 puanının yaklaşık %94'ünü, Jev'in öngörülen tam iş yükü maliyetinin dörtte biriyle elde etmektedir. t. BOTTLED, temsilcilerin sınırlı kaynakları büyük ve tekrarlayan iş yükleri için yeniden kullanılabilir çözümlere yatırma becerilerini değerlendirmek ve geliştirmek için bir temel sağlar.

Bu çeviri otomatik (makine çevirisi) olarak hazırlandı; bilimsel alıntı için özgün özeti esas alın.

Large language models (LLMs) can solve many narrow tasks, but querying them separately for millions of related instances can be prohibitively expensive. Can LLM agents autonomously create cheaper solutions for such workloads? We call this ability "bottling": the ability to turn general capabilities into task-specific solutions that balance answer quality and amortised cost. We introduce BOTTLED, a benchmark in which agents receive an entire unlabelled workload and must complete it under fixed time, compute and LLM API budgets. Agents choose their own approach, such as training a small model or writing a reusable program. Across ten models and three tasks, we find that strong zero-shot task performance does not reliably translate into strong bottling capabilities. Models with similar zero-shot scores can differ substantially after bottling, and 48 of 60 bottling runs score below the lower bound of the 95% confidence interval of their model's zero-shot performance. Moreover, 31 of 60 runs underperform the stronger of two small-model distillation baselines with the same token budget. Nevertheless, bottling can yield substantial savings: on query-product relevance classification, Opus 5 retains about 82% of its zero-shot macro-F1 at roughly 657 times lower reported cost. Bottling is also competitive with Jev, a "system one" model built especially for cheap, repetitive inference: Opus 5 on the same task recovers about 94% of Jev's macro-F1 at a quarter of Jev's projected full-workload cost. BOTTLED provides a basis for evaluating and improving agents' ability to invest limited resources in reusable solutions for large, repetitive workloads.

03 PDF

Bu PDF başka bir sitede (arxiv.org) barındırılıyor ve sayfa içinde gösterilemiyor. Yukarıdaki düğmelerle yeni sekmede açabilir ya da indirebilirsiniz.

04 Kaynak göster

BibTeX
@article{sonthalia2026agent,
  title   = {Agent in a Bottle: Can LLM Agents Turn Their Capabilities Into Cheap, Scalable Artifacts?},
  author  = {Ankit Sonthalia and Haritz Puerto and Alexander Rubinstein and Martin Gubri and Seong Joon Oh},
  journal = {arXiv preprint arXiv:2610.08775},
  year    = {2026},
  url     = {https://arxiv.org/abs/2610.08775}
}
APA
Sonthalia, A., Puerto, H., Rubinstein, A., Gubri, M., & Oh, S. J. (2026). Şişedeki Cin: LLM Ajanları Yeteneklerini Ucuz, Ölçeklenebilir Ürünlere Dönüştürebilir mi?. arXiv. https://arxiv.org/abs/2610.08775
Paylaş
X LinkedIn WhatsApp Telegram Reddit Bluesky Threads E-posta

Yorumlar 0

Yorum yazın

Karakter: 0/1000

Henüz yorum yok. İlk yorumu siz yazın.