Seyrek ve Eşleştirilmemiş Önbelleğe Alınmış Yanıtlarla Karşılaştırma Tahmini

Özetle: Mevcut tüm kıyaslama görevlerinden gelen tüm sorgularda üretken bir modelin değerlendirilmesi, aşırı derecede pahalıdır.

Özet

Mevcut tüm kıyaslama görevlerinden gelen tüm sorgularda üretken bir modelin değerlendirilmesi, aşırı derecede pahalıdır. Bu nedenle modeller genellikle farklı görev alt kümeleri ve/veya belirli bir görevdeki farklı sorgu alt kümeleri üzerinde değerlendirilir. Sonuçta ortaya çıkan yanıt koleksiyonu ve bunlara karşılık gelen (model, görev) puan matrisi seyrek ve eşlenmemiş. Bu yazıda, modellerin gömülü yanıtlarına dayalı düşük boyutlu temsillerinin bir koleksiyonu olan Ürün Çekirdeği Perspektif Uzayını (PKPS) tanıtıyoruz. PKPS, yalnızca aynı sorgular yerine benzer sorgulara verilen yanıtları karşılaştırarak kara kutu üretken modellerini temsil etmeye yönelik mevcut yöntemleri genelleştirir ve bu nedenle seyrek ve eşleştirilmemiş bilgileri kullanabilir. Teorik olarak, PKPS kullanarak kıyaslama tahmininin, değerlendirme verilerinin yalnızca yoğun ve eşleştirilmiş bölümlerinden gelen bilgileri kullanan yöntemlere göre sorgu açısından verimli olduğunu gösteriyoruz. Ampirik olarak, PKPS tabanlı yöntemlerin iki büyük kıyaslama paketinde kıyaslama tahmininde temel çizgilerden daha iyi performans gösterdiğini gösteriyoruz.

Orijinal Özet (İngilizce)

Evaluating a generative model on all queries from all available benchmark tasks is prohibitively expensive. As such, models are often evaluated on different subsets of tasks and/or different subsets of queries from a given task. The resulting collection of responses and the corresponding (model, task) score matrix are sparse and unpaired. In this paper, we introduce the Product Kernel Perspective Space (PKPS), a collection of low-dimensional representations of models based on their embedded responses. PKPS generalizes existing methods for representing black-box generative models by comparing responses to similar — rather than just identical — queries and is therefore able to utilize sparse and unpaired information. Theoretically, we show that benchmark prediction using PKPS is query-efficient relative to methods that only use information from dense and paired portions of the evaluation data. Empirically, we show that PKPS-based methods outperform baselines on benchmark prediction across two large benchmark suites.

Kaynak: arXiv:2611.03614 · PDF