Giriş
İnsan geri bildiriminden pekiştirmeli öğrenme (RLHF), büyük dil modellerini (LLM’ler) insan tercihleriyle uyumlu hale getirmek için ana paradigma olarak ortaya çıkmıştır. Tipik olarak, RLHF, genellikle önceden eğitilmiş bir LLM tarafından üretilen metin nesilleri çiftleri arasındaki tercihler olarak ifade edilen, insan geri bildiriminden bir ödül modeli öğrenmenin ilk adımını içerir. Daha sonra, LLM’nin politikası, bir pekiştirmeli öğrenme algoritması aracılığıyla ödül modelini en üst düzeye çıkarmak için optimize edilerek ince ayarlanır. Bununla birlikte, mevcut ödül modellerinin doğal bir sınırlaması, insan tercihlerinin zenginliğini ve örnekleme dağılımına bağımlılıklarını tam olarak temsil edememeleridir.
Araştırma Detayları
Bu çalışmada, ikili insan geri bildirimi kullanarak LLM’lerin ince ayarı için alternatif bir boru hattı sunuyoruz. Yaklaşımımız, bir istem verildiğinde iki girdiye bağlı olan bir tercih modelinin ilk öğrenilmesini ve ardından herhangi bir rakip politika tarafından üretilenlere göre tercih edilen yanıtları tutarlı bir şekilde üreten ve böylece bu tercih modelinin Nash dengesini tanımlayan bir politikanın izlenmesini gerektirir. Bu yaklaşımı Nash’in insan geri bildirimlerinden (NLHF) öğrenmesi olarak adlandırıyoruz. Tablo şeklinde bir politika temsili bağlamında, ayna iniş ilkeleri üzerine kurulmuş yeni bir algoritmik çözüm olan Nash – MD’yi sunuyoruz. Bu algoritma, son yinelemenin düzenli Nash dengesine yakınsadığı bir dizi politika üretir.
Sonuçlar
Ek olarak, politikaların parametrik temsillerini araştırıyor ve derin öğrenme mimarileri için gradyan iniş algoritmaları sunuyoruz. Yaklaşımımızın etkinliğini göstermek için, bir metin özetleme görevi için bir LLM’nin ince ayarını içeren deneysel sonuçlar sunuyoruz. NLHF’nin, LLM’leri insan tercihleriyle uyumlu hale getirme alanını geliştirme potansiyeli ile tercih öğrenme ve politika optimizasyonu için cazip bir yol sunduğuna inanıyoruz.
Yazarlar
Rémi Munos, Michal Valko, Daniele Calandriello, Mohammad Gheshlaghi Azar, Mark Rowland, Zhaohan Daniel Guo, Yunhao Tang, Matthieu Geist, Thomas Mesnard, Andrea Michi, Marco Selvi, Sertan Girgin, Nikola Momchev, Olivier Bachem, Daniel J. Mankowitz, Doina Precup, Bilal Piot
Kategoriler
stat.ML, cs.AI, cs.GT, cs.LG, cs.MA
Henüz yorum yok. İlk yorumu siz yapın!