Netflix, kullanicilarina neden bir icerik onerdigini aciklayan kisa metinlerin arkasindaki sistemi yeni bir makaleyle kamuoyuyla paylasti. Sirket, cunku izlediniz tarzi aciklamalari ureten yapay zeka modellerini degerlendirmek icin LLM Judge yaklasimini benimsedi.
Netflix LLM Judge sistemi, bir yapay zeka modelinin baska bir yapay zeka tarafindan uretilen icerigi degerlendirmesi prensibiyle calisiyor. Bu yaklasim olceklenebilir ve hizli bir degerlendirme sureci sagliyor. Netflixte bir model kisa aciklamalari yazarken, bir diger model her bir aciklamayi puanliyor.
## LLM Judge Nedir?
Netflix LLM Judge, buyuk dil modellerinin birbirini degerlendirmesi prensibiyle isliyor. Bu yaklasim, modeli statik bir artifact olarak degil, surekli bakim gerektiren bir sistem olarak ele alyor. Netflix makalesine gore uretim ortaminda calisan bir yargicin yasam dongusune sahip olmasi gerekiyor.
Netflixte bir model kisa aciklamalari yazarken, baska bir model her bir aciklamayi puanliyor. Haftalik insan denetimi sistemin kalitesini koruyor. İnsan etiketleriyle uyum kontrolu tek basina yeterli degil.
## Dort Asamalik Yasam Dongusu
Netflix arastirmasi dort ana faz uzerinden siralaniyor:
Dogum (Birth): Birden fazla degerlendirme kriteri tanimlanir ve insan etiketleri ile gerekceler iceren benchmark veri setleri olusturulur.
Egitim (Training): Reasoning-Aligned Rubric Tuning (RART) proseduru ile yargiclarin degerlendirme kilavuzlari rafine edilir. Bir meta-yargic reasoning ciktisini ogretmen sinyali olarak kullanir.
Dagitim (Deployment): Tek bir LLM yargic iki kritik rolunu ustelenir: kalite kapisi ve yansitic uretim.
Izleme (Monitoring): Suruklu Insan-Dongude Hizalama sureci veri kaymasini tespit eder ve yeniden ayarlama tetikler.
## A/B Test Sonuclari
Bes haftalik A/B testi on milyonlarca Netflix uyesini kapsadi. Yapay zeka degerlendirmesiyle uretilen aciklamalar uyelerin daha once izlemedikleri icerige yonelmesini sagladi. Tarama sonrasi oynatma oranlarinda belirgin arts gozlendi.
Netflix deneyimi, buyuk olcekte uretim ortamlarinda yapay zeka degerlendirme sistemlerinin surekli bakim gerektiren dinamik sistemler olarak ele alinmasi gerektigini ortaya koyuyor.
Kaynak: Rohan Paul (@rohanpaul_ai) | arxiv.org/abs/2608.18300
ayni konuda:
Henüz yorum yok. İlk yorumu siz yapın!