Microsoft’tan Yapay Zeka Eğitiminde Çığır Açan Keşif: TailSFT, Standart SFT’den Nasıl Daha İyi Sonuç Veriyor?

Microsoft araştırmacıları, yapay zeka modellerinin eğitim sürecinde kritik bir sorunu ortaya koydu ve bu soruna TailSFT (Tail Supervised Fine-Tuning) adını verdikleri yeni bir teknikle çözüm sundu. 26 Ağustos 2026’da yayımlanan araştırmaya göre standart süpervizyonlu ince ayar (SFT) süreçleri, modelleri pekiştirmeli öğrenme (RL) için en uygun hale getirmiyor. TailSFT ise bu sorunu kökten çözerek RL aşamasında %4’e varan mutlak performans artışı sağlıyor.

Microsoft Research NYC ekibi, standart SFT’nin modelin zaten öğrendiği diziler üzerinde gereksiz yere gradyan harcamaya devam ettiğini ve bu durumun RL’nin keşfetmesi gereken dağılımı daralttığını tespit etti. TailSFT, eğitim sırasında zaten uyum sağlamış dizileri filtreleyerek öğrenmeyi veri dağılımının az temsil edilen bölgelerine —yani “kuyruğa” (tail) — yoğunlaştırıyor.

TailSFT Yöntemi Nasıl Çalışıyor?

Geleneksel SFT, modelin zaten doğru yanıtlar ürettiği diziler üzerinde eğitime devam eder. Bu, kısa vadede düşük kayıp değerleri üretir ancak modelin RL aşamasında ihtiyaç duyacaığı çeşitliliği sınırlar. TailSFT ise tek değişiklikle bu sorunu çözüyor: Eğitim sırasında modelin zaten öğrendiği dizileri filtreleyerek öğrenme kapasitesini az temsil edilen bölgelere yönlendiriyor.

Araştırma ekibi bu tasarım kararlarını hem kontrollü deneylerle hem de teorik analizle doğruladı. Ayrıca TailSFT’nin en çok hangi koşullarda fayda sağladığını belirleyen hafif bir tanı aracı geliştirdiler.

OLMo-3 7B Üzerinde Sonuçlar: Kodlama ve Matematikte %17’ye Kadar İyileşme

TailSFT’nin etkisi, özellikle zorlu değerlendirme kümelerinde kendini gösteriyor. OLMo-3 7B modeli üzerinde yapılan deneylerde kodlama görevlerinde pass@16 performansı 17 puan, matematik görevlerinde ise 3,1 puan mutlak artış sağlandı. Bu yüksek kapsamlı kontrol noktaları, ardından uygulanan GRPO pekiştirmeli öğrenme süreçlerinde pass@1’i %4’e kadar iyileştirdi.

Araştırmacıların dikkat çektiği bir diğer bulgu ise RL sürecinin başlangıcında ödül eğrisinin standart SFT’ye kıyasla 2,5 kata kadar daha hızlı tırmanmaya başlamasıydı. Bu, TailSFT kontrol noktalarının RL için çok daha verimli bir başlangıç noktası oluşturduğunu gösteriyor.

Standart SFT Neden Yetersiz Kalıyor?

Makale, standart SFT süreçlerinin bir yanılsama yarattığını ortaya koyuyor: Düşük kayıp değerleri, modelin eğitim verisinin tamamında başarılı olduğu izlenimini verir. Ancak bu durum, RL’nin ihtiyaç duyduğu çeşitli yanıt yollarını keşfetme kapasitesini aslında daraltmış olabilir. TailSFT, bu çelişkiyi “kapsam” (coverage) kavramıyla açıklıyor.

Teorik analiz, RL’nin yalnızca güçlü bir temel model gerektirmediğini, aynı zamanda o modelin RL için uygun bir dağılıma sahip olması gerektiğini ortaya koyuyor. Standart SFT, modelin doğru yanıtlar üretme olasılığını artırırken, aynı yanıtlara ulaşmanın birden fazla yolunu korumakta başarısız kalıyor.

Yapay Zeka Geliştirmede Yeni Dönem: Aşama Farkındalığı

TailSFT araştırmasının en önemli katkılarından biri, model geliştirme sürecine ilişkin paradigm değişikliği öneriyor olması. Araştırma ekibi, aşama farkındalığına sahip (stage-aware) bir yaklaşımı savunuyor: Ara kontrol noktaları, nihai sıfır atış performanslarına göre değil, sonraki eğitim aşamalarını ne kadar iyi desteklediklerine göre değerlendirilmeli.

Bu yaklaşım, OpenAI, Anthropic, Google DeepMind ve Meta gibi şirketlerin çok aşamalı eğitim boru hatlarını doğrudan etkiliyor. RL tabanlı öğrenmenin en iyi sonuçları vereceği başlangıç modelinin nasıl hazırlanacağı sorusu, artık yeni bir araştırma alanı olarak öne çıkıyor.

TailSFT’nin Gelecek Potansiyeli

Araştırma ekibi, yöntemin yalnızca OLMo-3 7B üzerinde değil, farklı model boyutları ve mimarilerinde de test edilmesi gerektiğini belirtiyor. Ayrıca daha gelişmiş filtreleme kriterleri ve RL algoritmalarıyla birleştirilmesi, performansı daha da artırabilecek alanlar olarak öne çıkıyor.

TailSFT, minimal hesaplama ek yüküyle büyük kazanımlar elde etmesi açısından da dikkat çekici. Stantart SFT’ye kıyasla neredeyse aynı hesaplama maliyetiyle çalışırken, sonuçlarda gözle görülür iyileşme sağlıyor.

Microsoft’un bu keşfi, yapay zeka eğitim süreçlerinin altındaki temel mekanizmaları yeniden düşünmemiz gerektiğini gösteriyor. Düşük kayıp değerlerinin her zaman daha iyi bir model anlamına gelmediğini ortaya koyan bu araştırma, AI topluluğunda geniş yankı uyandırması bekleniyor.

Yapay zeka alanındaki güncel gelişmeleri takip etmeye devam edin. OpenAI Astra modeli ve Anthropic Claude Code hakkındaki diğer haberlerimizi de inceleyebilirsiniz.