Harvard ve Chicago’dan LLM Sunucu Optimizasyonu Arastirmasi: 6 Milyar Istekte Kritik Bulgu

Ne: Harvard ve Chicago üniversitelerinden araştırmacılar, yapay zeka alanında bugüne kadar yapılmış en kapsamlı LLM (Büyük Dil Modelleri) sunucu performans araştırmasını yayımladı. Bir yıllık süreçte 6,12 milyar istek ve 9.174 farklı model incelendi.

Kim: William Nixon, Jon Durbin, Florian Standhartinger, Haryadi S. Gunawi ve Juncheng Yang liderliğindeki araştırma ekibi. Çalışma, Chutes adlı üretim ortamından elde edilen bir yıllık izleme verisi üzerine kuruldu.

Ne Zaman: Araştırma sonuçları 2026 yılı Ağustos ayında yayımlandı ve ilgili veri seti ile birlikte arxiv.org/abs/2608.13573 adresinde kamuya açıldı.

Nerede ve Neden: LLM sunucu optimizasyonu konusunda kritik bulgular ortaya koyan araştırmaya göre, bir yapay zeka sunucusunda isteklerin yüzde 99’u 15 dakika içinde tekrar geliyor. Bu durum, GPU’nun önceki isteğin öngörüsünü saklayarak işlem tekrarını önleyebileceği anlamına geliyor.

Yük Dengeleyiciler LLM Performansını Zayıflatabilir

Geleneksel yük dengeleyiciler, trafiği eşit şekilde dağıtarak her bir isteği izole bir iş gibi işleme alır. Ancak araştırmaya göre bu yaklaşım, LLM sunucu optimizasyonu açısından kritik bir verimlilik kaybına yol açıyor. Kullanıcı aynı modele aynı büyüyen bağlamla geri döndüğünde, GPU zaten önemli bir bölümü hesaplamış oluyor.

Ekibin araştırma notlarına göre, “Bir yıl boyunca izlenen trafiğin yapısı, popüler modellerin zaman içinde değiştiğini, çıktıların kısaldığını ve yeni kullanıcıların daha büyük girdiler gönderdiğini” gösteriyor. Bu durum, sentetik iş yükü kıyaslamalarını uzun vadeli üretim performansının yanıltıcı gösterebileceği anlamına geliyor.

Sonuçların AI Altyapısına Etkileri

Araştırma, routing, ön-disk önbellekleme ve kapasite planlamasının gerçek trafiğin tarihsel yapısına dayalı olarak yapılandırılması gerektiğini ortaya koyuyor. Her isteği izole bir iş gibi gören mevcut sistemlerin yetersiz kaldığı vurgulanıyor.

Bu bulgular, OpenAI Astra ve GPT-5.6 Sol gibi ileri düzey yapay zeka modellerinin sunucu tarafında nasıl optimize edileceği konusunda kritik önem taşıyor. Orantılı yük dengeleme, onneton inference ve akıllı ön bellekleme stratejileri gelecekteki AI altyapılarının temel unsurları olacak.

Açık Kaynak Veri Seti

Araştırma ekibi, bir yıllık tam üretim izlerini (trace) ilgilenenlerle paylaşmayı taahhüt etti. Bu ham veri seti, gelecekteki çalışmaların üretim davranışını örneklenmiş veya sentetik olarak üretilmiş verilere güvenmek yerine gerçek dünya performansına dayanması açısından kritik bir kaynak olacak.