Sesli yapay zekâ ajanları platformu Vapi, şirket içinde geliştirdiği yapay zekâ kod inceleme botunun deneyimlerini 12 Ekim 2026’da yayımlanan bir blog yazısında paylaştı. Vapi’de teknik ekip üyesi Lat Ware’in geliştirdiği ve Pedantic Review Bot adını verdiği bot üzerinde çalışmaya başlandığında, bir pull request’in (PR) açılıştan birleştirmeye kadar geçen ortalama süresi 130 saatin üzerindeydi. Bot artık şirket mühendislerinin açtığı her PR’yi inceliyor ve bu süre 65 saate, yani yarıya indi.
Neden şirket içinde geliştirildi?
Yazıya göre Vapi hâlihazırda iki yapay zekâ kod inceleme aracına ödeme yapıyordu; ancak bu araçlar, Ware’in ilk prompt’larının şirketin kod tabanında yakaladığı sorunları yakalayamıyordu. Ware, “Günlerle ölçülen inceleme süreleriyle yarışıyordum; bu yüzden bota bir inceleme için 20 dakika harcatabiliyordum, diğer ürünler bunu yapamıyordu” diyor. Şirket içi geliştirme, her incelemenin maliyetini bulduğu sorunlarla karşılaştırmayı mümkün kıldı.
Bot nasıl çalışıyor?
Bot, taslaklar dahil uygun bir PR açıldığında devreye giriyor; daha önce incelediği commit’leri atlıyor. Her satır içi bulgu, kalın yazılmış tek cümlelik bir özet ve yeşilden (küçük not) kırmızıya (engelleyici) uzanan bir önem işaretiyle başlıyor. Botun en önemli özelliği iddialarını kanıtlamadan raporlamaması: Analiz aşamasında ajan PR’yi çekiyor, çağıran kodları izleyebiliyor, başarısız olacağını düşündüğü testleri çalıştırabiliyor ya da küçük bir yeniden üretim (repro) yazabiliyor.
Güvenlik açısından analiz ve yorum gönderme ayrı işlerde çalışıyor. Analiz oturumunun Git kimlik bilgileri kaldırılıyor ve bulgular bir JSON dosyasına yazılıyor; ikinci iş bu dosyayı doğrulayıp ajanın yazdığı hiçbir şeyi çalıştırmadan yorumları gönderiyor. Bot yorum yapabiliyor ancak PR onaylayamıyor ya da kod gönderemiyor. Tek bir kod satırından anlaşılamayan bir tasarım hatası gözden kaçınca Ware, üst düzey tasarım sorunlarını arayan ikinci bir bot olan Pedantic Architecture Review Bot’u da geliştirdi.
Bir aylık sonuçlar
2 Eylül–2 Ekim 2026 arasında bot 1.694 PR inceledi ve bunların 276’sında toplam 363 engelleyici bulgu bildirdi. Engelleyicilerin yarısından fazlası derleme, test, CI ya da dağıtımla ilgiliydi. Bot, test doğrulamalarını test çalıştırıcısının hiç toplamadığı Storybook hikâyeleriyle değiştiren bir değişikliği ve tek bir test çalıştırmadan başarı bildiren bir benchmark’ı yakaladı. Mimari bot ise bir trafik bölme değişikliğinde iki yazma işleminin yanlış sırada yapıldığını tespit etti: Sıfır trafik alması gereken bir sürüm, kısa bir süre için tüm trafiği alıyordu.
Prompt ve maliyet deneyleri
Ware, yaklaşık 200 prompt denedi. Belgelenmiş bir deneyde tek bir PR üzerinde açılış talimatının 101 farklı sürümünü test etti; 803 ham bulgu 57 ayrı soruna indi ve bir yapay zekâ hakemi bunların 32’sini gerçek, 24’ünü yanlış buldu. Hiçbir tekil çalıştırma 32 gerçek sorunun 10’undan fazlasını bulamadı. Yanlış pozitifler maliyet olarak hesaba katıldığında en iyi sonucu orijinal, çok basit prompt verdi.
Maliyet karşılaştırmasında aynı bütçeyle Sonnet 5.5’in “ekstra yüksek” efor seviyesinde üç çalıştırması, maksimum efordaki tek bir çalıştırmadan daha fazla sorun buldu: Kod incelemede 12,32 dolara 44 puan, tek çalıştırmada 12,30 dolara ortalama 35,5 puan. Bilinen bir lint hatası ise çok daha zor yakalandı: 194 kod inceleme çalıştırmasının yalnızca 8’i bunu buldu. GPT-6 yapılandırmalarının bazıları ana commit’te zaten bulunan sorunları kapsam dışı saydığı için neredeyse hiç bulgu bildirmedi; “Ana commit’te zaten bulunan hataları da dahil et” cümlesi eklenince GPT-6 Astra’nın ortalaması 0,3’ten 24,2 puana çıktı.
Vapi, deneylerin tek PR üzerinde yapıldığını ve yapay zekâ tarafından puanlandığını, genelleme için tekrarlanmaları gerektiğini ve mühendislerin hangi bulgulara göre harekete geçtiğinin henüz ölçülmediğini açıkça belirtiyor. Şirketin kendi ekibine önerileri arasında inceleyicinin yalnızca okumak yerine kod çalıştırması, güvenilmeyen kodu okuyan ajanın yorum gönderme yetkisinden ayrı tutulması ve yanlış pozitiflerin bir maliyet olarak sayılması yer alıyor.
Kaynak: Vapi Blog: How an in-house review bot cut our PR merge time in half
Henüz yorum yok. İlk yorumu siz yapın!