OpenAI, 19 Ekim’de yayımladığı yazıda son modellerinin COBOL, Fortran, OCaml ve Visual Basic gibi “az kaynaklı” programlama dillerinde yazılım geliştirme ve taşıma becerilerinde belirgin ilerleme kaydettiğini açıkladı. Bu diller, Python veya JavaScript’e kıyasla modellerin öğrenebileceği çok daha az kod ve belge içeriyor; ancak dünya genelinde kritik altyapıyı ayakta tutuyor. OpenAI’nin aktardığı verilere göre COBOL, çevrim içi bankacılık sistemlerinin yüzde 40’ından fazlasını, yüz yüze kredi kartı işlemlerinin yüzde 80’ini ve ATM işlemlerinin yüzde 95’ini destekliyor; Fortran ise hava tahmini ve nükleer reaktör güvenlik analizinde kullanılıyor.
Şirket, çalışmanın geliştiriciler ve kurumsal müşterilerden gelen “kodlama modelleri bu dillerde zorlanıyor” geri bildirimiyle şekillendiğini söylüyor. Bu tür yazılımlarda belgeler eksik olabiliyor, ilk geliştiriciler şirketten ayrılmış olabiliyor ve önemli iş kuralları yalnızca kodun içinde yaşıyor.
MultiLangBench: 20 dilde sıfırdan SQLite
İlk değerlendirme olan MultiLangBench, modelden belirli bir programlama dilinde SQLite uyumlu bir veritabanı motorunu sıfırdan yazmasını istiyor. Model kod tabanını düzenlemek, durumu yönetmek, hataları ele almak ve mevcut işlevleri bozmadan yeni özellikler eklemek zorunda. Diller arası karşılaştırma için veritabanı dosyaları ortak arayüz olarak kullanılıyor; sonuçlar referans SQLite uygulamasıyla denetleniyor ve testler SQLite’ın kendi test paketinden uyarlanıyor.
- GPT-6 Astra (en yüksek akıl yürütme): 20 dilde ortalama %87,4 test geçme oranı; GPT-5.6 Sol’da bu oran %26,8’di. Astra 20 dilin 19’unda %83’ün üzerinde. Gelişmeler: COBOL %10,9 → %72,1, OCaml %25,6 → %85,8, Fortran %21,4 → %83,5, Visual Basic %27,5 → %89,4. En zor dil %72 ile COBOL olarak kalıyor.
- GPT-6 Luna: Ortalama %40,3 ile GPT-5.6 Sol’u her dilde geçiyor; örnek başına tahmini API maliyeti 3,48 dolar yerine 0,77 dolar, yani yaklaşık yüzde 78 daha düşük.
OpenAI, MultiLangBench değerlendirme düzeneğini ve test paketini dil bazlı sonuçlarla birlikte GitHub’da yayımladı.
COBOL kod tabanı taşıma
İkinci değerlendirme, COBOL programlarının davranışı korunarak C++, Java, Kotlin, Python veya Rust’a taşınmasını ölçüyor. OpenAI, COBOL’ün sabit noktalı aritmetiğinin açıkça istenmedikçe fazla ondalık basamakları yuvarlamak yerine attığını; bunu yuvarlayan bir yeniden yazımın hatasız çalışıp farklı finansal sonuç üretebileceğini örnek veriyor. Bir taşıma, gözlemlenebilir çıktılarda bayt bayt eşleşme isteyen gizli testlerin tamamını geçerse başarılı sayılıyor.
Bu testte GPT-6.1 Sol, düşük akıl yürütme ayarında %86,6 doğruluk elde etti; aynı ayarda GPT-5.6 Sol yalnızca %5,4’te kalıyordu ve yeni model bunu yaklaşık yüzde 39 daha düşük API maliyetiyle yapıyor. Daha yüksek akıl yürütme ayarında doğruluk %97,9‘a çıkarak değerlendirmeyi neredeyse doyuma ulaştırıyor.
Sınırlar
OpenAI, bu davranış koruma becerisinin eski sistemleri modernize eden ekipler için yararlı olduğunu ancak üretim yazılımına uygulanmasının hâlâ uzman incelemesi ve sistemin iş kuralları ile bağımlılıklarına karşı test gerektirdiğini vurguluyor. Sonuçlar OpenAI’nin kendi değerlendirmelerine dayanıyor.
Kaynak: OpenAI: Advancing coding in low-resource programming languages
Henüz yorum yok. İlk yorumu siz yapın!