CTIFoundry, yapay zeka aracı performansı alanında çığır açan yeni bir araştırma. Amazon ve ortaklarının geliştirdiği bu sistem, yapay zeka aracılarının siber tehdit istihbaratı araştırmalarında devrim niteliğinde sonuçlar elde etti. Geleneksel düz veri yığını (flat substrate) yerine yapılandırılmış bir bilgi grafiği kullanan sistem, aynı modelin performansını önemli ölçüde artırıyor.
Yapay Zeka Aracı Performansı Neden Düşük Kalıyordu?
Mevcut yapay zeka aracı sistemlerinin en büyük sorunu, verilerin geleneksel RAG (Retrieval-Augmented Generation) yaklaşımıyla erişime sunulması. Bu yöntemde tehdit raporları ve güvenlik açığı veritabanları, arama sonuçlarında opak metin parçaları (chunk) olarak sunuluyor. Araştırmacılar, bu düz veri yığınının model yeteneğinden ziyade asıl darboğazı oluşturduğunu ortaya koydu.
CTIFoundry Nasıl Çalışıyor?
CTIFoundry, siber tehdit istihbaratı (CTI) alanı için özel olarak tasarlanmış bir “aracı-yerel bilgi tabanı iskelesi” sunuyor. Sistem iki aşamalı bir mimari izliyor:
Yapı oluşturma aşaması (build time):
- CVE, CWE, CAPEC ve ATT&CK olmak üzere dört otorite bilgi tabanı entegre ediliyor
- Bu veritabanları arasındaki resmi çapraz referanslar, tipli ve geçilebilir kenarlara (typed traversable edges) dönüştürülüyor
- Her raporun içindeki varlıklar (entity) standartlaştırılıyor ve kaynak bilgisi korunuyor
Sorgu aşamasında (query time):
- Yapılandırılmış veri, 7 tipli araç ve 3 prosedürel beceri aracılığıyla yapay zeka aracısına sunuluyor
- Sistem, standart açık kaynaklı bir aracı iskelesi üzerine kurulu
Yapay Zeka Aracı Performansında Çarpıcı Sonuçlar
CTIFoundrynin CTIConnect karşılaştırma kriteri üzerinde yaptığı testler, dört farklı modelde tutarlı performans artışı gösterdi. Sonuçlar, F1 puanı bazında yüzde 0.19 ile 0.28 arasında iyileşme sağlandığını ortaya koyuyor:
| Model | Önceki F1 | Sonraki F1 | Artış |
|---|---|---|---|
| GPT-5.4 | 0.610 | 0.829 | +0.219 |
| Claude Haiku 4-5 | 0.470 | 0.745 | +0.275 |
| GPT-5.4-mini | 0.568 | 0.758 | +0.190 |
| Claude Sonnet 4-6 | 0.559 | 0.781 | +0.222 |
Küçük Model, Amiral Gemisi Modeli Geride Bıraktı
Araştırmanın en dikkat çekici bulgusu şu: Claude Haiku 4-5 gibi küçük bir model, CTIFoundry iskelesi üzerinde çalıştığında, düz veri yığını kullanan amiral gemisi GPT-5.4 modelini aştı. Bu sonuç, önümüzdeki dönemde yapay zeka uygulamalarında model ölçeğinden ziyade veri yapılandırmasının belirleyici faktör olacağını gösteriyor.
Daha Az Araç Kullanımı, Daha Yüksek Doğruluk
Performans artışı, yapay zeka aracılarının daha fazla arama yapmasıyla değil, daha akıllı çalışmasıyla gerçekleşti. Özellikle Claude modellerinde, CTIFoundry ile donatılmış aracılar soru başına yaklaşık yarı yarıya daha az araç çağrısıyla daha yüksek doğruluk elde etti. Bu da hem maliyet hem de işlem süresi açısından önemli verimlilik kazanımları sağlıyor.
Sıfır Uydurma Garantisi ve Düşük Maliyet
CTIFoundrynin bir diğer önemli avantajı, yapı oluşturma aşamasındaki doğrulama mekanizması. Sistem, inşa sürecinde resmi çapraz referansları kontrol ederek sıfır uydurma (zero fabrication) garantisi sunuyor. Ayrıca sorgu aşamasında her araştırma yaklaşık 2,6 sent maliyetle gerçekleştirilebiliyor; tek seferlik yapı oluşturma maliyeti ise yalnızca 1,86 dolar.
Siber Tehdit İstihbaratında Yapılandırılmış Bilginin Geleceği
CTIFoundry araştırması, yapay zeka aracı performansı için veri yapılandırmasının model ölçeğinden daha kritik olabileceğini kanıtlıyor. Özellikle siber güvenlik, hukuki araştırma, finansal analiz ve akademik tarama gibi çok adımlı bilgi toplama görevlerinde yapılandırılmış bilgi tabanlarının standart RAG yaklaşımına göre çok daha etkili sonuçlar verdiği görülüyor.
Yapay zeka aracı sistemlerinin gerçek dünya görevlerinde nasıl evrildiğini ve kurumsal güvenlik altyapılarına nasıl entegre edildiğini AI Haber üzerinden takip etmeye devam edin.
Henüz yorum yok. İlk yorumu siz yapın!