Bir araştırma ekibi, AutoDesign sistemini tanıttı. AI ajanının test ortamının kendisini optimize edebildiği bu çerçeve, PosterBench üzerinde %78,32 puan alarak Claude Design‘ı geride bıraktı. 40 dakikada 253 araç çağrısı ve 11 düzenleme turu gerçekleştiren sistem, $3’ten az maliyetle çalışıyor.
AutoDesign Nasıl Çalışıyor?
AutoDesign, meta-harness optimizer ile bir kod ajanını yönlendiriyor. Ajan, rollout feedback’ini okuyarak test ortamını yinelemeli olarak iyileştiriyor. Her turda, sistem ortamın performansını değerlendiriyor ve bir sonraki iterasyon için yönergeler üretiyor.
PosterBench Sonuçları
Sistem, 5 farklı disiplinden 100 makale ile PosterBench Main Track’te test edildi. AutoDesign, 78,32 puan alarak kapalı kaynak Claude Design’ı (70,87 puan) 7,45 puan farkla geride bıraktı. DesignHarness 7 farklı kod ajanı-model konfigürasyonuna uyarlandığında, ortalama puan 54,99’dan 67,39’a yükseldi.
Maliyet ve Verimlilik
Tam otonom bir çalıştırma, 253 araç çağrısı ve 11 düzenleme turu gerçekleştirdi. Tüm süreç 40 dakika sürdü ve $3’ten az maliyet oluştu. İnsan değerlendirmesinde sistem, ortalama konferans poster kalitesine ulaştı.
Modeller Arası Transfer Edilebilirlik
En önemli bulgu: AutoDesign’ın öğrendiği bilgiler, tek bir modele özgü değil. DesignHarness farklı kod ajanı-model konfigürasyonları arasında tutarlı iyileşme sağladı. Bu da sistemin iskele bilgisi (scaffold knowledge) öğrendiğini gösteriyor.
AutoDesign, AI ajanlarının yalnızca görevleri yerine getirmekle kalmayıp kendini optimize etme kapasitesini de gösteriyor.
Henüz yorum yok. İlk yorumu siz yapın!