Açık sözcük dağarcığı semantik segmentasyonunda görsel dil modelleri (VLM) için özel olarak tasarlanmış yeni bir pasif alan uyarlama çerçevesi olan VocAlign’ı öneriyoruz. Bu yaklaşım, sözcüksel hizalama stratejisiyle birleştirilmiş öğrenci-öğretmen paradigmasını benimser ve ek kategorik kavramlar getirerek sözde etiket oluşturma kalitesini artırır. Verimliliği sağlamak için, model ince ayarı için Düşük Sıralı Uyarlama (LoRA) teknolojisini kullanarak, modelin doğal yeteneklerini korurken hesaplama yükünü en aza indiriyoruz. Ayrıca, öğrenci modeli için Top-K kategori seçim mekanizması tasarlıyoruz, bu da bellek tüketimini önemli ölçüde azaltırken uyarlanabilir performansı daha da iyileştiriyor. Yaklaşımımız, CityScapes veri setinde 6,11 mIoU’luk önemli bir iyileşme sağlar ve sıfır atış segmentasyon karşılaştırmalarında olağanüstü bir performans gösterir, açık sözlük senaryolarında pasif alan uyarlaması için yeni bir karşılaştırma ölçütü oluşturur.
-
Bu makale, açık sözlük semantik segmentasyonunda pasif alan adaptasyonunun zorluklarını, özellikle görsel dil modellerinin (VLM’ler) kaynak alan verileri olmadan yeni hedef alanlara etkili bir şekilde adapte olmasını nasıl sağlayabileceğini ele almayı amaçlamaktadır. Geleneksel alan adaptasyon yöntemleri, eğitim için kaynak alan verilerine dayandığından ve bu veriler gizlilik veya depolama kısıtlamaları nedeniyle pratik uygulamalarda kullanılamayabileceğinden, bu zorlu yeni bir sorunu temsil etmektedir.
-
VocAlign çerçevesi, sözde etiket oluşturmayı geliştirmek için sözcük hizalama stratejileriyle birleştirilmiş öğrenci-öğretmen paradigmasını kullanarak önerilmektedir. Çapraz alan anlayışını geliştirmek için yeni kategori kavramları getirir; verimli ince ayar için Düşük Sıralı Uyarlama (LoRA) kullanır, orijinal modelin yeteneklerini korurken hesaplama yükünü azaltır; ve bellek tüketimini en aza indirgemek ve uyarlanabilirliği artırmak için Top-K kategori seçim mekanizması tasarlar. Mevcut yöntemlerle karşılaştırıldığında, yeniliği kaynak veri gerektirmemesi ve anlamsal hizalamayı geliştirmek için sözlüğü dinamik olarak genişletmesidir.
