Perplexity, çok modlu geç etkileşimli gömme modeli pplx-embed-v2-late’i açtı

Perplexity, gömme (embedding) modeli ailesine pplx-embed-v2-late adlı iki yeni model ekledi. Modeller metin, görsel ve görsel belgelerde, yani PDF ve sunum sayfaları gibi içeriklerde arama yapmak için tasarlandı. 0,6B ve 9B olmak üzere iki boyutta, MIT lisansıyla Hugging Face’te yayınlandı. Şirket şubatta pplx-embed-v1’i, geçen hafta ise bağlamsal gömme modeli pplx-embed-v2-context’i duyurmuştu. Yeni modeller aileyi “geç etkileşimli” (late-interaction) modellerle genişletiyor.

Tek vektör yerine token başına vektör

Klasik yoğun (dense) arama modelleri her belgeyi tek bir vektöre indiriyor. pplx-embed-v2-late ise ColBERT tarzı bir mimari kullanıyor ve girdideki her token için ayrı bir 128 boyutlu vektör üretiyor. Sorgu ile belge arasındaki benzerlik MaxSim ile hesaplanıyor. Her sorgu tokenı için belgedeki en iyi eşleşen token bulunuyor ve bu en yüksek benzerlikler toplanarak nihai skor elde ediliyor. Perplexity’ye göre bu yöntem, sorgunun farklı parçalarının belgenin farklı yerleriyle eşleşmesine izin veriyor.

Model kartına göre modeller, çift yönlü dikkat mekanizmasıyla Qwen3.5 üzerine kuruldu. Perplexity’ye göre modeller görselleri ve işlenmiş belge sayfalarını OCR’a gerek kalmadan doğrudan kodlayabiliyor. Her iki boyutta da token başına vektör boyutu 128.

Ortak gömme uzayı

Sürümün en pratik özelliği iki modelin aynı gömme uzayını paylaşması. Her model tek başına kullanılabiliyor. Ancak 9B modelle oluşturulmuş bir indeks, 0,6B modelle kodlanmış sorgularla aranabiliyor. Böylece belgeler daha kaliteli büyük modelle bir kez kodlanırken, sorgu anında küçük modelin hızı ve düşük maliyetinden yararlanılabiliyor.

Performans ve eğitim

Model kartındaki tabloya göre 0,6B modelde aktif parametre sayısı 340 milyon, 9B modelde 7,4 milyar. Görsel belge arama testi ViDoRe v3’ün açık bölümünde 0,6B model görsel girdide yüzde 62,3, Markdown girdide yüzde 61,2 nDCG@10 alıyor. 9B modelde bu oranlar yüzde 65,2 ve yüzde 64,7. Perplexity, 0,6B modelin ViDoRe v3’te beş kat fazla aktif parametreye sahip modellerle eşleştiğini ve iki modelin görsel ve metin arama testleri ile ajan tabanlı soru-cevap görevlerinde en iyi sonuçları verdiğini söylüyor. Bu iddialar şirketin kendi ölçümlerine dayanıyor ve henüz bağımsız olarak doğrulanmadı. Ayrıntılı teknik rapor yıl içinde yayımlanacak.

Her iki model de şirket içindeki 18 milyar parametreli bir ColBERT öğretmen modelden damıtıldı. Damıtmada token düzeyinde LEAF tarzı bir hedef kullanıldı. 0,6B model tamamen ince ayardan geçirildi. 9B modelde ise son sekiz transformer katmanı tamamen eğitildi, kalan katmanlar ve görsel kodlayıcı LoRA ile uyarlandı.

Kullanım

Modeller sentence-transformers 6.0.0 ve transformers 5.4.0 ya da daha yeni sürümlerle ek koda gerek kalmadan çalışıyor. Model kartındaki örnekte MultiVectorEncoder sınıfıyla sorgular encode_query, belgeler ve görseller encode_document ile kodlanıyor. Skorlar ise similarity çağrısıyla MaxSim üzerinden hesaplanıyor. 0,6B ve 9B modeller Hugging Face’te ayrı depolarda bulunuyor. Model kartı bazı sınırlamalara da dikkat çekiyor. Metin ve görsel girdiler aynı partide karıştırılamıyor, ayrı çağrılarla kodlanmaları gerekiyor. PyLate kullananlar ise sorgu ve belge işaretlerinin konumuna dikkat etmeli.

Kaynak: Perplexity — Multimodal embeddings beyond a single vector; Hugging Face — perplexity-ai/pplx-embed-v2-late-0.6b