WebHarbor: Gelişen GUI Aracı Ortamları için Gerçek Web Sitelerini Yerleştirme

Özetle: GUI web aracıları, hem değerlendirme hem de eğitim sırasında sabit kalan gerçekçi ve etkileşimli ortamlara ihtiyaç duyar.

Özet

GUI web aracıları, hem değerlendirme hem de eğitim sırasında sabit kalan gerçekçi ve etkileşimli ortamlara ihtiyaç duyar. Canlı web sitesi değerlendirmesinde değişen içerik, erişim kısıtlamaları ve kimliği doğrulanmış iş akışlarının sınırlı kapsamı nedeniyle sorunlar yaşanırken, eğitim için mevcut sentetik ortamlar genellikle işlevsel derinlik ve görsel doğruluktan yoksundur. Gerçek dünya web hizmetlerinin görsel arayüzlerini, içeriğini ve işlevsel iş akışlarını deterministik kontrol altında aslına sadık bir şekilde yeniden yapılandıran, 153 yürütülebilir ve yerleşik web sitesi ortamından oluşan bir paket olan WebHarbor'u öneriyoruz. WebHarbor'u, yeni görevlerin işlevsel kapsamlarını genişlettikçe ortamların geliştiği, kodlama aracılarının gerekli değişiklikleri uyguladığı ve katkıda bulunan kişilerin görsel doğruluğu, işlevsel doğruluğu ve görev geçerliliğini denetlediği, görev odaklı insan-aracı işbirliği yoluyla oluşturuyoruz. Ortaya çıkan paket, çok adımlı ve kimlik doğrulama sonrası iş akışlarını kapsayan ve mevcut çalışmaların çoğu zaman kapsamadığı 3.518 görevi içeriyor. WebHarbor, güvenilir değerlendirmenin ötesinde, uygun maliyetli takviyeli öğrenim (RL) için yüksek kaliteli sentetik web ortamları sağlar. WebHarbor'da RL ile eğitilmiş bir Qwen 4B düzeyinde GUI aracısının, görünmeyen görevleri genelleştirdiğini ve dört kıyaslamada önde gelen açık kaynaklı GUI web aracılarıyla rekabetçi bir performans sergilediğini gösteriyoruz. Kod ve veriler https://github.com/aiming-lab/WebHarbor adresinde halka açıktır.

Orijinal Özet (İngilizce)

GUI web agents require realistic and interactive environments that remain stable during both evaluation and training. Live website evaluation suffers from changing content, access restrictions, and limited coverage of authenticated workflows, while existing synthetic environments for training often lack functional depth and visual fidelity. We propose WebHarbor, a suite of 153 executable and dockerized website environments that faithfully reconstruct the visual interfaces, content, and functional workflows of real-world web services under deterministic control. We build WebHarbor through task-driven human-agent collaboration, where environments evolve as new tasks expand their functional scope, coding agents implement the required changes, and human contributors audit visual fidelity, functional correctness, and task validity. The resulting suite comprises 3,518 tasks spanning multi-step and post-authentication workflows, where existing works often fail to cover. Beyond reliable evaluation, WebHarbor provides high-fidelity synthetic web environments for cost-efficient reinforcement learning (RL). We demonstrate that a Qwen 4B-level GUI agent trained with RL in WebHarbor generalizes to unseen tasks and performs competitively with leading open-source GUI web agents across four benchmarks. The code and data are publicly available at https://github.com/aiming-lab/WebHarbor.

Kaynak: arXiv:2611.03634 · PDF