Google Research, yapay zekâ kullanımının profesyonellerin uzmanlığını geliştirip geliştirmediğini ölçen üç aylık bir randomize saha deneyinin sonuçlarını yayımladı. Blog yazısını Google’ın Teknoloji ve Toplum misafir araştırmacısı David Autor ile Yapay Zekâ ve Ekonomi biriminden Tanya Rodchenko kaleme aldı. Çalışma, Ulusal Ekonomik Araştırma Bürosu (NBER) tarafından “Does AI Assistance Enhance or Erode Expertise?” başlığıyla yayımlandı. Sonuç ikiye ayrılıyor: yapay zekâ kullanımı iş kalitesini genel olarak artırıyor. Ancak araç ortadan kalktığında bunun kalıcı beceriye dönüştüğü durum yalnızca kıdemli avukatlarda görüldü.
Deney nasıl kuruldu?
Araştırmacılar, Google ile düzenli ama münhasır olmayan iş ilişkisi olan 11 fikri mülkiyet hukuk bürosundan 133 avukatı deneye dahil etti. Her bürodaki avukatların üçte ikisine, o dönem henüz yayınlanmamış ve bugün Gemini Notebook’un parçası olan bir Google Labs patent yazım asistanına erken erişim verildi. Kalan kontrol grubuna yapay zekâ kullanımı hakkında biraz eğitim verildi, ancak araç üç aylık deney süresince onlardan esirgendi. Tüm çalışmalar, bağımsız patent uzmanları tarafından beş boyutta puanlandı: uygulanabilirlik, doğruluk, stratejik belirsizlik, eksiksizlik ve açıklık.
Yapay zekâyla daha iyi iş
Deneyin 10. ve 90. gününde tüm avukatlardan, farklı kurgusal buluşlar için patent taslağı yazmaları istendi. Yapay zekâ erişimi olanların taslak puanları 10. günde 0,34 standart sapma (kontrol grubuna göre yaklaşık 10 yüzdelik dilim), 90. günde 0,38 standart sapma (yaklaşık 11 yüzdelik dilim) arttı. İyileşme, zayıf puanların azalmasından ve iyi puanların artmasından geldi. Mükemmel puanların sayısı değişmedi. Bu tablo özellikle genç avukatlarda belirgindi. Gençler aynı zamanda zaman da kazandı: 10. gün görevinde kontrol grubunun ortalama 124 dakikasına karşı 18 dakika daha hızlı çalıştılar.
Yapay zekâ kaldırılınca
90. günde avukatlardan, hatalarla dolu kurgusal bir patent metnini düzeltmeleri de istendi ve bu görevde kimsenin yapay zekâ kullanmasına izin verilmedi. Bu görev, edinilen becerinin ölçüsü olarak kullanıldı. Yapay zekâ erişimi olan grup kontrol grubunu 0,32 standart sapma geçti. Ancak etkinin tamamı kıdemli avukatlardan, yani 7 yıl ve üzeri deneyimi olanlardan geldi. Kıdemliler kontrol grubunu 0,45 standart sapma (yaklaşık 13 yüzdelik dilim) geride bıraktı. Gençlerde ortalama bir gelişme görülmedi. Puanları ikiye ayrıldı: çok düşük puanlar da iyi puanlar da arttı, vasat puanlar azaldı, mükemmel puan sayısı değişmedi.
Niteliksel analizde gençlerin metni yukarıdan aşağıya sırayla düzelttiği ve zamanlarını çoğu kez önemsiz giriş bölümlerine harcadığı görüldü. Ciddi bir hatayı fark etseler bile çoğu zaman düzeltmek yerine sadece yorum bıraktılar. Kıdemliler ise doğrudan patent istemlerine yöneldi ve onları baştan kurdu. Görüşmelerde yapay zekâ çıktısını bitmiş bir ürün değil, bir “mantık denetçisi” olarak gördüklerini anlattılar.
Sınırlar
Araştırmacılar örneklemin küçük ve süresinin kısa olduğunu kabul ediyor. Üç ay, kalıcı uzmanlık için gereken yıllarla kıyaslanınca dar bir pencere. Son bir yılda modellerin ve yapay zekâ kullanımının hızla değişmesi nedeniyle deney bugün tekrarlansa sonuçların farklı çıkabileceğini de belirtiyorlar. Yazarların vardığı sonuç şu: Bugün daha iyi iş üretmek için tasarlanan araçların, genç profesyonellerin yarının uzmanları olmasını engellememesi gerekiyor.
Kaynak: Google Research — Does better work always mean better workers?; NBER — Does AI Assistance Enhance or Erode Expertise?
Henüz yorum yok. İlk yorumu siz yapın!