Yapay Zeka ve İlişkiler: Çok Ajanslı Bir Pekiştirmeli Öğrenme Problemi

İnsan ilişkileri ile yapay zeka sistemleri arasındaki paralel şaşırtıcı boyutunu hiç düşündünüz mü? MaxForAI, bu soruyu çok ajanslı pekiştirmeli öğrenme (Multi-Agent RL) perspektifinden ele aldı ve ortaya çarpıcı bir analiz çıktı.

Yapay Zeka ve İlişkiler: Benzerlik Ne Kadar Derin?

Birini tanıma süreci, temelde bir yapay zekanın yeni bir bağlam penceresiyle karşılaşmasına benzer. İlk tanıştığınızda her iki taraf da yalnızca sınırlı bilgiye sahiptir: profil fotoğrafı, paylaşılan içerikler, ortak tanıdıklar ve birkaç sohbet kaydı. Tıpkı bir yapay zekanın çıkarım yaparken elindeki bağlamla yetinmesi gibi, insanlar da ilk izlenimlerini bu sınırlı veriler üzerinden oluşturur. Bu süreç, yapay zeka ve iliskiler arasındaki en temel bağlantıyı oluşturur.

İlk buluşma, bir yapay zeka modelinin ilk kıyaslama testini çalıştırması gibidir. Her iki taraf da minimum veriyle çıkarım yapmaya çalışır. Sohbeti sürdürebilmek, büyük ölçüde temel modelin genelleme kapasitesine bağlıdır.

İlişkilerde Online Learning: Sürekli Güncellenen Sistemler

İlişkiye adım attıktan sonra işler tamamen değişir. Artık iki “ajan” sürekli etkileşim halinde çevrimiçi öğrenme (Online Learning) sürecine girer. Başlangıçta kimse karşı tarafın gerçek tercihlerini bilmez; yalnızca sohbet ederek, buluşarak ve sonuçları gözlemleyerek öğrenilir.

Bu süreç pekiştirmeli öğrenmedeki “rollout” kavramını anımsatır. Bugün karşı tarafın geç kalmaktan hoşlanmadığını öğrendiniz ve bunu Memory (hafıza) sistemine kaydettiniz. Yarın “herhangi bir şey” dediğinde aslında farklı bir şey kastettiğini fark ettiniz ve policy’nizi (politika) güncellediniz. Yapay zeka ve iliskiler arasındaki bu paralel, aslında insan davranışlarının da algoritmik bir mantıkla şekillendiğini gösterir.

Etkileşim örnekleri artıp Memory büyüdükçe, zamanla taraflar birbirini “anlama” durumuna doğru yakınsama yapar. İşte o zaman ilişki olgunlaşmaya başlar.

İlişkilerde RAG Benzeri Bilgi Tabanı

Sosyal medya platformlarındaki paylaşımlar, bir ilişkideki bilgi tabanına dönüşür. Tıpkı bir yapay zekanın erişilebilir bir bilgi havuzundan (RAG) bilgi çekmesi gibi, insanlar da partnerlerinin ilgi alanlarını, geçmiş deneyimlerini ve tercihlerini bu paylaşımlardan çıkarır.

Ancak burada kritik bir fark vardır: İlişkideki bilgi tabanı statik değildir. Sürekli güncellenir, yeni veriler eklenir ve eski varsayımlar çürütülebilir. Bu dinamik yapı, yapay zeka ve iliskiler arasındaki en karmaşık benzerliklerden birini oluşturur.

Kredi Atama Problemi: En Zor Dengeler

Pekiştirmeli öğrenmede en zorlu problemlerden biri “kredi atama” (credit assignment) problemidir: Hangi aksiyonun hangi sonuca yol açtığını belirlemek. İlişkilerde bu problem çok daha karmaşık bir hal alır.

Partneriniz size asla doğrudan bir “reward” (ödül) sinyali vermez. “Tamam” dediğinde bunun -0.8 mi yoksa +0.3 mü olduğunu bilemezsiniz. Size yalnızca belirsiz, “kara kutu” sinyaller verilir: “Herhangi bir şey.” Ya da “İyiyim.” Ya da hiçbir şey söylemez.

Yapay zeka ve iliskiler arasındaki bu paralel, ilişki dinamiklerinin neden bu kadar öngörülemez olduğunu açıklar. Her iki durumda da gerçek ödül sinyalini çıkarsamak, elimizdeki verilerle mümkün değildir.

Uzun Vadeli İlişkiler Neden Çok Zor?

Uzun vadeli bir ilişki, tam anlamıyla çok ajanslı (Multi-Agent), kısmen gözlemlenebilir (Partially Observable) ve uzun ufaklı (Long-horizon) bir pekiştirmeli öğrenme sistemidir. Bugün verdiğiniz bir karar, ancak aylar sonra geri dönüş getirebilir. Karşı tarafın gerçek hidden state’ini (gizli durumu) baştan sona yalnızca tahmin edebilirsiniz.

En karmaşık yanı ise şudur: İki tarafın policy’leri (davranış politikaları) aynı anda güncellenir. Siz onu öğrenirken, o da sizi öğrenir. Bu karşılıklı evrim, ilişkileri standart yapay zeka sistemlerinden çok daha karmaşık hale getirir.

İlişkilerde Deployment Sonrası Dağılım Kayması

Pekiştirmeli öğrenmede bir modelin üretim ortamına alınması, ilişkilerde evliliğe denk gelir. Evlilik öncesi dönemde her iki taraf da en iyi versiyonunu sergiler; ancak üretimde (evlilikte) gerçek problemler başlar.

Eğitim aşamasındaki her dakika geri dönüş, randevular ve detaylı dinleme gibi aktiviteler, üretimde yerini mesai, faturalar, çocukların ateşi ve 03:00’te ağlayan bebek gibi gerçek akışlara bırakır. Ve hiçbir dikkatle seçilmiş test seti sizi bu dağıtıma tam olarak hazırlayamaz.

İşte bu nedenle temel modelin kalitesi çok önemlidir. Yapay zeka ve iliskiler arasındaki bir diğer kritik paralel: Hem yapay zeka modellerinde hem de ilişkilerde, temel yetenekler üretim ortamındaki başarıyı belirler.

İlişki Verisi Neden Kendi Veriniz Olmalı?

MaxForAI’nın analizinde en çarpıcı noktalardan biri şudur: İlişki bilgisi özünde kişiseldir ve kendi verinizden çıkmalıdır.

Başkalarının sohbet kayıtlarını incelemek, bir modeli başkalarının konuşma verileri üzerinde eğitmek gibidir. Bir kişinin 10.000 “yüksek EQ’lu yanıt” örneğini ezberleseniz bile, karşı tarafın tarzı biraz değiştiğinde anında Out-of-Distribution (OOD) durumuna düşersiniz.

İlişki verisi de öyledir. Kendi veri setinizi kendi etkileşimlerinizden toplamanız, kendi modelinizi kendi deneyimlerinizle eğitmeniz gerekir. Başkalarının trajectory’sinden öğrenmek, her zaman eksik kalacaktır.

Hallucination Benzeri Hafıza Çarpıtmaları

İlişkilerde bir diğer büyük problem: Hallucination (varsayım/hallüstasyon) benzeri hafıza çarpıtmaları. Tıpkı yapay zeka modellerinin gerçeklikle uyuşmayan bilgiler üretmesi gibi, insanlar da geçmişteki konuşmaları çarpıtarak hatırlayabilir.

Bir kişi “Seninle daha önce şunu konuşmuştuk” dediğinde, bu bilgi gerçeklikle tam olarak örtüşmeyebilir. Hafıza, aslında bir retrieval (erişim) işlemidir; veritabanında hâlâ mevcuttur, ancak sorgu doğru sonucu çıkaramaz.

Sonuç: İlişkiler En Karmaşık Sistemlerimiz

MaxForAI’nın bu analizi, insan ilişkilerinin yapay zeka araştırmalarıyla ne kadar derin bir paralellik taşıdığını gösteriyor. Uzun vadeli ilişkiler, çok ajanslı pekiştirmeli öğrenme sistemlerinin tüm zorluklarını içerir: gecikmeli geri bildirimler, eksik gözlemlenebilirlik, karmaşık kredi atama problemi ve sürekli dağılım kayması.

Belki de insanlarla geçirdiğimiz zaman, aslında en doğal yapay zeka araştırma laboratuvarımızdır. Her randevu bir test, her kriz bir deployment, her ayrılık da son bir kredi atama deneyimidir.

Kaynak: MaxForAI (X/@MaxForAI)