Yüksek Lisans’ların Bilimsel Keşif Kapasitesinin Eğitim Verilerine Kadar Takibi

Özetle: Büyük dil modelleri (LLM'ler) bilimsel keşif için giderek artan bir umut vaat ediyor, ancak güvenilir keşfi neyin mümkün kıldığına dair temel sorular hala devam ediyor.

Özet

Büyük dil modelleri (LLM'ler) bilimsel keşif için giderek artan bir umut vaat ediyor, ancak güvenilir keşfi neyin mümkün kıldığına dair temel sorular hala devam ediyor. Yüksek Lisans'ların bilimsel keşif kapasitesini eğitim verilerine kadar nasıl takip edebiliriz? Bu soruyu kayıp olasılık kütlesi olarak inceliyoruz ve tek gerçeklerin (eğitim sırasında bir kez gözlemlenen gerçekler) keşif kapasitesini belirlediği teorik bir açıklama geliştiriyoruz. Malzeme bilimi ve düzenleyici genomikte, eğitim setlerindeki tek olgu oranlarını doğrudan manipüle ediyoruz ve daha fazla tek olgunun, iki açık ağırlıklı model ailesi, örnekleme stratejileri ve akıl yürütme bütçeleri arasında tutarlı bir şekilde daha fazla keşif sağladığını görüyoruz. Daha ileri deneyler, ilişkinin yalnızca eğitim seti çeşitliliği ile açıklanamayacağını ve alan içi verilerle eşleştirildiğinde bilimsel alanlar arasında aktarılabileceğini göstermektedir. Sonuçlarımız birlikte, eğitim verilerindeki tek olgu oranını, dil modellerindeki keşifleri yöneten önemli bir faktör olarak tanımlıyor.

Orijinal Özet (İngilizce)

Large language models (LLMs) show growing promise for scientific discovery, yet basic questions remain about what enables reliable discovery. How can we trace the scientific discovery capacity of LLMs to their training data? We study this question as one of missing probability mass and develop a theoretical account in which monofacts-the facts observed once during training-set the discovery capacity. In materials science and regulatory genomics, we directly manipulate monofact rates in training sets and find that more monofacts consistently yield more discoveries across two open-weight model families, sampling strategies, and reasoning budgets. Further experiments show the relationship cannot be explained by training-set diversity alone and can transfer across scientific domains when paired with in-domain data. Together, our results identify monofact rate in training data as a key factor governing discoveries in language models.

Kaynak: arXiv:2611.03617 · PDF