SkillOpt: Ajan becerileri olarak eğitilebilir parametreler

SkillOpt: Ajan becerileri olarak eğitilebilir parametreler
Yapay zeka ajanları genellikle talimatları veya becerileri manuel olarak değiştirildiği için başarısız olur ve bu değişikliklerin iyileşme garantisi yoktur. SkillOpt'un beceri düzenlemeyi bir eğitim sürecine nasıl dönüştürdüğünü öğrenin; bu, model ağırlıklarını değiştirmeden ajan davranışını daha güvenilir hale getirir. SkillOpt: Ajan becerileri eğitilebilir parametreler olarak başlıklı yazı ilk olarak Microsoft Research'te yayımlandı.
SkillOpt blog | soyut yeşil arka planda üç beyaz çizgi simgesi | kalkan simgesi, dişli simgesi, onay işareti simgesi

Bir Bakışta

  • AI ajanları genellikle talimatları veya becerileri manuel olarak değiştirildiği için başarısız olur ve bu değişikliklerin iyileşme garantisi yoktur. SkillOpt, beceri düzenlemeyi bir eğitim sürecine dönüştürerek, model ağırlıklarını değiştirmeden ajan davranışını daha güvenilir hale getirir.
  • SkillOpt, bir ajan beceri dosyasını donmuş bir hedef modelin dışında eğitilebilir bir parametre olarak ele alır ve beceri yazımını tek seferlik yönlendirmeden kontrollü bir optimizasyon sürecine dönüştürür.
  • Altı kıyaslama, yedi hedef model ve üç yürütme modu boyunca, SkillOpt, tüm 52 değerlendirme hücresinde en iyi veya eşit en iyi yöntemdir ve model ağırlıklarını güncellemeden performansı artırır.
  • SkillOpt, becerileri sınırlı metin düzenlemeleri, doğrulama kapıları, reddedilen düzenleme geri bildirimleri ve yavaş/meta güncellemeler aracılığıyla kompakt ve denetlenebilir tutar, kontrolsüz yönlendirme kaymasını önler.
  • Optimize edilmiş beceriler, model ölçekleri, ajan donanımları ve ilgili görevler arasında aktarılır; bu da onların belirli kıyaslamalara özgü talimatlar yerine yeniden kullanılabilir iş akışı bilgilerini yakaladığını gösterir.

Büyük dil modelleri (LLM'ler), giderek daha fazla kanıt toplayan, araç çağıran ve çok adımlı görevleri yerine getiren ajanlar olarak kullanılmaktadır. Bu ajanlar için zor sorun artık bir aracı çağırıp çağırmadıkları değil, görevleri güvenilir ve tutarlı bir şekilde tamamlayıp tamamlayamayacaklarıdır. Bugün, ajan becerileri genellikle üç kaynaktan gelir: uzmanlar bunları elle yazar, bir öncü model bunları tek seferde üretir veya ajan, yürütmeden sonra bunları gevşek bir şekilde gözden geçirir. Bu yaklaşımların hiçbiri derin öğrenme optimizasyoncusu gibi davranmaz. Adım boyutu kontrolü, ayrılmış doğrulama ve başarısız olan revizyonların hafızası yoktur. Sonuç olarak, beceriler her yeniden yazımda daha uzun hale gelir ve kayar; mantıklı görünen bir revizyon, gerçek görev performansını sessizce bozabilir. Bu kontrolsüz beceri evrimi, ajan prototipinden güvenilir, üretim kalitesinde dağıtıma geçişte büyük bir engel haline gelmiştir.

Son makalemizde, SkillOpt: Kendiliğinden Evrilen Ajan Becerileri için İdari Strateji, soruyu “daha iyi bir yönlendirme nasıl yazılır?” yerine “beceri nasıl eğitilir?” olarak yeniden çerçeveliyoruz. SkillOpt, beceri dosyasını donmuş bir hedef modelin dışında yaşayan eğitilebilir bir parametre olarak ele alır ve bir eğitim tarzı optimizasyon döngüsü, 52 değerlendirme hücresinde tutarlı kazançlar ve okunabilir, denetlenebilir ve aktarılabilir bir kompakt beceri dosyası getirir.

Şekil 1. Donmuş bir hedef model görevleri yerine getirirken, ayrı bir optimizasyon modeli, trajektori geri bildiriminden beceri katmanını eğitir ve doğrulama kapısı aracılığıyla yeniden kullanılabilir beceri dosyasını best_skill.md olarak dışa aktarır.<