RoboLab, NVIDIA'nın simülasyon karşılaştırma platformudur. | Kaynak: NVIDIA
Robotik temel modeller, NVIDIA'ya göre kayda değer bir ilerleme kaydetti. Bugünün en iyi sistemleri, doğal dil talimatlarını takip ederek çok çeşitli nesneleri alabilir, yerleştirebilir, sıralayabilir ve manipüle edebilir.
Ancak bu modeller daha yetenekli hale geldikçe, onları titizlikle değerlendirmek, alanın en zor çözülmemiş problemlerinden biri haline geldi. Bu blog yazısında, ana sorunları ve bunları ele alma yöntemimizi tanıtıyoruz.
Mevcut karşılaştırmaların yetersiz kalması
Gerçek dünya testleri pahalı, yavaş ve yeniden üretmesi zor. Bir robotun gerçek dünyadaki performansının kapsamlı bir şekilde değerlendirilebilmesi için makul bir vekil gereklidir. Simülasyon, büyük ölçekli robot değerlendirmeleri yapmak için doğal bir yerdir. Ancak mevcut çoğu karşılaştırma birkaç kritik sorunla karşı karşıyadır.
Eğitim ve değerlendirmede görsel alan örtüşmesi
Öncelikle, politika eğitimi ve değerlendirmesinde kullanılan veriler ve ortamlar neredeyse her zaman aynı görsel kaynaktan alınmaktadır. Bir model simüle edilmiş veriler üzerinde ince ayar yapıldığında ve aynı simüle edilmiş ortamda değerlendirildiğinde, güçlü bir performans yalnızca modelin kurulumunu ezberlediğini gösterir, genelleme yapabildiğini değil. Bu, robot değerlendirmelerinde kritik bir sorun olmaya devam etmektedir, çünkü simülasyonun görsel kalitesi gerçek dünya görüntü gözlemleriyle eşit seviyeye ulaşmamıştır.
Gerçek2sim yaklaşımları, gerçek dünya görüntülerinden fotorealistik ortamlar yeniden inşa ederek bu sorunu ele almaktadır; ancak sahne başına kurulum bir saati aşabilmektedir, bu da büyük ölçekli testleri pratik hale getirmemektedir.
Şekil 1. Mevcut sim karşılaştırmaları, görsel ve görev alanı örtüşmesi, düşük gerçekçilik ve sahne ve görev üretimi için yüksek maliyetlerden muzdarip. Geleneksel prosedürel sahne üretimi genellikle düşük render kalitesinden muzdarip olup, büyük sim2real görsel boşluklar yaratmaktadır. 3D yeniden yapılandırılmış (3DR) ortamlar, simüle edilmiş ortamlara daha fazla gerçekçilik katmaktadır, ancak genellikle her sahneyi oluşturmak için harcanan insan çabası pahasına. | Kaynak: NVIDIA
NVIDIA, karşılaştırma doygunluğunu belirtiyor
İkincisi, görev üretmek zahmetli bir çabadır. Çoğu karşılaştırma, nadiren güncellenen sabit bir görev setine sahiptir. Bu, hızla performans doygunluğuna yol açar: Modeller, statik görev setlerinde hızla maksimum puan alır, bu da hangi modelin gerçekten daha yetenekli olduğunu ayırt etmeyi imkansız hale getirir. Her sistem aynı karşılaştırmada %90'ın üzerinde başarı rapor ettiğinde, sayılar daha az anlamlı hale gelir.
