Sokakta yürüyen robotlar, hayret içinde kalan izleyicilerle çevrili, giderek daha yaygın bir manzara haline geliyor. Ancak bu makineler henüz mutfakta veya fabrikada çalışacak her şeyi yapabilen asistanlar değil ve büyük bir darboğaz veri. İnsanlar gibi, robotlar da en iyi deneyimle öğreniyor. Zorluk, bu makineleri farklı ortamlarda birçok eylemi fiziksel olarak öğretmenin iş gücü gerektirmesi ve zaman almasıdır.
“Doğal bir fikir, simülasyonu bir eğitim alanı olarak kullanmaktır. Son birkaç yılda robotik simülatörleri güçlendiren fizik motorlarında önemli ilerlemeler kaydedilmiş olsa da, kalan zorluklardan biri, gerçek dünyanın karmaşıklığını yakalayacak kadar zengin ve çeşitli simülasyon içeriği oluşturmaktır,” diyor MIT’de Elektrik Mühendisliği ve Bilgisayar Bilimleri (EECS), Havacılık ve Uzay Mühendisliği ve Makine Mühendisliği Toyota Profesörü Russ Tedrake ve MIT Bilgisayar Bilimleri ve Yapay Zeka Laboratuvarı (CSAIL) baş araştırmacısı.
Görünüşe göre, “düşünen” ve iyi tanımlanmış görevleri tamamlayan yarı otonom programlar olan AI ajanları, robotların ihtiyaç duyduğu gerçekçi sanal ortamları üretmeye yardımcı olabilir. MIT CSAIL ve Toyota Araştırma Enstitüsü araştırmacıları tarafından geliştirilen yeni “SceneSmith” sistemi, bir 3D sahnenin nesnelerini, duvarlarını ve genel görünümünü bir araya getirmek için üç ajan kullanıyor. Restoranlar, yatak odaları ve oteller gibi kapalı alanların yeniden yaratımları, önceki sistemlerden daha gerçekçi ve ayrıntılıdır ve robotların becerilerini pratik yapmalarına ve açılmadan önce görevleri yerine getirmenin farklı yollarını denemelerine yardımcı olur. Bu sayede mühendisler, gerçek dünya testlerinde zaman kazanır.
Ajanlar, her biri çok modlu bir sistem olan bir görsel-dil modeline (VLM) başvurduğu için, günlük yerlerin nasıl görünmesi gerektiğine dair bir anlayışa sahiptirler; özellikle de en son teknoloji VLM GPT-5.2. ile. Bu model, daha fazla görsel istemi işlemek için internetten çok sayıda metin ve görüntü ile eğitilmiştir. Bu gelişmiş model, her ajana bir tür mekansal bilgi verir: Önce bir “tasarımcı” ajan bir sahnenin unsurlarını oluşturur, ardından bir “eleştirmen” bunun gerçekçi görünüp görünmediğini değerlendirir ve son olarak bir “orchestrator” onların gidip gelmelerini yönetir, tasarımın ne zaman tamamlandığına karar verir. Üç VLM yaratıcılık işbirliklerini tamamladıktan sonra, sahne doğrudan fizik simülasyon yazılımına yüklenmeye hazırdır.
“Sistemin, bir insan tasarımcısının yaptığı gibi 3D sahneler oluşturabildiğini gördük,” diyor MIT EECS doktora öğrencisi Nicholas Pfaff, bir CSAIL araştırmacısı ve bu çalışmayı sunan bir makalenin baş yazarı. “İnternet ölçeğinde önceliklere sahip bir VLM kullanarak 1.300'den fazla sahne oluşturduk ve bu, son derece yaratıcı ve çeşitli düzenlemeler yaptı. Sistemi bunu yapması için istemlerde eğitmemiştim; sadece doğaçlama yaptı.”
Ajanımla konuş
VLM ajanları sayesinde, SceneSmith'e “bir araba, bir iş masası, köşede üst üste yığılmış lastikler ve duvara yaslanmış bir merdiven ile bir garaj oluştur” gibi şeyler isteyebilir ve robotun oynayabileceği nesnelerle dolu sanal bir oyun alanı elde edebilirsiniz. Bu odalar, önceki yöntemlere göre sahne başına altı kat daha fazla öğe ile dekore edilmiştir ve robotların bir fincanı lavaboya koyma, meyveleri tabaklara yerleştirme ve bir soda kutusunu raftan masaya taşıma gibi becerileri öğrenmelerine yardımcı olmak için harikadır.
Bu kadar zengin sanal ortamlar sayesinde, robotunuzun dağıtıma hazır olup olmadığını fiziksel dünyada bu kadar çok deneme yanılma yapmadan değerlendirebilirsiniz. Araştırmacılar, SceneSmith'in dijital dünyalarında farklı eylem planlarını (aynı zamanda “politikalar” olarak da adlandırılır) test etti ve bu süreçte 100 benzersiz alan üretti. Bir VLM ajanı her denemeyi değerlendirdi ve robotun planlarının hatalı olduğunu buldu; makine sık sık görevlerini yerine
