MBZUAI’nin KineMask modeli videoda nesne çarpışmalarını üretmeyi araştırıyor
Araştırma, başlangıç hızı verilen nesnelerin sonrasındaki hareketi video modellerine tahmin ettirmeyi deniyor.
Olay / veri dönemi:
Yayın: · Güncelleme:
MBZUAI araştırmacıları, bir video üretim modeline nesnenin başlangıç yönü ve hızını verip devamındaki hareketi tahmin ettiren KineMask yöntemini geliştirdi. Kullanıcı bir görüntüde nesneyi seçip hareket oku belirtiyor; sistem, çarpışmalar ve sonuçlarını içeren sahneyi üretmeye çalışıyor. Araştırma, hareketin sonraki her karedeki yolunu önceden vermek yerine yalnızca başlangıç koşulunu sağlıyor.
MBZUAI’nin teknik yazısında, etkileşimli sentetik sahneler testinde CogVideoX’in FVD skoru 807,3 iken, KineMask’in etkileşim verileriyle eğitilen sürümü 250,7 olarak bildirildi. Bu veri kümesinde Video Motion Distance değerleri sırasıyla 3.514,9 ve 143,8’di. Sonuçlar sentetik benchmark ve araştırmacıların model karşılaştırmasıyla sınırlı; çalışma, sistemin fizik yasalarını içsel olarak öğrendiğini göstermiyor.
Veriler
KineMask yapay etkileşim kıyaslaması
Yapay etkileşim veri kümesindeki karşılaştırma
- · Gerçekleşti
Araştırma sonuçları yayımlandı
Araştırma, kaynakta belirtilen sentetik ya da kontrollü kıyaslama koşullarındaki model sonuçlarını bildiriyor.
Yöntem
FVD ve Video Motion Distance puanları için kayıtlı birim bulunmadığından puanlar, model ve sentetik veri kümesi bağlamıyla makale metninde tutuldu. FVD ve Video Motion Distance değerleri belirtilen modeller ve sentetik veri kümesi koşullarıyla sınırlıdır; farklı modeller veya ülkeler arasında karşılaştırma ya da birleştirme yapılmamıştır.
Güncelleme:
Konular ve yerler
Konu önerileri
- Bilim ve teknolojiÖneri
- Preserved editorial category/topic; broad candidate onlymbzuai.ac.ae ↗
Coğrafi referanslar
Yalnızca kaynakta bulunan coğrafi referanslar gösterilir. Harici haritayı açmak isteğe bağlıdır. İsteğe bağlı haber haritaları OpenStreetMap kullanır. Haritayı açtığınızda IP adresiniz ve site adresi harita sağlayıcısına iletilir; harita yüklenmeden konum verileri metin olarak okunabilir.
- Birleşik Arap Emirlikleri · Yer rolü: Kapsam · Yer türü: Ülke veya bölge · Konum kesinliği: BölgeselKanıt
- Explicit preserved editorial country/region; no city or national centroid inferredmbzuai.ac.ae ↗