ByteDance, referans görüntülerden gerçekçi insan animasyonları DreamActor-M1 modeli ile dikkatleri üzerine çekti. Yapay zeka modeli ile daha ince kontrol, daha fazla uyarlanabilirlik ve daha iyi tutarlılık elde etmek için mevcut animasyon modellerindeki temel sorunları da ele alınmış.

ByteDance DreamActor-M1 Neler Sunuyor?

DreamActor-M1, bir Difüzyon Transformatörü (DiT) mimarisine dayanıyor ve sonuçlarına ulaşmak için hibrit bir rehberlik yaklaşımı kullanıyor. Model, yüz ifadelerini ve vücut hareketlerini daha fazla hassasiyetle kontrol etmek için örtük yüz temsilleri, 3B baş küreleri ve 3B vücut iskeletlerinin bir kombinasyonunu kullanıyor.

Model, çeşitli vücut pozlarını ve görüntü ölçeklerini işlemek için değişen çözünürlüklere ve ölçeklere sahip bir veri kümesi üzerinde ilerici bir strateji kullanılarak eğitilmiş. DreamActor-M1, karmaşık hareketler sırasında görülmeyen bölgelerle ilgili zorlukları ele alarak uzun süreler boyunca tutarlılığı sağlamak için ardışık karelerden gelen hareket desenlerini tamamlayıcı görsel referanslarla birleştiriyor.

Araştırma makalesi DreamActor-M1’i birkaç son teknoloji insan görüntü animasyon modeliyle karşılaştırıyor. Vücut animasyonu için DreamActor-M1, Animate Anyone, Champ, MimicMotion ve DisPose ile karşılaştırılırken portre animasyonunda model, LivePortrait, X-Portrait, SkyReels-A1 ve Runway Act-One ile birlikte değerlendirildi.

Karşılaştırmaların sonuçları, DreamActor-M1’in daha etkileyici ve tutarlı animasyonlar üretmede mevcut yöntemlerden daha iyi performans gösterdiğini gösteriyor.

Araştırmacılar bu yapay zeka modellerinin kötüye kullanılabileceğini de kabul ediyor ve riskleri azaltmak için net etik kurallar ve sorumlu kullanım yönergelerinin gerekli olduğuna dikkat çekiyor.

DreamActor-M1 ilerlemelerin yanı sıra belli sınırlamalara da sahip. Model, dinamik kamera hareketlerini kontrol etme ve çevresel nesnelerle fiziksel etkileşimler oluşturma konusunda henüz zorluk çekiyor. Geliştiriciler ileride bu sorunları aşmayı kendilerine hedef edinmiş durumda.