Decart’ın yeni yapay zeka video2video aracı Mirage, sıfır gecikmeyle sonsuz, gerçek vakitli görüntü oluşturmayı başarıyor. Geliştiricinin canlı yayın AI görüntü modeli olan MirageLSD tarafından desteklenen sistem şimdilik 768×432 çözünürlükte saniyede 20 kare üretebiliyor. Decart takımı blog yazısında, “Gerçek vakitli üretim, insan gözünü rahatsız etmemesi için her karenin 40 milisaniyeden daha kısa müddette üretilmesini gerektiriyor” diye belirtiyor.
Decart’ın teknolojisi, oyunlar için büyük bir potansiyele sahip. Kasım 2024’te şirket, Mirage’a emsal bir yaklaşım kullanarak anında oynanabilir Minecraft gibisi bir dünya oluşturan Oasis isimli bir oyunu da tanıtmıştı. Kullanıcılar bir dokuya yaklaşıp tekrar uzaklaşarak oyun içinde yeni oynanabilir sahneler oluşturabiliyorlardı. Decart’ın görüntü demoları, yapay zekanın Minecraft oyununu karlı bir mükemmeller diyarına dönüştürdüğünü, Call of Duty oyuncularını pembe ağaçların bulunduğu sakin bir çayırda koşturduğunu ve One Direction’ın “What Makes You Beautiful” müziğini çeşitli anime tarzlarıyla yine yorumladığını gösteriyor. Her kare, nedensel, otoregresif yaklaşım olarak bilinen bir prosedürle, hem metin komutu hem de evvelki kareyi girdi olarak kullanarak sırayla üretiliyor.
Bu araç, Discord yahut TikTok üzere platformlarda canlı yayın, görüntü görüşmeleri ve evvelce kaydedilmiş TV programları, sinemalar ve kliplerin olağan oynatılması için kullanılabilir. Decart, gelecekte full HD ve 4K takviyesi sunmayı da hedefliyor.
Gerçek vakitli YZ dönüşümü nasıl oluyor?
Benzer video2video yapay zeka araçları, kullandıkları otoregresif modeller nedeniyle canlı yayınlarda zorluklar yaşıyor. Her yeni kare, evvelki karelerden alınan bilgiler kullanılarak oluşturulduğundan, evvelki yanlışların da devralınması manasına geliyor. Münasebetiyle yaklaşık 30 saniyelik imajdan sonra, biriken bu yanılgılar görüntü kalitesini önemli formda düşürüyor.
Mirage, iki yenilikle bu sorunu çözüyor. Birinci olarak, difüzyon zorlaması, modeli tam bağlam gerektirmeden gürültülü kareleri temizlemek için eğitiyor ve kare kare yanlışsız oluşturma imkanı sağlıyor. İkincisi, geçmiş artırma, modele kendi geçmiş çıktılarındaki yanlışları tanıma ve düzeltmeyi öğretiyor, böylelikle model oluşturma sırasında da birebirini yapmayı öğreniyor ve vakitle kalite düşüşünü önlüyor.
Normalde tipik yapay zeka video2video araçları ekseriyetle yavaş ve sadece birkaç saniyelik çıktı için dakikalarca süreç gerektiriyor. Mirage, sürece müddeti ve öteki sistem yükleri dahil olmak üzere, girdi ve çıktı ortasındaki gecikmeyi yaklaşık 100 milisaniyeye düşürmüş. Decart, her kareyi oluşturmak için gereken adımları azaltarak ve modeli daha verimli çalışacak halde düzenleyerek bunu başarıyor. Sistem, suratı artırmak ve gecikmeyi en aza indirmek için özel düşük düzeyli GPU kodu kullanılarak NVIDIA Hopper yongaları için özel olarak ayarlanmış.
Mirage şu an daha birinci günlerinde. Akabinde çeşitli ek görüntü modelleri, sesler, hisler, müzikler de gelecek. Şirket tüm duyuları portallara dönüştüren bir platform inşa ettiğini belirtiyor. Bugün, ister PC ister taşınabilir rastgele bir aygıtta Mirage ile oynayarak etrafınızı, oyunlarınızı ve filmlerinizi farklı fizik ve sihir maddelerine sahip yeni kainatlara kendiniz de ışınlayabilirsiniz.Bunun için https://mirage.decart.ai/ sitesini ziyaret etmeniz kâfi. Biz de ofisimiz üzerinde bu servisi denedik. Bu etkileyici tecrübesi üstteki görüntüden izleyebilirsiniz.
Yaz boyunca, yüz tutarlılığı, ses denetimi ve hassas obje denetimi dahil olmak üzere model yükseltmeleri ve ek özellikleri de nizamlı olarak yayınlanacak. Gelişmeleri https://x.com/DecartAI adresinden siz de takip edebilirsiniz.
