Character.AI, üretken görüntü üzerine yaptığı kimi araştırmaları paylaştı ve yalnızca bir manzara ve ses sinyalinden yapay zeka karakterlerinin gerçek vakitli, ses odaklı görüntüsünü üretebilen TalkingMachines isimli yeni bir otoregresif difüzyon modeli geliştirdi. Şirket bununla, yapay zeka karakterleriyle FaceTime biçimi görsel etkileşimlere yaklaşıyor.
Bu modelin hala araştırma sürecinde olduğunun altını çizelim. Bir araştırma makalesi ve görüntü demoları olsa da bunları şimdi Character.AI uygulamasında kullanmak mümkün değil. Bu, Character.AI uygulamasına da yansırsa, kullanıcıların yapay zeka ile daha sürükleyici rol yapma oyunlarına katılmalarına, etkileşimli kıssa anlatımına katılmalarına ve görsel dünya inşa etmelerine imkan tanıyacak.
Yeni TalkingMachines modeli, esasen rastgele gürültüden detaylı manzaralar oluşturabilen ve imgeyi kusursuz olana kadar düzgünleştiren bir sanatçı olan Difüzyon Transformatörü (DiT) teknolojisi üzerine inşa edildi. Character.AI’ın yaptığı şey bunun inanılmaz derecede süratli çalışmasını sağlamak ve böylelikle gerçek zamanlıymış üzere hissettirmek.
Atılımlarını gerçekleştirmek için TalkingMachines, Akış Eşleşmeli Difüzyon, Ses Odaklı Çapraz Dikkat, Seyrek Nedensel Dikkat ve Asimetrik Damıtma üzere birkaç temel tekniği kullanıyor.
Akış Eşleşmeli Difüzyon, ince yüz tabirlerinden daha dramatik jestlere kadar birçok hareket üzerinde eğitiliyor. Bu, yapay zeka karakterlerinin daha doğal hareket etmesini sağlamaya yardımcı oluyor. Heyecan verici çalışma, yapay zekanın sadece sözleri duymasını değil, tıpkı vakitte sesteki ritmi, duraklamaları ve tonlamaları anlamasını ve akabinde bunları hassas ağız hareketlerine, baş sallamalara ve göz kırpmalara dönüştürmesini sağlayan Ses Odaklı Çapraz Dikkat tarafından sağlanıyor. Seyrek Nedensel Dikkat ile Character.AI, görüntünün karelerini çok daha uygun maliyetli bir halde işleyebiliyor ve Asimetrik Damıtma ile görüntüler gerçek vakitli olarak oluşturulabiliyor.
Character.AI bu araştırma atılımının yalnızca yüz animasyonuyla ilgili olmadığını argüman ediyor. Bunun gerçek vakitli olarak etkileşime girebileceğiniz etkileşimli görsel-işitsel yapay zeka karakterlerine yanlışsız bir adım olduğunu söylüyor. Model, fotogerçekçi beşerler, anime ve 3D avatarlar dahil olmak üzere çok çeşitli tarzları destekliyor ve doğal dinleme ve konuşma evreleriyle akışa imkan sağlıyor.
Character.AI hala araştırma kademesinde olan modeli şayet piyasaya sürülürse, bunu başaran birinci şirketlerden biri olacak. Modelin örneklerine bu adresten erişebilirsiniz.
